Estadística descriptiva y correlación

Material: Cuaderno original (.ipynb)

Tercera clase de R. Con lo visto hasta aquí ya se puede analizar una tabla de datos real. Se trabajan dos temas:

  • Estadística descriptiva: medidas de posición, de tendencia central y de dispersión.
  • Correlación: cuánto se relacionan dos variables.

Se usan ggplot2 y los data frames, presentados en el caso práctico.

1. Los datos: mpg

mpg es una tabla de ejemplo que viene con ggplot2. Tiene 234 modelos de automóviles con su consumo de combustible. data() la carga en la sesión.

library(ggplot2)
data(mpg)
mpg
manufacturer model displ year cyl trans drv cty hwy fl 1 audi a4 1.8 1999 4 auto(l5) f 18 29 p 2 audi a4 1.8 1999 4 manual(m5) f 21 29 p 3 audi a4 2.0 2008 4 manual(m6) f 20 31 p 4 audi a4 2.0 2008 4 auto(av) f 21 30 p 5 audi a4 2.8 1999 6 auto(l5) f 16 26 p 6 audi a4 2.8 1999 6 manual(m5) f 18 26 p 7 audi a4 3.1 2008 6 auto(av) f 18 27 p 8 audi a4 quattro 1.8 1999 4 manual(m5) 4 18 26 p 9 audi a4 quattro 1.8 1999 4 auto(l5) 4 16 25 p 10 audi a4 quattro 2.0 2008 4 manual(m6) 4 20 28 p # ... se muestran 10 de las 234 filas; falta la columna class
?mpg

La ayuda describe cada columna. Las que se usan en esta clase son:

  • cty: rendimiento en ciudad, en millas por galón.
  • hwy: rendimiento en carretera, en millas por galón.
  • displ: cilindrada del motor, en litros.

2. Estadística descriptiva

Medidas de posición

Las medidas de posición dividen los datos ordenados en partes con la misma cantidad de observaciones. summary() entrega el mínimo, los tres cuartiles, la media y el máximo.

summary(mpg$cty)   # rendimiento en millas por galón en ciudad
Min. 1st Qu. Median Mean 3rd Qu. Max. 9.00 14.00 17.00 16.86 19.00 35.00

quantile() calcula los percentiles que se le pidan. Con 0.25, 0.5 y 0.75 entrega los cuartiles: un 25 % de los autos rinde 14 millas por galón o menos, la mitad rinde 17 o menos y un 75 % rinde 19 o menos.

quantile(mpg$cty, probs = c(0.25, 0.5, 0.75))
25% 50% 75% 14 17 19

Medidas de tendencia central

Indican el valor en torno al cual se agrupan los datos.

mean(mpg$cty)
[1] 16.85897
median(mpg$cty)
[1] 17

Medidas de dispersión

Indican qué tan separados están los datos entre sí. La desviación estándar es la raíz cuadrada de la varianza; sd() la calcula directamente.

sqrt(var(mpg$cty))   # desviación estándar
[1] 4.255946
sd(mpg$cty)   # desviación estándar
[1] 4.255946
sd(mpg$hwy)   # millas por galón en carretera
[1] 5.954643

Coeficiente de variación

La desviación estándar está en la misma unidad que los datos, así que no sirve para comparar variables de escalas distintas. El coeficiente de variación mide la dispersión relativa: divide la desviación estándar por la media. Suele expresarse como porcentaje y permite comparar la variabilidad de conjuntos de datos con distintas escalas o unidades.

sd(mpg$cty) / mean(mpg$cty)
sd(mpg$hwy) / mean(mpg$hwy)
[1] 0.2524439 [1] 0.2540358

El rendimiento en carretera tiene mayor desviación estándar que el de ciudad (5,95 contra 4,26), pero también una media más alta. En términos relativos, ambos varían lo mismo: cerca de un 25 %.

3. Correlación de variables

La correlación busca cuantificar el nivel de asociación que existe entre dos variables. El coeficiente más usado es el de Pearson, que toma valores entre −1 y 1:

  • 1: correlación positiva o directamente proporcional. La nube de puntos sigue una recta de pendiente positiva.
  • −1: correlación negativa o inversamente proporcional.
  • 0: no hay relación lineal.

Seleccionar las variables

dplyr es una librería para manipular tablas. Su función select() se queda con las columnas indicadas.

library(dplyr)   # librería de manipulación de tablas
datos <- select(mpg, displ, hwy)   # hwy: millas por galón; displ: cilindrada
datos
displ hwy 1 1.8 29 2 1.8 29 3 2.0 31 4 2.0 30 5 2.8 26 6 2.8 26 7 3.1 27 8 1.8 26 9 1.8 25 10 2.0 28 # ... se muestran 10 de las 234 filas

Ver la relación en un gráfico

Antes de calcular, conviene mirar. geom_point() dibuja la nube de puntos y geom_smooth() le agrega una línea de tendencia; con method = "lm" esa línea es una recta.

ggplot(datos) + aes(x = displ, y = hwy) + geom_point() + geom_smooth(method = "lm")
`geom_smooth()` using formula = 'y ~ x' Gráfico de dispersión de cilindrada contra rendimiento en carretera, con una recta de tendencia descendente

La relación es inversa: a mayor cilindrada, menor rendimiento. La banda gris en torno a la recta es su margen de incertidumbre.

El operador %>% de dplyr encadena operaciones: pasa la tabla de la izquierda a la función de la derecha. Aquí filter() deja solo los autos de cilindrada menor que 5, y con method = "auto" la línea de tendencia deja de ser recta y sigue la forma de los datos.

ggplot(datos %>% filter(displ < 5)) + aes(x = displ, y = hwy) + geom_point() + geom_smooth(method = "auto")
`geom_smooth()` using method = 'loess' and formula = 'y ~ x' Gráfico de dispersión de los autos de cilindrada menor que 5, con una curva de tendencia descendente

Calcular la correlación

cor() sobre una tabla entrega la matriz de correlaciones: cada casilla es la correlación entre la variable de su fila y la de su columna. La diagonal vale 1 porque cada variable se correlaciona perfectamente consigo misma.

cor(datos)   # Pearson
displ hwy displ 1.00000 -0.76602 hwy -0.76602 1.00000

Una correlación de −0,77 confirma lo que mostraba el gráfico: una relación inversa y fuerte.

Con method se elige otro coeficiente. Spearman y Kendall no miden si los puntos forman una recta, sino si una variable crece (o decrece) siempre que la otra lo hace, aunque sea en curva.

cor(datos, method = "spearman")
displ hwy displ 1.0000000 -0.8266576 hwy -0.8266576 1.0000000
cor(datos, method = "kendall")
displ hwy displ 1.0000000 -0.6536974 hwy -0.6536974 1.0000000

Una relación que no es lineal

install.packages("tidyverse")
install.packages("corrplot")

Para ver la diferencia entre los coeficientes se fabrican datos con una relación conocida. rnorm() genera números aleatorios con distribución normal (gaussiana). x son 100 de esos números, e es un ruido aleatorio y y depende de x al cubo: la relación existe, pero es una curva, no una recta.

x <- rnorm(100)
e <- rnorm(100, sd = 1)
y <- 1 + 3 * x^3 + e
A <- data.frame(x = x, y = y)
A
x y 1 0.46763390 1.06022789 2 0.49375890 0.54742167 3 -0.17540166 2.25594555 4 0.61574938 2.18691901 5 1.33463997 6.13356291 6 2.31355546 37.73018865 7 1.21931396 6.63425357 8 0.60383875 0.67070268 9 1.42058539 7.82763977 10 -0.75124387 0.07106418 # ... se muestran 10 de las 100 filas

Como los datos son aleatorios, cada ejecución entrega valores distintos.

ggplot(A) + aes(x, y) + geom_point()
Nube de puntos con forma de curva cúbica: casi plana al centro y muy empinada en los extremos

El mismo gráfico se obtiene con plot(), la función de gráficos que viene con R:

plot(x, y)
El mismo gráfico de dispersión hecho con la función plot
cor(x, y, method = "spearman")
[1] 0.890021

Spearman da una correlación alta, 0,89, porque y crece siempre que x crece, aunque no lo haga en línea recta.

Gráfico de correlación

corrplot() dibuja la matriz de correlaciones. Con method = "circle", cada casilla es un círculo: el tamaño indica la fuerza de la correlación y el color su signo, azul para las positivas y rojo para las negativas.

library(corrplot)
corrplot 0.92 loaded
corrplot(cor(datos, method = "pearson"), method = "circle")
Gráfico de correlación de dos variables: círculos azules en la diagonal y rojos fuera de ella

Una tabla también se puede pasar directamente a plot():

select(datos, displ, hwy) %>% plot()
Gráfico de dispersión de cilindrada contra rendimiento en carretera hecho con plot

Tarea

Hacer un análisis descriptivo de la tabla mtcars: aplicar los comandos de esta clase, interpretar sus resultados y analizar la correlación entre sus variables. El enunciado y su solución están en la clase 11.

mtcars viene con R. Tiene 32 automóviles y 11 variables.

data(mtcars)
mtcars
mpg cyl disp hp drat wt qsec vs am gear carb Mazda RX4 21.0 6 160.0 110 3.90 2.620 16.46 0 1 4 4 Mazda RX4 Wag 21.0 6 160.0 110 3.90 2.875 17.02 0 1 4 4 Datsun 710 22.8 4 108.0 93 3.85 2.320 18.61 1 1 4 1 Hornet 4 Drive 21.4 6 258.0 110 3.08 3.215 19.44 1 0 3 1 Hornet Sportabout 18.7 8 360.0 175 3.15 3.440 17.02 0 0 3 2 Valiant 18.1 6 225.0 105 2.76 3.460 20.22 1 0 3 1 Duster 360 14.3 8 360.0 245 3.21 3.570 15.84 0 0 3 4 Merc 240D 24.4 4 146.7 62 3.69 3.190 20.00 1 0 4 2 Merc 230 22.8 4 140.8 95 3.92 3.150 22.90 1 0 4 2 Merc 280 19.2 6 167.6 123 3.92 3.440 18.30 1 0 4 4 # ... se muestran 10 de las 32 filas
?mtcars
BUSCARCtrl K