¿Qué es la regresión lineal?
La regresión lineal, podemos afirmar, es el siguiente paso lógico después de la correlación.
Se utiliza cuando queremos predecir el valor de una variable en función del valor o valores de otras
La variable que queremos predecir se llama variable dependiente (o, a veces, variable de resultado o criterio)
La(s) variable(s) que estamos usando para predecir el valor de la otra variable se llaman variables independientes (o, a veces, variables predictoras).
Sucede, por tanto, que hablaremos de regresión lineal simple cuando exista sólo una variable predictora (Y = aX + b)
y de regresión lineal múltiple cuando hay dos o más variables predictoras (Y = a1X1 + a2X2 + … anXn)
Por ejemplo, puedes usar la regresión lineal para comprender si el rendimiento en un examen puede predecirse en función del tiempo de estudio,
si el consumo de cigarrillos puede predecirse en función de la duración del tabaquismo, etc.
En este artículo te muestro cómo llevar a cabo una regresión lineal múltiple utilizando el paquete estadístico para ciencias sociales SPSS, así como también a interpretar e informar los resultados de este análisis
Sin embargo, antes de presentarte el procedimiento, debemos comprender los diferentes supuestos que deben cumplir tus datos para que la regresión lineal dé un resultado válido.
Todo esto, como ya sospecharás, es porque vamos a usar métodos paramétricos, muy quisquillosos ellos en cuanto a las condiciones previas que deben satisfacer nuestros datos 😉
Vamos a por ello
Supuestos
Cuando eliges analizar tus datos mediante regresión lineal, parte del proceso consiste en verificar que los datos realmente puedan analizarse mediante esta técnica estadística
Debes hacer esto porque sólo es apropiado usar la regresión lineal si tus datos “pasan el filtro” de seis supuestos necesarios para que la regresión lineal te dé un resultado válido.
En la práctica, la comprobación de estos seis supuestos sólo agrega un poco más de tiempo a tu análisis,
lo que requiere que hagas clic en algunos botones más en SPSS,
así como pensar un poco más sobre tus datos, pero es No es una tarea difícil
Antes de presentarte estas seis suposiciones, no se sorprendas si, al analizar tus propios datos con SPSS, se viola una o más de estas suposiciones (es decir, no se cumplen)
Esto no es raro cuando se trabaja con datos del mundo real en lugar de ejemplos sacados de libros de texto,
que a menudo sólo te muestran cómo llevar a cabo una regresión lineal cuando todo es color de rosas
Sin embargo, no te preocupes.
Incluso cuando tus datos fallan ciertos supuestos, a menudo hay una solución para superar esto.
Primero, echemos un vistazo a esas seis premisas
#1. Tipos de variables
Tus dos o más variables (dependiente e independientes) deben medirse a nivel continuo (es decir, son variables de intervalo o de razón).
Ejemplos de variables continuas incluyen el tiempo de estudio (medido en horas), la inteligencia (medida usando el coeficiente IQ), rendimiento en un examen (medido de 0 a 100), peso (medido en kgs), y así por el estilo
Puedes obtener más información sobre las variables de intervalo y de razón en nuestro artículo: tipos de variables
#2. Relación lineal
Debe haber una relación lineal entre la variable dependiente y las independientes
Si bien hay varias formas de verificar este supuesto,
Te sugiero crear un diagrama de dispersión utilizando SPSS donde puedas trazar la variable dependiente contra cada una de las variables independientes,
y luego inspeccionar visualmente el diagrama para verificar la linealidad.
Tu diagrama de dispersión puede parecerse a uno de los siguientes:
Si la relación que se muestra en tu diagrama de dispersión no es lineal, deberás ejecutar un análisis de regresión no lineal,
realizar una regresión polinómica o “transformar” tus datos,
Todo eso lo puedes hacer con el mismo SPSS
#3. Presencia de valores atípicos
No debe haber valores atípicos influyentes en tu conjunto de datos
Un valor atípico (o, outlier) es un punto de datos observado que tiene un valor en la variable dependiente que es muy diferente al valor predicho por la ecuación de regresión.
Como tal, un valor atípico será un punto en un diagrama de dispersión que está (verticalmente) lejos de la línea de regresión lo cual indica que tiene un gran residuo, como se resalta a continuación:
El problema con los valores atípicos es que pueden tener un efecto negativo en el análisis de regresión (por ejemplo, reducir la bondad de ajuste del modelo)
que se usa para predecir el valor de la variable dependiente (resultado) en función de las variables independiente (predictores).
Esto cambiará el resultado que produce SPSS y reducirá la precisión predictiva de tu modelo.
#4. Independencia de las observaciones
Los datos que vas a procesar en tu análisis deben ser independientes, vale decir, que hayan sido obtenidos a través de un muestreo aleatorio
Y esto lo puedes verificar fácilmente con el estadígrafo de Durbin-Watson, que te proporciona SPSS
#5. Homocedasticidad
Tus datos deben mostrar homocedasticidad, que es cuando las variaciones a lo largo de la línea de mejor ajuste permanecen similares a medida que se avanza a través de ella.
La situación contraria que es la heterocedasticidad (no deseable) consiste en el hecho de que la varianza de los residuos, no se mantiene constante para todos los valores de las variables independientes
Dale un vistazo a los dos diagramas de dispersión a continuación, que proporcionan ejemplos simples:
Uno de los conjuntos de datos que falla en el supuesto (presenta heterocedasticidad) y el otro cumple con esta premisa (presenta homocedasticidad)
Si bien estos diagramas ilustrar las diferencias en los datos que cumplen o violan el supuesto de homocedasticidad,
los datos del mundo real pueden ser mucho más confusos y presentan diferentes patrones de heterocedasticidad.
#6. Distribución normal de los residuos
Finalmente, debes verificar que los residuos (errores) de la línea de regresión estén distribuidos aproximadamente de manera normal
Dos métodos comunes para verificar esta suposición incluyen el uso de un histograma (con una curva normal superpuesta) o un diagrama PP normal.
Puedes verificar los supuestos # 2, # 3, # 4, # 5 y # 6 usando SPSS
El supuesto #2 debe verificarse primero, antes de pasar a los demás
Sugerimos probar los supuestos en este orden porque los supuestos #3, #4, # 5 y #6 requieren que primero ejecutes el procedimiento de regresión lineal en SPSS,
por lo que es más fácil abordarlos después de verificar el supuesto #2.
Regresión lineal múltiple: ejemplo con 5 predictores en dos pasos
Usaremos para demostrar los procedimientos estadísticos que hay que desarrollar, los datos del archivo college success.sav(1) el cual proporciona calificaciones de secundaria, puntajes SAT y promedio de calificaciones gpa de 224 estudiantes universitarios.
Fíjate en la siguiente para entender cómo están estructurados los datos
Variables:
- id: ID del participante.
- gpa – Promedio de calificaciones (GPA) después de tres semestres en la universidad.
- hsm – Promedio de calificaciones de secundaria en matemáticas.
- hss – Promedio de calificación de secundaria en ciencias.
- hse – Promedio de calificación de la escuela secundaria en inglés.
- satm – puntaje SAT (prueba de admisión a universidades norteamericanas) para matemáticas.
- satv – puntaje SAT (prueba de admisión a universidades norteamericanas) para habilidad verbal.
- sexo – género (1 = hombre, 2 = mujer)
Específicamente, examinaremos qué variables predicen mejor el GPA.
Para ello hacemos clic en Analizar > Regresión > Lineales tal y como se observa en la figura
Vamos a seguir un enfoque por bloques de variables
El primer bloque de variables está conformado por GPA (variable dependiente) y hsm, hss y hse (variables independientes) como puedes observar en la figura siguiente
Esto quiere decir que ajustaremos un modelo que predice el promedio de calificaciones (GPA) según los promedios de notas en secundaria (hsm, hss y hse)
En el segundo bloque de variables, incorporaremos al modelo de predicción de GPA las notas universitarias en matemática y habilidad verbal (SATM, SATV) como puedes observar a continuacion
Luego, hacemos clic en el botón Estadísticos… lo que abre el cuadro de diálogo correspondiente donde marcamos las opciones indicadas
Luego hacemos clic en el botón Gráficos… para abrir el cuadro de diálogo de la figura, ahí marcamos las opciones indicadas
Finalmente, el mismo software SPSS se encargará de señalarnos cuáles combinaciones de variables independientes predicen mejor a la variable dependiente GPA
Estadísticos descriptivos
Antes de realizar el análisis, es bueno producir algunas estadísticas descriptivas.
Matriz de correlaciones
Los análisis exploratorios de correlación revelan que todas las variables están positivamente correlacionadas.
La variable dependiente GPA tiene un ligero sesgo negativo.
Esto nos dice que debemos examinar la distribución de los residuos con cuidado.
Las variables independientes muestran un alto sesgo, especialmente las tres calificaciones de secundaria (hsm, hss, hse)
Las correlaciones entre todos los predictores sugieren que debemos tener en cuenta la multicolinealidad.
Regresión lineal múltiple con 5 variables predictoras en dos bloques (hsm, hss, hse, satm y satv)
Una vez que hacemos clic en el botón Aceptar de la fig. 4, el software SPSS realiza los cálculos correspondiente y arroja los siguientes resultados
Identifica 2 modelos: el modelo 1 utilizando sólo la variable hsm como predictor de GPA
El modelo 2, incluye además a las calificaciones universitarias, satm y satv, como predictoras junto con hsm de GPA
El modelo 2 explica el 19,4% de la varianza en el GPA.
Este porcentaje de varianza explicada por las variables predictoras en la variable criterio es francamente bajo
Lo ideal sería que fuese superior al 60%, pero no olvidemos que estamos trabajado con datos reales provenientes de un trabajo de investigación de campo(1)
El coeficiente de Durbin-Watson tiene un valor aceptable, suficientemente cercano a 2, por lo que damos por satisfecho el supuesto #4 de independencia de las observaciones
La varianza explicada del modelo es estadísticamente significativa: podemos rechazar la hipótesis nula que incluye sólo una gran media.
De las tres calificaciones de secundaria, sólo hsm es un predictor significativo de GPA.
Las estadígrafos de VIF sugieren que no hay ningún problema con la multicolinealidad (puntajes de VIF <2).
Residuales versus valores pronosticados
Los residuos no parecen tener una relación problemática con las variables predictoras o con los valores pronosticados.
La gráfica P-P muestra que los residuos aunque están ligeramente sesgados, se distribuyen aproximadamente como una distribución normal
Se verifica, en consecuencia, razonablemente bien el supuesto #6
Esto sugiere además que el modelo está bien especificado.
A partir del examen de gráfico de dispersión de la fig. 10, se comprueba que no hay ninguna relación sistemática entre los residuos tipificados y los valores pronosticados tipificados de GPA
Por tanto, podemos dar por cumplido el supuesto #5 en cuanto a la homocedastidad de los datos
Para finalizar…
Luego de todos los cálculos y ajustes realizados hasta aquí, nos quedamos con el modelo 2 como mejor ecuación para predecir el puntaje GPA:
GPA = 0,680 + 0,193*hsm + 0,001*satm – 0,00007*satv
No obstante, no hay que olvidar que las variables predictores sólo explican el 19,4% de la varianza total en GPA
También es importante que notes que los coeficientes que acompañan a las variables satm y satv son muy cercanos a cero, razón por la cual si nos hubiésemos quedado con el modelo 1 no introduciría mayor diferencia
Por tanto, sería necesario hacer análisis ulteriores como un análisis de la varianza incluyendo otros factores que pudiesen influir en las puntuaciones GPA
¿Te ha gustado el análisis de regresión lineal múltiple?
Espero tus comentarios al final del artículo
Referencias
(1) Campbell, P. F. and McCabe, G. P. (1984). Predicting the success of freshmen in a computer science major. Communications of the ACM, 27: 1108–1113. Disponible Aquí
