Variables de Interés y Visualización de Datos

 

Explorando Variables Clave y Visualización Efectiva en el Análisis de Datos de Diabetes

En ciencia de datos, las variables de interés son aquellas que nos interesan analizar o estudiar. Pueden ser variables cuantitativas, como la edad o el peso, o variables cualitativas, como el sexo o el estado civil.

La visualización de datos es una técnica que permite representar datos de forma gráfica para facilitar su comprensión. Puede utilizarse para representar datos de una sola variable, de dos variables o de múltiples variables.

En el análisis de datos, las variables de interés y la visualización de datos son herramientas fundamentales. Las variables de interés nos permiten identificar los aspectos relevantes de los datos, y la visualización de datos nos permite comunicar estos aspectos de forma efectiva.

Argumentos a favor de la importancia de las variables de interés

Las variables de interés son importantes porque:

·         Nos permiten identificar los aspectos relevantes de los datos.

·         Nos ayudan a formular preguntas y hipótesis sobre los datos.

·         Nos guían en el proceso de análisis de datos.

 

La visualización de datos es importante porque:

·         Facilita la comprensión de los datos.

·         Permite identificar patrones y tendencias en los datos.

·         Ayuda a comunicar los resultados del análisis de datos.

 

Ejemplo de variables de interés y visualización de datos

En nuestro caso estamos analizando un conjunto de datos sobre diabetes, de acuerdo a la base de datos suministrada para la Actividad, en este caso, las variables de interés podrían ser:

Variables cuantitativas: edad, peso, nivel de glucosa en sangre, presión arterial, etc.

Variables cualitativas: sexo, etc.

Para visualizar los datos, podríamos utilizar un diagrama de dispersión para representar la relación entre la edad y el nivel de glucosa en sangre. Este diagrama nos permitiría identificar si existe una relación entre estas dos variables.

Para la realización de la Actividad correspondiente a la semana 6, se utilizó el archivo:  Semana_6_blog.ipynb   la cual se subió al repositorio Git Hub, se realizó el ejercicio en Google Colaboratory por cuanto Jupyter presento algunas dificultas por las versiuones de las librerías.  El Link de Git Hub es el siguiente: 

https://github.com/cemofe788/Cubos_y_Mineria_de_Datos

Al desarrollar el notebook paso a paso, se obtuvieron los siguientes resultados de acuerdo a las capturas de pantalla:

En un informe de Pandas Profiling Report, cuando se menciona "IMBALANCE" se refiere a la proporción desigual o falta de equilibrio entre diferentes categorías o valores en una columna específica de un conjunto de datos.

El término "IMBALANCE" en el contexto de un informe de Pandas Profiling generalmente se refiere a la distribución desigual de los valores dentro de una variable categórica. Esto puede ser relevante especialmente en columnas que representan variables categóricas o clases en un problema de clasificación, donde se espera que las clases estén más o menos balanceadas para un mejor rendimiento del modelo.

Por ejemplo, si tienes una columna que representa el género ("male" o "female") y el 80% de los datos pertenecen a "male" mientras que solo el 20% son "female", se consideraría que esa columna está desbalanceada.

En nuestro caso, este desequilibrio puede tener implicaciones en el rendimiento del modelo predictivo, ya que algunos algoritmos de aprendizaje automático pueden verse afectados por este tipo de distribución desigual, favoreciendo la clase mayoritaria y mostrando un sesgo en la predicción.

 

Cuando en un informe generado por Pandas Profiling se menciona "HIGH CORRELATION", como en el presente caso,  se refiere a una fuerte correlación lineal entre dos variables en el conjunto de datos. Esto indica que existe una relación lineal notable entre las variables, lo que significa que los cambios en una variable están asociados con cambios sistemáticos en la otra variable.

En términos simples, si dos variables tienen una alta correlación, cuando una aumenta, la otra tiende a aumentar (correlación positiva) o disminuir (correlación negativa) de manera consistente.

En el contexto del informe de Pandas Profiling, "HIGH CORRELATION" se refiere a una correlación fuerte entre pares de variables. Esto puede ser importante en análisis exploratorios y modelado predictivo, ya que puede afectar la calidad de los modelos. La alta correlación entre variables a menudo se menciona como multicolinealidad en el contexto de modelos de regresión, lo que puede dificultar la interpretación de los coeficientes y la precisión de las predicciones.

Es esencial tener en cuenta que la alta correlación no siempre implica causalidad, es decir, aunque dos variables puedan estar altamente correlacionadas, eso no significa necesariamente que una variable cause directamente cambios en la otra. Puede haber otras variables o factores ocultos que influyan en ambas variables, lo que genera la apariencia de correlación.

En situaciones donde la alta correlación puede ser problemática para el modelado (especialmente en modelos de regresión), se pueden considerar estrategias como la eliminación de una de las variables altamente correlacionadas, el uso de técnicas de regularización o la realización de análisis más detallados para comprender la naturaleza de la relación entre las variables.

Estos resultados provienen de la sección de estadísticas descriptivas generadas por Pandas Profiling Report para una variable específica en tu conjunto de datos. Aquí está la interpretación de cada uno de los resultados:

1. Quantile statistics:
• Minimum: El valor mínimo de la variable es 3.5.
• 5-th percentile: El valor por debajo del cual se encuentra el 5% de los datos es 3.5.
• Q1 (Primer cuartil): El valor por debajo del cual se encuentra el 25% de los datos es 4.8.
• Median (Mediana): El valor medio de los datos es 5.8.
• Q3 (Tercer cuartil): El valor por debajo del cual se encuentra el 75% de los datos es 6.2.
• 95-th percentile: El valor por debajo del cual se encuentra el 95% de los datos es 6.6.
• Maximum: El valor máximo de la variable es 9.
• Range (Rango): La diferencia entre el valor máximo y mínimo es 5.5.
• Interquartile range (IQR): La diferencia entre el tercer cuartil (Q3) y el primer cuartil (Q1) es 1.4.
2. Descriptive statistics:
• Standard deviation (Desviación estándar): La medida de dispersión promedio de los datos respecto a la media es aproximadamente 1.0706721.
• Coefficient of variation (CV) (Coeficiente de variación): Es una medida de la dispersión relativa de los datos respecto a la media, es aproximadamente 0.19369891.
• Kurtosis (Curtosis): Mide la forma de la distribución de los datos. Un valor positivo indica una distribución más puntiaguda que la distribución normal.
• Mean (Media): La media aritmética de los datos es aproximadamente 5.527507.
• Median Absolute Deviation (MAD) (Desviación mediana absoluta): Es una medida de la dispersión de los datos respecto a la mediana, y es aproximadamente 0.8.
• Skewness (Asimetría): Indica la asimetría de la distribución de los datos. Un valor negativo indica una cola hacia la izquierda en la distribución.
• Sum (Suma): La suma de todos los valores de la variable es 552750.7.
• Variance (Varianza): La medida de dispersión de los datos al cuadrado respecto a la media es aproximadamente 1.1463387.
• Monotonicity (Monotonía): Indica si la variable sigue un patrón monotónico o no, en este caso, se indica que no sigue un patrón monotónico.

Estos resultados proporcionan información valiosa sobre la distribución, dispersión y características estadísticas de la variable analizada en el informe de Pandas Profiling Report.

Estos resultados son parte de la sección de estadísticas descriptivas generadas por Pandas Profiling Report para una variable específica en tu conjunto de datos. A continuación, se presenta la interpretación de cada uno de los resultados:

1. Quantile statistics:
• Minimum: El valor mínimo de la variable es 80.
• 5-th percentile: El valor por debajo del cual se encuentra el 5% de los datos es 80.
• Q1 (Primer cuartil): El valor por debajo del cual se encuentra el 25% de los datos es 100.
• Median (Mediana): El valor medio de los datos es 140.
• Q3 (Tercer cuartil): El valor por debajo del cual se encuentra el 75% de los datos es 159.
• 95-th percentile: El valor por debajo del cual se encuentra el 95% de los datos es 200.
• Maximum: El valor máximo de la variable es 300.
• Range (Rango): La diferencia entre el valor máximo y mínimo es 220.
• Interquartile range (IQR): La diferencia entre el tercer cuartil (Q3) y el primer cuartil (Q1) es 59.
2. Descriptive statistics:
• Standard deviation (Desviación estándar): La medida de dispersión promedio de los datos respecto a la media es aproximadamente 40.708136.
• Coefficient of variation (CV) (Coeficiente de variación): Es una medida de la dispersión relativa de los datos respecto a la media, es aproximadamente 0.29486244.
• Kurtosis (Curtosis): Mide la forma de la distribución de los datos. Un valor positivo indica una distribución más puntiaguda que la distribución normal, y en este caso es 1.7376236.
• Mean (Media): La media aritmética de los datos es aproximadamente 138.05806.
• Median Absolute Deviation (MAD) (Desviación mediana absoluta): Es una medida de la dispersión de los datos respecto a la mediana, y es aproximadamente 19.
• Skewness (Asimetría): Indica la asimetría de la distribución de los datos. Un valor positivo indica una cola hacia la derecha en la distribución, y en este caso es 0.82165495.
• Sum (Suma): La suma de todos los valores de la variable es 13805806.
• Variance (Varianza): La medida de dispersión de los datos al cuadrado respecto a la media es aproximadamente 1657.1523.
• Monotonicity (Monotonía): Indica si la variable sigue un patrón monotónico o no, y en este caso se indica que no sigue un patrón monotónico.

Estos resultados proporcionan información detallada sobre la distribución, dispersión y características estadísticas de la variable analizada en el informe de Pandas Profiling Report.

Si en un informe de Pandas Profiling Report aparecen menciones de "HIGH CORRELATION" y "IMBALANCE" al mismo tiempo, como en el presente caso,  se están señalando dos aspectos diferentes pero relevantes sobre las variables analizadas en el conjunto de datos.

1. HIGH CORRELATION (Alta correlación):
• Indica que existen fuertes relaciones lineales entre pares de variables en el conjunto de datos. Esto significa que ciertas variables están altamente correlacionadas entre sí. La alta correlación puede ser problemática, especialmente en modelos de regresión, ya que puede causar multicolinealidad, lo que dificulta la interpretación de los coeficientes y puede afectar negativamente la precisión del modelo. La alta correlación entre variables no siempre es un problema, pero se debe considerar al momento de construir modelos predictivos.
2. IMBALANCE (Desequilibrio):
• Hace referencia a una distribución desigual de categorías o valores dentro de una variable categórica. Cuando se detecta un desequilibrio, significa que hay una proporción significativamente mayor o menor entre diferentes categorías o valores de una variable. Esto puede ser especialmente relevante en problemas de clasificación, donde un desequilibrio puede conducir a un sesgo en la capacidad del modelo para predecir correctamente las clases minoritarias.

En decir, al tener variables con alta correlación puede afectar la calidad del modelo, mientras que el desequilibrio en las categorías de una variable puede generar problemas al intentar predecir clases subrepresentadas. Es importante tener en cuenta estas observaciones al realizar análisis y modelado de datos, ya que pueden requerir enfoques específicos para mitigar posibles impactos negativos en la capacidad predictiva de los modelos.

Interacción de Variables:

La interacción entre variables se refiere a cómo influyen o se relacionan entre sí dos o más variables en un conjunto de datos. La exploración de la interacción puede revelar dependencias complejas o patrones ocultos entre diferentes características.

Por ejemplo, en un dataset de diabetes, se podría examinar la interacción entre variables como el nivel de glucosa en sangre, la presión arterial, el índice de masa corporal (IMC), la edad y la frecuencia cardíaca para comprender cómo estas variables se afectan mutuamente.

En el ejercicio se puede interactura de esta manera, en el Blog solamente se muestra la Interelación entre la edad y la prueba de la hemoglobina glicosilada (HbA1c), tendiendo a ser alta en los rangos altos de edad.

Correlación de Variables:

La correlación cuantifica la fuerza y la dirección de la relación lineal entre dos variables. En términos simples, indica cómo cambia una variable cuando la otra cambia. La correlación se mide en una escala de -1 a 1, donde:

• 1 indica una correlación positiva perfecta (ambas variables aumentan juntas).
• -1 indica una correlación negativa perfecta (una variable aumenta mientras que la otra disminuye).
• 0 indica ausencia de correlación lineal.

En un dataset de diabetes, podríamos querer explorar la correlación entre variables como la glucosa en sangre y el IMC, o la edad y la presión arterial, para entender si hay relaciones lineales significativas entre estas variables.

Por ejemplo en el ejercicio podemos obtener una alta correlación de las personas que tiene diabates con el nivel de la hemoglobina glicosilada (HbA1c)

Conclusión

Las variables de interés y la visualización de datos son herramientas fundamentales en el análisis de datos. Las variables de interés nos permiten identificar los aspectos relevantes de los datos, y la visualización de datos nos permite comunicar estos aspectos de forma efectiva.