Predecir o describir: dos miradas para entender los datos, y datos limpios, decisiones certeras

Una tienda revisa las ventas del mes pasado y descubre que el 35 % de sus clientes compra café y galletas juntos: puede ubicar ambos productos cerca para vender más. Si además pudiera anticipar qué clientes que nunca han comprado galletas probablemente lo harán la próxima semana, podría enviarles un cupón en el momento justo. Ambos enfoques son valiosos, pero resuelven problemas distintos: el primero describe lo que pasó (análisis descriptivo) y el segundo anticipa lo que podría pasar (análisis predictivo).

Elegir el tipo de modelo equivocado es uno de los errores más costosos en un proyecto de minería de datos. Y antes de cualquier modelo están los datos: la limpieza consume entre el 50 % y el 70 % del tiempo total de un proyecto, aunque muchas veces se subestima. Un dato incorrecto no solo reduce la precisión de los modelos: puede llevar a decisiones erróneas o a sistemas que discriminan injustamente a grupos de personas. Decidir qué modelo usar y cómo limpiar los datos no son tareas mecánicas: requieren pensamiento crítico, conocimiento del dominio y responsabilidad ética.

1. Modelos descriptivos

Los modelos descriptivos, también llamados no supervisados, buscan identificar patrones, estructuras, agrupaciones o relaciones en datos históricos sin tener una variable objetivo que predecir. No intentan anticipar el futuro: resumen y organizan la información de maneras que revelan conocimiento útil.

Características clave:

  • No requieren etiquetas ni variable objetivo: trabajan solo con los datos de entrada.
  • Buscan patrones naturales en los datos: agrupaciones, asociaciones, anomalías.
  • Son útiles para exploración, segmentación, simplificación y detección de outliers (valores atípicos).
  • Su éxito se mide por la interpretabilidad y la utilidad práctica, no por la precisión de una predicción.

Las técnicas descriptivas más comunes son cuatro.

Clustering (agrupamiento)

Agrupa objetos similares en clusters (grupos) sin saber de antemano cuántos grupos existen ni qué los define. Los objetos dentro de un cluster son similares entre sí y diferentes de los objetos de otros clusters.

Tabla 1: Algoritmos comunes de clustering
AlgoritmoCaracterísticas
K-meansEl más usado y rápido, pero requiere definir de antemano k, el número de clusters
DBSCANIdentifica clusters de forma arbitraria y detecta outliers automáticamente
Clustering jerárquicoConstruye un dendrograma que muestra las relaciones entre clusters a distintos niveles

Reglas de asociación

Descubren relaciones entre variables en transacciones o eventos. La regla tiene la forma «si compra X, entonces compra Y con Z % de probabilidad». Se popularizaron con el análisis de la canasta de compras (market basket).

Tabla 2: Métricas de una regla de asociación
MétricaQué mide
SoporteQué tan frecuente es la regla en los datos (%)
ConfianzaQué tan confiable es la regla: la probabilidad condicional de Y dado X
LiftCuánto más probable es Y dado X, comparado con la probabilidad base de Y

Un lift mayor que 1 indica asociación positiva; igual a 1, independencia; y menor que 1, asociación negativa.

El algoritmo clásico para encontrar reglas de asociación es Apriori: genera candidatos de conjuntos de ítems (itemsets) frecuentes y los filtra según un soporte mínimo.

Reducción de dimensionalidad

Simplifica conjuntos de datos con muchas variables (dimensiones) proyectándolos a un espacio de menor dimensión que conserva la mayor parte de la información. Es útil para visualizar y para evitar la «maldición de la dimensionalidad».

Tabla 3: Técnicas de reducción de dimensionalidad
TécnicaCaracterísticas
PCA (Principal Component Analysis)Transforma variables correlacionadas en componentes ortogonales no correlacionados
t-SNEExcelente para visualizar en 2 o 3 dimensiones datos de alta dimensión
AutoencodersRedes neuronales que aprenden representaciones comprimidas de los datos

Detección de anomalías

Identifica observaciones que se desvían significativamente del patrón normal. No predice si algo es anómalo: describe qué es normal y señala lo que no encaja.

2. Modelos predictivos

Los modelos predictivos, también llamados supervisados, aprenden la relación entre las variables de entrada (features o predictores) y una variable objetivo (target) usando datos históricos etiquetados, para luego predecir la variable objetivo en datos nuevos sin etiquetar.

Características clave:

  • Requieren datos etiquetados: necesitan ejemplos donde se conoce la respuesta correcta.
  • Aprenden a mapear entradas a salidas: f(X)=Yf(X) = Y.
  • Su éxito se mide por la precisión de la predicción en datos no vistos (generalización).
  • Se dividen en clasificación (predecir categorías) y regresión (predecir valores numéricos).

Clasificación

Predice a qué categoría o clase pertenece una observación. La variable objetivo es categórica: spam o no spam, alto o bajo riesgo, aprobado o rechazado.

Tabla 4: Algoritmos comunes de clasificación
AlgoritmoCaracterísticas
Regresión logísticaModelo lineal simple y muy interpretable
Árboles de decisiónFáciles de visualizar y de explicar a personas no técnicas
Random forestConjunto (ensemble) de árboles, más robusto y preciso
Support Vector Machines (SVM)Efectivas en espacios de alta dimensión
Redes neuronalesPoderosas, pero requieren muchos datos y son difíciles de interpretar
Tabla 5: Métricas de evaluación en clasificación
MétricaQué mide
Exactitud (accuracy)Porcentaje de predicciones correctas. Simple, pero engañosa si las clases están desbalanceadas
Precisión y recallEl balance entre falsos positivos y falsos negativos
F1-scoreMedia armónica de precisión y recall
AUC-ROCCapacidad del modelo de distinguir entre clases en todos los umbrales posibles

Regresión

Predice un valor numérico continuo. La variable objetivo no es una categoría, sino una cantidad: precio, temperatura, ventas, tiempo, probabilidad.

Tabla 6: Algoritmos comunes de regresión
AlgoritmoCaracterísticas
Regresión linealModelo base; asume una relación lineal entre los predictores y el objetivo
Regresión polinómicaCaptura relaciones no lineales
Random forest regressorConjunto de árboles que maneja bien relaciones complejas
Gradient boosting (XGBoost, LightGBM)Estado del arte en muchos problemas con datos tabulares
Redes neuronalesPara problemas muy complejos con grandes volúmenes de datos
Tabla 7: Métricas de evaluación en regresión
MétricaQué mide
MAE (Mean Absolute Error)Error promedio, en las mismas unidades que la variable objetivo
MSE y RMSE (Root Mean Squared Error)Penalizan los errores grandes más que el MAE
R² (coeficiente de determinación)Qué porcentaje de la variabilidad explica el modelo

3. Descriptivo o predictivo: cuándo usar cada uno

La diferencia no es solo técnica: refleja qué pregunta de negocio se está respondiendo.

Tabla 8: Cuándo usar cada tipo de modelo
Modelos descriptivosModelos predictivos
Entender la estructura de los datos: ¿hay grupos naturales de clientes?Anticipar eventos futuros: ¿qué clientes se irán el próximo mes?
Segmentar: ¿cómo agrupar productos o clientes para estrategias diferenciadas?Clasificar observaciones nuevas: ¿este correo es spam?, ¿este tumor es maligno?
Buscar asociaciones: ¿qué cosas ocurren juntas con frecuencia?Estimar valores numéricos: ¿cuánto se venderá el próximo trimestre?
Simplificar: ¿se pueden representar 100 variables con solo 5?Hay datos históricos etiquetados: se conoce qué pasó y se quiere predecir qué pasará
No hay datos etiquetados: no se conoce la «respuesta correcta» para entrenar un modeloLa decisión depende del pronóstico: solo se actúa si el modelo predice X

Cómo trabajan juntas

En un mismo proyecto de analítica, las técnicas descriptivas y predictivas suelen usarse de manera complementaria. Muchos proyectos siguen este flujo:

Datos → Análisis descriptivo → Comprensión del negocio → Modelo predictivo → Decisiones

Una plataforma de streaming como Netflix usa ambos tipos:

Tabla 9: Ejemplo integrado: plataforma de streaming
EtapaQué ocurre
Los usuarios generan datosMiles de usuarios generan información constantemente: series vistas, tiempo de reproducción, géneros favoritos, horarios de consumo y dispositivos utilizados
Análisis descriptivoSe aplica clustering para identificar grupos de usuarios con comportamientos similares: fans de comedia, amantes de documentales, maratonistas de series dramáticas. Aquí no se predice nada: se descubren patrones existentes
Decisiones de negocioLos clusters responden preguntas como «¿qué tipo de contenido deberíamos producir?». Si existe un grupo muy grande de usuarios interesados en documentales de naturaleza, se decide producir más contenido de ese tipo
Análisis predictivoSe construye un modelo de clasificación para una pregunta nueva: ¿qué usuarios podrían cancelar su suscripción? Resultado: el usuario A tiene una probabilidad de cancelación de 70 %
AcciónComo el modelo predice una alta probabilidad de cancelación, se envía una promoción personalizada antes de que el usuario abandone la plataforma

Muchos proyectos comienzan con un análisis descriptivo para entender los datos y luego construyen modelos predictivos. El clustering inicial puede convertirse en la variable objetivo de un modelo predictivo: «predecir a qué cluster pertenecerá un usuario nuevo».

Para la implementación práctica, la biblioteca scikit-learn (Python) implementa la mayoría de estos algoritmos. K-means y DBSCAN son el punto de partida habitual en clustering; los árboles de decisión y random forest, en clasificación y regresión.

Actividad: ¿descriptivo o predictivo?

Tabla 10: Clasificación de cada acción
AcciónTipo de análisis
Agrupar usuarios según sus hábitos de visualizaciónDescriptivo
Analizar los patrones de consumo para definir la estrategia de contenidoDescriptivo
Utilizar clustering para encontrar perfiles de usuariosDescriptivo
Estimar la probabilidad de que un usuario cancele su suscripciónPredictivo
Predecir a qué cluster pertenecerá un usuario nuevoPredictivo
Anticipar el comportamiento futuro de un usuarioPredictivo
Enviar una oferta personalizada a un usuario con alta probabilidad de abandonoPredictivo

4. Calidad de datos

La calidad de datos es el grado en que los datos son adecuados para el propósito para el cual serán usados. No es un concepto absoluto: datos «de calidad» para un contexto pueden ser inadecuados para otro. Aun así, hay seis dimensiones universales que la definen:

Tabla 11: Dimensiones de la calidad de datos
DimensiónPreguntaEjemplo
Exactitud (accuracy)¿Los datos reflejan correctamente la realidad?Un cliente con 150 años, o una transacción por −$500, no son datos exactos
Completitud (completeness)¿Están presentes todos los datos requeridos?Si falta el 40 % de los correos electrónicos de los clientes y se planea una campaña por correo, los datos están incompletos para ese propósito
Consistencia (consistency)¿Los mismos datos se representan de la misma manera en todo el conjunto?«Santiago» aparece también como «Stgo», «Sgo» y «SANTIAGO»
Validez (validity)¿Los datos cumplen las reglas de negocio definidas?El campo «género» admite M o F, pero hay valores como «X», «N/A» o «123»
Actualidad (timeliness)¿Los datos están actualizados?Predecir la demanda con ventas de hace 5 años puede llevar a errores si el mercado cambió
Unicidad (uniqueness)¿Cada entidad está representada una sola vez?El mismo cliente aparece duplicado 3 veces con ligeras variaciones en el nombre

5. Problemas comunes de calidad y cómo tratarlos

Los problemas más frecuentes son cuatro: valores faltantes, duplicados, inconsistencias y outliers. No existe una solución única: la estrategia correcta depende del contexto, del tipo de dato y del impacto que tendrá en el análisis posterior.

Valores faltantes

Son el problema más frecuente. Un valor faltante (missing value) significa que, para cierta observación y cierta variable, no hay dato. Puede aparecer como NaN, NULL, una celda vacía o un valor centinela como 999, −1 o «N/A».

Causas:

  • Error humano al ingresar datos (un campo olvidado).
  • Falla técnica en los sistemas de captura (un sensor desconectado, un formulario web con errores).
  • Intencional: el usuario no quiso responder una pregunta opcional.
  • Estructural: ciertos datos no aplican («número de hijos» para una persona sin hijos).
Tabla 12: Estrategias para tratar valores faltantes
EstrategiaEn qué consiste y cuándo usarlaEjemplo
Eliminación de registrosBorrar las filas con valores faltantes. Solo es viable si el porcentaje faltante es muy bajo (menos del 5 %), los faltantes son completamente aleatorios y eliminarlos no introduce sesgoEn 100.000 clientes, 200 no tienen edad y no hay patrón: es aceptable eliminarlos
Eliminación de variablesBorrar columnas completas con muchos faltantes. Una variable con más del 60 % de valores faltantes probablemente aporta poco y causa más problemas que beneficiosEl campo «ingreso anual» solo tiene datos para el 15 % de los clientes: eliminarlo es más sensato que imputar el 85 % restante
Imputación por medidas centralesRellenar con la media, la mediana o la moda. Simple y rápida, pero introduce sesgo porque reduce artificialmente la varianza. Solo cuando el porcentaje faltante es bajo (menos del 10 %) y la variable no es críticaLa altura de los clientes de un gimnasio falta en el 8 % de los registros: imputar con la mediana (170 cm) es razonable
Imputación por gruposCalcular la media o la mediana por subgrupos y rellenar según el grupo. Más inteligente que la imputación globalUn salario faltante se rellena con el promedio de las personas del mismo cargo, región y antigüedad, no con el promedio global que mezcla gerentes con cargos iniciales
Imputación predictivaUsar las otras variables para predecir el valor faltante. Más sofisticada, pero requiere que las otras variables sean predictivasLa edad faltante se predice con un modelo basado en ingresos, nivel educativo, cargo y años de experiencia
Categoría especialCrear una categoría «Desconocido» o «No responde». Útil cuando el hecho de que el dato falte es informativoEn encuestas sobre ingresos, quienes no responden suelen tener ingresos muy altos o muy bajos

Duplicados

Ocurren cuando la misma observación aparece varias veces en el conjunto de datos, a veces con ligeras variaciones.

Causas:

  • Múltiples fuentes de datos que no se integraron correctamente.
  • Errores en el proceso ETL (Extract, Transform, Load) que cargan los mismos registros varias veces.
  • Usuarios que envían el mismo formulario más de una vez.
Tabla 13: Estrategias para tratar duplicados
TipoTratamiento
Duplicados exactosSi dos filas son idénticas en todas las columnas, eliminar una es trivial. La mayoría de las herramientas tiene funciones automáticas, como drop_duplicates() en pandas o DISTINCT en SQL
Duplicados aproximadosEl mismo cliente aparece como «Juan Pérez» y «Juan Perez», con correos distintos pero el mismo teléfono. Requiere técnicas de coincidencia aproximada (fuzzy matching) o de vinculación de registros (record linkage): comparar campos clave y decidir si representan la misma entidad según un umbral de similitud

Inconsistencias

Los mismos datos se representan de formas distintas a lo largo del conjunto de datos.

Tipos comunes:

  • Formatos de fecha: «2024-05-20», «20/05/2024», «May 20, 2024», «20-may-24».
  • Unidades de medida: precios en pesos chilenos ($890) y en dólares (USD 1,1), sin especificar.
  • Codificación de texto: algunos campos con tildes y otros sin ellas, mezclados.
  • Abreviaturas: «M» y «Masculino», «Stgo» y «Santiago», «USA» y «Estados Unidos».
Tabla 14: Estrategias para tratar inconsistencias
EstrategiaEn qué consiste
EstandarizaciónDefinir un formato único y convertir todo a ese formato: fechas en ISO 8601 (AAAA-MM-DD), montos siempre en pesos chilenos, género con códigos (M, F, O), lugares con su nombre oficial completo
Normalización de textoConvertir todo a minúsculas o a mayúsculas, eliminar tildes si no son relevantes, quitar espacios extra y unificar caracteres especiales
Mapeo de categoríasCrear diccionarios de equivalencias, como «Stgo», «Sgo» y «Santiago de Chile» → «Santiago», y aplicarlos

Outliers (valores atípicos)

Son observaciones que se desvían significativamente del patrón general. No todos los outliers son errores: algunos son datos legítimos extremos que contienen información valiosa.

Tabla 15: Tipos de outliers
TipoEjemplo y tratamiento
Errores de medición o de entradaEdad de 150 años, precio de −$5.000, altura de 300 cm. Son claramente imposibles y deben corregirse o eliminarse
Eventos excepcionales legítimosUn cliente que normalmente gasta $50.000 al mes gasta de repente $5.000.000 porque compró un auto. Es atípico, pero real y relevante: eliminarlo sería perder información crítica
Tabla 16: Estrategias para tratar outliers
EstrategiaEn qué consiste
Detección estadísticaUsar reglas como el método del diagrama de caja (valores fuera de [Q1−1,5⋅IQR,  Q3+1,5⋅IQR][Q_1 - 1{,}5 \cdot IQR,\; Q_3 + 1{,}5 \cdot IQR]) o el puntaje Z (valores a más de 3 desviaciones estándar de la media)
Investigación manualPara los outliers críticos, revisar el registro completo y validar si es un error o un evento real. No automatizar a ciegas la eliminación
WinsorizaciónEn lugar de eliminar, reemplazar los outliers extremos por el valor del percentil 95 o 99. Reduce el impacto de los extremos sin perder observaciones
TransformaciónAplicar un logaritmo u otra transformación que comprima los valores extremos. Útil cuando la distribución es muy sesgada
Mantener con análisis robustoUsar algoritmos menos sensibles a los outliers: la mediana en vez de la media, árboles de decisión en vez de regresión lineal

Actividad: detectar problemas en una base de datos

Tabla 17: Problemas detectados y su tratamiento
Error en la baseTipo de problemaCómo abordarlo
Edad de 150 añosOutlierEs un valor extremadamente improbable y debe validarse antes de usarlo. No todos los outliers son errores, pero este requiere revisión
Ciudad «Stgo» cuando el resto usa «Santiago»InconsistenciaEstandarizar usando un único formato antes de analizar
Fechas en distintos formatosInconsistenciaConvertir todas las fechas a un formato estándar, por ejemplo ISO 8601 (AAAA-MM-DD)
Montos en pesos chilenos y en dólares mezcladosInconsistenciaConvertir todos los valores a una misma moneda antes de comparar o sumar
Edad vacíaValor faltanteAnalizar antes de decidir si conviene imputar o eliminar el registro, según el contexto y el porcentaje de datos faltantes
ID 1006 repetido dos vecesDuplicadoLos duplicados pueden distorsionar las estadísticas y los modelos predictivos: se identifican y se eliminan cuando corresponde

6. Recomendaciones generales para la limpieza de datos

  1. Documentar todo. Llevar un registro detallado de cada decisión de limpieza: qué problema se detectó, qué estrategia se aplicó, cuántos registros afectó y por qué se eligió esa solución. Es crítico para la reproducibilidad y para explicar los resultados a los interesados (stakeholders).
  2. Validar con expertos del dominio. Un científico de datos puede detectar que «el paciente tiene 200 años», pero solo un médico puede determinar si una presión arterial de 95/60 es un outlier preocupante o está dentro de lo normal para ciertos perfiles.
  3. Automatizar, pero supervisar. Crear scripts reproducibles para la limpieza, y revisar siempre muestras a mano antes de aplicarlos masivamente. Una regla de limpieza mal diseñada puede corromper miles de registros en segundos.
  4. Preservar los datos originales. Nunca sobrescribir los datos crudos: guardar una copia sin tocar y trabajar sobre copias. Si una decisión de limpieza resulta errónea, se puede volver atrás.
  5. Evaluar el impacto. Después de limpiar, comparar las estadísticas descriptivas de antes y después. Si la media cambió un 40 %, algo puede estar mal. Si se eliminó el 30 % de los registros, hay que preguntarse si se introdujo sesgo.
  6. No todo dato «sucio» es inútil. A veces, el hecho de que un dato falte, sea inconsistente o atípico es en sí mismo información relevante. Los clientes que no responden encuestas de satisfacción suelen ser los más insatisfechos; ignorar ese patrón es perder conocimiento.
  7. La perfección no existe. Nunca habrá datos 100 % perfectos. La pregunta es si los datos son suficientemente buenos para el propósito: un conjunto con un 3 % de errores puede ser excelente para un análisis exploratorio, pero inaceptable para un sistema de detección de fraudes, donde cada error cuenta.

Para la práctica, la librería pandas de Python tiene las funciones fillna, dropna y drop_duplicates; missingno permite visualizar los valores faltantes; fuzzywuzzy hace coincidencia aproximada, y scipy.stats sirve para detectar outliers.

Preguntas de reflexión

  • ¿Qué problemas de calidad de datos podría enfrentar un proyecto de datos real, y cómo se abordarían?
  • Un conjunto de datos tiene un 40 % de valores faltantes en la variable «ingreso mensual». ¿Bajo qué circunstancias conviene eliminar esa variable por completo, y cuándo intentar imputar los valores?
  • «Basura entra, basura sale»: ¿hay ejemplos reales donde datos de mala calidad llevaron a decisiones empresariales incorrectas o a consecuencias negativas?
  • ¿Por qué la limpieza de datos consume entre el 50 % y el 70 % del tiempo de un proyecto, pero muchas veces se subestima en la planificación inicial? ¿Qué implica eso para los científicos de datos y sus organizaciones?
  • Una edad de 150 años es claramente un error. Pero un gasto de $5.000.000 cuando el promedio es $50.000 podría ser un error o un evento legítimo. ¿Cómo decidir qué hacer con este tipo de outliers ambiguos?

Actividad de Práctica

1.

Una cadena hotelera analiza 100.000 reservas y aplica k-means clustering, identificando 4 grupos: (1) viajeros de negocios que reservan entre semana, (2) parejas que reservan fines de semana largos, (3) familias con niños en vacaciones escolares y (4) turistas extranjeros con estadías prolongadas.

    ¿Qué tipo de modelo están usando y para qué sirve este resultado?

    2.

    Una compañía de seguros de salud tiene 500.000 asegurados con datos de edad, enfermedades preexistentes, hábitos (fumador o no fumador), IMC y costo médico anual. Quiere predecir cuánto gastará un nuevo asegurado el próximo año para ajustar las primas.

      ¿Qué tipo de modelo debe construir?

      3.

      Un supermercado analiza transacciones y descubre la regla: «si compra vino tinto y queso, hay un 72 % de probabilidad de comprar pan francés» (soporte 8 %, confianza 72 %, lift 2,1).

        ¿Qué tipo de modelo es y qué significa el lift de 2,1?

        4.

        Un comercio electrónico registra precios en distintas monedas sin etiquetar: algunos en pesos chilenos ($50.000), otros en dólares ($50) y otros en euros (€50). Al sumar los ingresos mensuales, obtiene resultados sin sentido.

          ¿Qué dimensión de la calidad de datos se violó?

          5.

          Un hospital tiene datos de 30.000 pacientes. El campo «presión arterial» está ausente en 8.000 casos (27 %). Al investigar, descubre que los faltantes ocurren principalmente en consultas de urgencia, donde no hubo tiempo de tomar los signos vitales.

            ¿Qué estrategia de tratamiento es más apropiada?

            BUSCARCtrl K