Datos en todas partes: el origen de la minería de datos

Cada vez que envías un mensaje, buscas una dirección, revisas el clima o pides comida a domicilio, generas datos. Multiplicado por miles de millones de personas cada día, ese volumen de información digital es el punto de partida de la minería de datos. Plataformas como Netflix, Spotify o los bancos lo usan para anticipar gustos o detectar comportamientos sospechosos. Para transformar esos datos en conocimiento, el primer paso es entender qué es la minería de datos y qué tipo de datos se está enfrentando: un archivo CSV con ventas mensuales no se procesa igual que un conjunto de imágenes médicas o una colección de tweets.

1. ¿Qué es la minería de datos?

La minería de datos es el proceso de descubrir patrones, correlaciones, tendencias y conocimiento útil a partir de grandes volúmenes de datos, utilizando métodos computacionales, estadísticos y de inteligencia artificial. No se trata de «mirar» los datos, sino de aplicar algoritmos y técnicas sistemáticas que revelen información oculta que no es evidente a simple vista (Han et al., 2012).

Tabla 1: La minería de datos en distintos sectores
SectorAplicación
RetailAnalizar millones de transacciones para encontrar patrones de compra. Si los clientes que compran pañales también compran cerveza los viernes por la tarde, se pueden ubicar cerca o crear promociones combinadas
BancaDetectar fraudes en tiempo real: si una tarjeta que se usa en Santiago registra de pronto compras en otro país, el sistema puede bloquearla. También predecir qué clientes tienen mayor probabilidad de no pagar sus créditos
MineríaMantenimiento predictivo: sensores en la maquinaria pesada alertan cuando un motor vibra de forma inusual o se calienta, antes de una detención costosa
SaludAnalizar historiales clínicos para identificar factores de riesgo, como indicadores sanguíneos y hábitos que aumentan la probabilidad de diabetes tipo 2, y actuar preventivamente

2. La pirámide informacional

No todos los datos tienen el mismo valor. Existe una jerarquía de cuatro niveles que transforma datos brutos en conocimiento accionable, donde cada nivel agrega valor al anterior:

Tabla 2: Niveles de la pirámide informacional
NivelDefiniciónEjemplo
1. Datos (base)Hechos brutos, sin procesar ni contextualizar«27 °C», «250 unidades», «12:35 PM»: valores aislados que por sí solos no dicen nada
2. InformaciónDatos procesados y contextualizados que responden preguntas básicas«La temperatura en Santiago es de 27 °C a las 12:35 PM»: el dato ahora tiene ubicación y hora
3. ConocimientoInformación analizada, interpretada y conectada con experiencia previa«En enero, las temperaturas en Santiago suelen superar los 30 °C al mediodía, lo que aumenta el consumo eléctrico por aire acondicionado»
4. Sabiduría (cúspide)Conocimiento aplicado con juicio y experiencia para decidir«Como enero es el mes de mayor consumo, las distribuidoras deben asegurar capacidad adicional y los usuarios pueden optar por tarifas diferenciadas por horario»

En el nivel de conocimiento ya no solo se sabe el dato, sino que se comprende su significado y sus implicaciones; la sabiduría, en cambio, combina ese conocimiento técnico con el contexto del negocio para tomar decisiones estratégicas.

La minería de datos trabaja principalmente en los niveles de información y conocimiento: toma datos brutos (nivel 1), los procesa y contextualiza (nivel 2) y aplica algoritmos para revelar patrones y generar conocimiento (nivel 3). La sabiduría sigue dependiendo del juicio humano, del contexto y de la interpretación ética de los resultados.

3. Relación con otras disciplinas

La minería de datos no es una disciplina aislada, sino un campo interdisciplinario. Comprender estas relaciones te ayuda a ubicarla en el ecosistema tecnológico y a identificar qué habilidades complementarias son valiosas:

  • Estadística: entrega la base matemática para analizar datos, calcular probabilidades, medir correlaciones y validar si un patrón es significativo o solo ruido aleatorio.
  • Bases de datos: permiten almacenar, organizar y consultar grandes volúmenes de información con sistemas relacionales (SQL) y no relacionales (NoSQL).
  • Inteligencia artificial y machine learning: aportan algoritmos que aprenden patrones a partir de ejemplos y ajustan sus resultados mediante entrenamiento sobre datos, como árboles de decisión, redes neuronales o clustering (agrupamiento).
  • Visualización de datos: gráficos y dashboards (paneles) comunican los hallazgos a quienes deciden sin conocimientos técnicos.
  • Conocimiento del dominio: un experto en el área determina si una correlación tiene sentido práctico o es una coincidencia; por ejemplo, un médico valida si un patrón tiene relevancia clínica.

4. Tipos de datos según su estructura

No todos los datos se crean iguales. Según cómo estén organizados, se clasifican en tres categorías, y entender sus diferencias es crítico porque cada tipo requiere herramientas y técnicas de procesamiento distintas.

Datos estructurados

Organizados en filas y columnas, con un esquema fijo y predefinido. Cada columna tiene un tipo de dato específico (texto, número, fecha) y cada fila representa un registro: piensa en una planilla Excel perfectamente ordenada o en una tabla de una base de datos SQL.

  • Registros de ventas: cada fila es una transacción, con columnas para fecha, producto, cantidad, precio, cliente y sucursal.
  • Bases de datos bancarias: cada fila es una cuenta, con número de cuenta, titular, saldo, fecha de apertura y tipo de cuenta.
  • Sensores industriales: cada fila es una medición, con timestamp (marca de tiempo), temperatura, presión, humedad y ubicación del sensor.

Ventajas: son fáciles de almacenar, consultar y analizar. Los sistemas de bases de datos relacionales (MySQL, PostgreSQL, Oracle) están optimizados para ellos, y las búsquedas, filtros y agregaciones son rápidas y eficientes. Limitaciones: no todos los datos del mundo real encajan en tablas; forzar datos no estructurados (imágenes, textos largos) en este formato puede resultar ineficiente o imposible.

Datos semiestructurados

No siguen un esquema rígido de tabla, pero tienen cierta organización interna mediante etiquetas, jerarquías o metadatos: no son completamente libres como un texto narrativo, pero tampoco están confinados a filas y columnas. Los formatos más comunes son JSON (JavaScript Object Notation), XML (eXtensible Markup Language) y YAML.

  • APIs web: al consultar el clima en una aplicación, la respuesta llega en JSON con campos como «ciudad», «temperatura», «humedad» y «pronóstico».
  • Logs (registros) de servidores: suelen estar en JSON o XML, con timestamp, nivel de error, mensaje y usuario afectado.
  • Documentos de configuración: archivos YAML o JSON que definen parámetros de aplicaciones, con secciones anidadas y listas de valores.

Ventajas: son flexibles y adaptables; puedes agregar campos nuevos sin romper la estructura existente. Son ideales para datos que evolucionan con el tiempo o que provienen de múltiples fuentes con esquemas ligeramente distintos. Limitaciones: requieren parseo (análisis sintáctico) antes de analizarse. Aunque tradicionalmente se procesan con herramientas NoSQL o especializadas, muchos motores SQL modernos permiten consultar JSON o XML mediante extensiones específicas.

Datos no estructurados

No siguen un esquema tabular o relacional predefinido. Pueden tener metadatos asociados, pero su contenido principal no está en filas y columnas: textos libres, imágenes, videos, audios, documentos PDF, publicaciones en redes sociales, correos electrónicos. Representan la mayor parte de los datos del mundo digital.

  • Redes sociales: tweets, publicaciones de Instagram, comentarios en YouTube; de longitud variable, con emojis, menciones y hashtags (etiquetas), sin formato fijo.
  • Imágenes médicas: radiografías, resonancias magnéticas, tomografías; archivos binarios con píxeles, no números en columnas.
  • Grabaciones de llamadas: los centros de atención graban miles de llamadas diarias, cada una única en duración, contenido y calidad.
  • Documentos PDF: contratos, informes técnicos, artículos científicos; tienen texto, pero también tablas, imágenes, gráficos y formatos mixtos.

Desafíos: requieren técnicas avanzadas de procesamiento: procesamiento de lenguaje natural (NLP, Natural Language Processing) para textos, visión computacional para imágenes y reconocimiento de voz para audios. El volumen es masivo: se estima que más del 80% de los datos generados en el mundo son no estructurados. Oportunidades: contienen información riquísima que los datos estructurados no capturan. Analizar comentarios de clientes en redes sociales puede revelar problemas de calidad antes de que afecten las ventas, y detectar patrones en imágenes médicas puede identificar enfermedades en etapas tempranas.

Tabla 3: Resumen: datos estructurados, semiestructurados y no estructurados
TipoOrganizaciónHerramientas típicas
EstructuradosFilas y columnas con esquema fijoBases relacionales (SQL): MySQL, PostgreSQL, Oracle
SemiestructuradosEtiquetas, jerarquías o metadatos (JSON, XML, YAML)Herramientas NoSQL como MongoDB o Elasticsearch; extensiones JSON/XML de motores SQL
No estructuradosSin esquema tabularNLP, visión computacional, reconocimiento de voz

Un proyecto real suele combinar los tres tipos. Una empresa puede tener transacciones en una base SQL (estructurados), archivos JSON de configuración (semiestructurados) y millones de correos de clientes (no estructurados): SQL para lo primero, MongoDB o Elasticsearch para lo segundo y técnicas de NLP para lo tercero.

Actividad: clasifica cada ejemplo según su estructura
EjemploTipo
Consumo eléctrico de una casa inteligenteEstructurado
Inventario de una farmaciaEstructurado
Producción diaria de una minaEstructurado
Archivo JSON de sensores agrícolasSemiestructurado
Archivo XML con resultados de exámenes médicosSemiestructurado
Radiografía de tórax de un pacienteNo estructurado
Audio de llamada a un call centerNo estructurado
Imagen satelital de un cultivo afectado por sequíaNo estructurado

Para profundizar en datos no estructurados existen bibliotecas como NLTK o spaCy para textos, OpenCV para imágenes y Librosa para audio.

BUSCARCtrl K