Archivo del Autor: MIGUEL VERA DEL CASTILLO

Análisis de representaciones latentes mediante Autoencoders para Análisis Exploratorio de Datos (EDA)

Introducción

En medicina, la digitalización genera volúmenes masivos de datos diagnósticos que desbordan los métodos de análisis tradicionales. Nos enfrentamos a la maldición de la dimensionalidad: el exceso de variables dispersa los datos e impide detectar patrones reales. Esto ha impulsado la evolución desde métodos lineales como el PCA hacia los Autoencoders Variacionales (VAE) [1], capaces de interpretar estructuras ocultas.

Presentación del tema, motivación y objetivos

No basta con clasificar una muestra: la importancia está en visualizar la topología de la enfermedad. Buscamos reducir la “caja negra” del diagnóstico asistido por computadora [8], permitiendo identificar clústeres patológicos y anomalías mediante técnicas como t-SNE [3] y UMAP. Nuestros objetivos:

  • Implementar un VAE que comprima datasets médicos complejos en un espacio latente continuo.
  • Realizar un EDA que visualice la separación entre muestras sanas y patológicas de forma no supervisada.
  • Evaluar la preservación de características morfológicas esenciales tras la reducción de dimensionalidad.

Estado del arte

El análisis de datos médicos ha evolucionado desde la interpretación subjetiva del especialista hacia un ecosistema de biomarcadores digitales y modelos de Deep Learning [9]. La metodología avanzó desde técnicas lineales como el PCA, insuficientes para capturar la geometría no lineal de las células, hacia los Autoencoders clásicos [4], y de ahí a la revolución de los VAE en 2013 [1], cuyo espacio de compresión es un mapa probabilístico continuo que facilita visualizar transiciones patológicas. Paralelamente, Van der Maaten y Hinton desarrollaron el t-SNE [3], y posteriormente McInnes propuso UMAP, hoy estándar para preservar la estructura global en el EDA médico.

Análisis matemático

El fundamento de este trabajo es la Inferencia Variacional. A diferencia de un autoencoder tradicional, el VAE mapea la entrada a una distribución de probabilidad en el espacio latente, optimizando la función ELBO [1]:

ELBO = 𝔼_q(z|x)[ log p(x|z) ]  −  β · KL( q(z|x) ‖ p(z) )

  • El primer término asegura que el modelo preserve rasgos críticos, como la morfología de parásitos en Malaria o la simetría nuclear en Cáncer.
  • El segundo término obliga al espacio latente a seguir una distribución normal N(0, I), garantizando un espacio continuo y suave, ideal para que el EDA identifique clústeres biológicos.

Para permitir el entrenamiento aplicamos el Reparameterization Trick, que permite que el gradiente fluya a través del muestreo estocástico. Así transformamos 30 variables clínicas o miles de píxeles en un mapa 2D donde la distancia geométrica refleja la similitud clínica.

Arquitectura del VAE

El modelo consta de un Encoder que mapea los datos a un espacio probabilístico definido por la media (μ) y la varianza (σ²). Se genera un vector latente z que el Decoder utiliza para reconstruir la entrada original. Este diseño permite aprender una representación comprimida y organizada de la patología.

Función de pérdida

La optimización se basa en la ELBO, que combina dos términos: el error de reconstrucción (MSE), que asegura la fidelidad de los rasgos clínicos, y la Divergencia de Kullback-Leibler, que mide la distancia entre la distribución aprendida por el Encoder y una distribución normal estándar. En el caso gaussiano:

KL = −½ · Σ ( 1 + log σ² − μ² − σ² )

El hiperparámetro β controla el equilibrio entre reconstruir perfectamente los datos o tener un espacio latente bien organizado [2].

Desarrollo

Implementamos en PyTorch dos arquitecturas VAE adaptadas a dominios distintos. Las imágenes de Malaria se normalizaron y redimensionaron a 64×64 píxeles RGB. Para Wisconsin Breast Cancer se aplicó StandardScaler a las 30 variables, evitando que rangos heterogéneos dominaran el aprendizaje. Las dos variantes arquitectónicas son:

  • Enfoque convolucional (Malaria): Conv2d y ConvTranspose2d para extraer rasgos jerárquicos (texturas, presencia del parásito).
  • Enfoque lineal (Cáncer): MLP con Batch Normalization, fundamental para acelerar la convergencia y mantener un espacio latente cohesionado.

Como decisión de diseño para el EDA se fijaron dos estrategias: en Malaria, un espacio latente de 32D que actúa como extractor de características y se proyecta en 2D mediante t-SNE [3]; en Cáncer, una compresión directa a 2D que permite explorar el espacio generativo puro sin proyecciones adicionales.

Procedencia del código

Las arquitecturas se han inspirado en la documentación oficial de PyTorch. El equipo se apoyó en IA generativa (Claude) como asistente para la estructuración inicial y la depuración, pero todo el código ha sido auditado por los autores. Las adaptaciones arquitectónicas, el ajuste de la pérdida y la analítica del EDA (t-SNE, mezclas gaussianas, distancia de Mahalanobis [6]) han sido revisados y extendidos manualmente. El código completo está disponible en Google Colab.

Datasets

Analizamos dos conjuntos médicos con desafíos analíticos complementarios:

  • Malaria Cell Images: miles de imágenes de células estandarizadas a 64×64×3 píxeles. El reto es extraer rasgos morfológicos complejos para diferenciar células sanas de las infectadas.
  • Wisconsin Breast Cancer [5]: datos tabulares de 569 muestras con 30 variables altamente correlacionadas que describen la geometría de núcleos celulares. Su objetivo exploratorio es comprimir esa redundancia dimensional para lograr una separación topológica clara entre tumores benignos y malignos.

Resultados

Gráficos de entrenamiento

Ambos modelos convergen correctamente. En el VAE lineal (Cáncer), la pérdida desciende de forma estable con oscilaciones moderadas, esperables dado el tamaño reducido del dataset. En el VAE convolucional (Malaria) la convergencia es más rápida gracias al Batch Normalization, con la KL Divergencia estabilizándose en valores bajos, indicativo de un espacio latente bien regularizado. Las representaciones obtenidas son adecuadas para el análisis exploratorio posterior.

Visualizaciones EDA

Dataset Cáncer

El espacio latente 2D revela una separación topológica natural entre tumores malignos y benignos. Las elipses de confianza al 95 % apenas se solapan, un solapamiento cuantificable mediante divergencias estadísticas como la de Bhattacharyya [7], lo que sugiere una variabilidad intrínseca clara entre clases. El VAE no clasifica, sino que hace visible una estructura preexistente en los datos [8].

El ajuste de una mezcla gaussiana sobre μ permite cuantificar la bimodalidad: que dos componentes basten para describir la distribución aprendida indica que la compresión variacional ha organizado los datos en torno a dos regiones de alta densidad que se corresponden con los dos diagnósticos.

Frente al PCA, el VAE genera fronteras más nítidas, lo que sugiere que la geometría subyacente de las 30 variables morfológicas es no lineal.

La interpolación lineal entre los centroides muestra una transición gradual en las características reconstruidas, reflejando variaciones morfológicas coherentes.

Dataset Malaria

A diferencia del caso anterior, aquí no se observa separación entre clases, y esta es en sí misma una conclusión relevante del EDA: la distinción entre células parasitadas y sanas no emerge como la fuente de variabilidad dominante en el espacio latente aprendido.

Frente al t-SNE sobre píxeles crudos, el espacio latente agrupa todas las muestras en un único clúster compacto, lo que orienta decisiones sobre preprocesado, arquitectura o hiperparámetros antes de cualquier análisis posterior [10].

Análisis crítico y limitaciones

El principal factor limitante es el uso de un VAE estándar con β=1, que equilibra a partes iguales la fidelidad de reconstrucción y la regularización del espacio latente. En Malaria, esto ha resultado en un espacio dominado por fuentes de variabilidad no diagnósticas. Un β-VAE [2] con mayor peso en la KL podría inducir un espacio más organizado a costa de peor reconstrucción. La elección de la dimensión latente responde a decisiones de diseño, no a una búsqueda sistemática. Finalmente, t-SNE preserva relaciones locales a costa de la estructura global, por lo que las distancias absolutas entre puntos en el mapa 2D no son directamente interpretables.

Conclusiones

Este trabajo valida el VAE como herramienta de EDA en el dominio médico: permite transformar datos de alta dimensionalidad en representaciones visuales interpretables de forma no supervisada [9]. Los resultados difieren según la naturaleza del dato, lo cual es en sí mismo una conclusión relevante. En Wisconsin Breast Cancer el VAE revela una separación topológica natural entre tumores malignos y benignos, superando al PCA y confirmando que la geometría subyacente es no lineal. En Malaria, la ausencia de separación no invalida el modelo, sino que orienta decisiones de arquitectura e hiperparámetros, ilustrando el valor del EDA como paso previo a cualquier clasificación. En conjunto, el pipeline VAE + t-SNE/UMAP se confirma como un enfoque robusto para el EDA en biomedicina: no clasifica, sino que hace visible una estructura que ya reside en los datos.

Referencias y código

Código

Dataset Malaria: https://colab.research.google.com/drive/1mA7rgopts4Zp_iAfMrerjFqkChJLY0J0?usp=sharing

Dataset Cáncer: https://drive.google.com/file/d/19xjTlYMAO8r_tAXzsAxceNQSqtHlyifd/view?usp=sharing

Referencias

  1. Kingma, D. P. & Welling, M. (2013). Auto-Encoding Variational Bayes. arXiv:1312.6114.
  2. Higgins, I. et al. (2017). β-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework. ICLR 2017.
  3. Van der Maaten, L. & Hinton, G. (2008). Visualizing Data using t-SNE. Journal of Machine Learning Research, 9, 2579–2605.
  4. Hinton, G. E. & Salakhutdinov, R. R. (2006). Reducing the Dimensionality of Data with Neural Networks. Science, 313(5786), 504–507.
  5. Street, W. N., Wolberg, W. H. & Mangasarian, O. L. (1993). Nuclear feature extraction for breast tumor diagnosis. Proc. SPIE 1905.
  6. Mahalanobis, P. C. (1936). On the generalised distance in statistics. Proceedings of the National Institute of Sciences of India.
  7. Bhattacharyya, A. (1943). On a measure of divergence between two statistical populations defined by their probability distributions. Bulletin of the Calcutta Mathematical Society.
  8. Explaining Black Box with Visual Exploration of Latent Space. Eurographics, 2022.
  9. A cancer biologist’s primer on machine learning. PMC, 2020.
  10. Latent Space Analysis for Melanoma Prevention. arXiv, 2025.