Estrutura Multi-Submanifold em Espaços Latentes de LLMs: Uma Análise Topológica e Geométrica
Introdução
A hipótese do manifold — a ideia de que dados de alta dimensão residem em ou perto de um manifold de baixa dimensão — é um princípio fundamental na teoria de deep learning. Originalmente formulada para dados de imagem, essa hipótese foi estendida para processamento de linguagem natural, onde representações de estados ocultos de modelos transformer são hipotetadas como ocupando regiões estruturadas do espaço de alta dimensão.
No entanto, a hipótese clássica assume um único manifold conectado de dimensão intrínseca uniforme. Trabalhos recentes desafiaram essa visão para dados de imagem, propondo a hipótese da união de manifolds: que os dados residem em uma união disjunta de manifolds de dimensões intrínsecas potencialmente diferentes.
A questão que abordei neste trabalho é: essa hipótese estendida se mantém para as representações internas de modelos de linguagem de grande escala (LLMs)?
Metodologia
Analisei quatro modelos transformer (Qwen2.5-0.5B, Qwen2.5-1.5B, GPT-2-124M, Phi-2-2.7B) spanning de 124M a 2.7B parâmetros, em três conjuntos de prompts cognitivamente distintos:
- Conhecimento (520 prompts): Conhecimento factual e conceitual
- Raciocínio (150 prompts): Raciocínio lógico, matemática, chain-of-thought
- Linguagem (200 prompts): Tradução, diálogo, escrita criativa
Todos os prompts estão em português (PT-BR).
Apliquei um pipeline de análise multi-método combinando:
- Estimação de Dimensão Intrínseca — TwoNN e MLE
- Homologia Persistente — Complexos Vietoris-Rips via Ripser (Betti-0, Betti-1, diagramas de persistência)
- Detecção de Comunidades em Grafos — Louvain e Leiden em grafos k-NN, com testes de permutação
- Clustering Baseado em Densidade — HDBSCAN (primário), mais DBSCAN, Spectral, GMM, Agglomerative
- Detecção de Nós Ponte — Centralidade de betweenness de arestas + análise de densidade local
- Probing de Perplexidade — Perplexity por prompt comparado entre clusters, categorias, e nós ponte vs. não-ponte
Adicionalmente, realizei análise camada-a-camada (24 camadas) e rastreamento de trajetórias (10 prompts através de todas as camadas) para o modelo Qwen2.5-0.5B.
Resultados Principais
1. Estrutura Comunitária Modular é Universal
A modularidade do grafo k-NN é consistentemente alta em todas as 12 configurações (modularidade > 0.67, p < 0.001). A detecção de comunidades encontra 6–13 comunidades com alta modularidade, confirmando que o espaço latente tem estrutura comunitária altamente significativa.
2. Buracos Topológicos Persistem
Betti-1 > 0 em todas as 12 configurações, com 2 características H1 persistentes na análise primária. Isso confirma que o espaço latente tem estrutura topológica não-trivial (loops) que não pode ser explicada por um único manifold convexo.
3. Dimensão Intrínseca Não-Uniforme
O coeficiente de variação da dimensão intrínseca baseada em MLE excede 30% em todas as 12 configurações, atingindo 61% para Qwen2.5-0.5B no dataset de conhecimento. Isso viola diretamente a predição de dimensão constante da hipótese de manifold único e apoia a existência de submanifolds de diferentes dimensões.
Na análise detalhada por categoria, a dimensão intrínseca varia de 7.3 (poesia) a 21.5 (tradução) — uma variação de 3×. Isso estende a hipótese da união de manifolds de classes de imagem para representações de modelos de linguagem.
4. Nós Ponte Ocupam Vales de Densidade
Em 8 de 12 configurações, nós ponte têm densidade local significativamente menor que nós não-ponte, com o efeito sendo estatisticamente significativo (p < 10⁻⁵⁰ na análise primária). Isso sugere que nós ponte são conectores estruturais que atravessam vales de densidade entre comunidades semânticas.
5. Nós Ponte NÃO São Zonas de Incerteza
Uma descoberta importante: nós ponte não exibem perplexity significativamente diferente de nós não-ponte (teste Mann-Whitney p = 0.435). Isso sugere que nós ponte não são pontos onde o modelo está "confuso" ou "incerto" — são pontos que servem uma função de conectividade estrutural, ligando comunidades semânticas distintas sem serem ambíguos.
6. Padrão Ampulheta Através das Camadas
Para o modelo Qwen2.5-0.5B, observei um padrão "ampulheta" na dimensão intrínseca através das camadas: expansão → compressão → re-expansão. Isso sugere que o modelo primeiro expande a representação, depois comprime para capturar abstrações, e finalmente re-expande para geração.
Robustez
A hipótese é robusta across arquiteturas e datasets:
| Critério | N/Total | Status |
|---|---|---|
| Modularidade > 0.3 | 12/12 | ROBUSTO |
| Clusters > 1 | 12/12 | ROBUSTO |
| p_mod < 0.05 | 12/12 | ROBUSTO |
| Betti-1 > 0 | 12/12 | ROBUSTO |
| Dim. intrínseca CV > 30% | 12/12 | ROBUSTO |
| ARI > 0.05 | 10/12 | ROBUSTO |
| NMI > 0.1 | 11/12 | ROBUSTO |
| Vale de densidade > 0 | 8/12 | PARCIAL |
| Nós ponte > 5% | 7/12 | PARCIAL |
| Gap de densidade de aresta > 0 | 6/12 | PARCIAL |
7 de 10 critérios são robustos (>= 70% das configurações).
Conclusão
Meus resultados fornecem evidência empírica robusta de que os estados ocultos de LLMs não residem em um único manifold suave, mas sim em uma união disjunta de submanifolds de dimensões intrínsecas variáveis.
A estrutura multi-submanifold sugere que o espaço de representação não é um continuum suave, mas uma rede estruturada de "ilhas semânticas" conectadas por pontes de vale de densidade — uma topologia que pode ser fundamental para como transformers processam linguagem.
Isso tem implicações para interpretabilidade de modelos, design de arquitetura, e nossa compreensão teórica de como modelos de linguagem organizam conhecimento.
Acesso
- Paper completo (PDF): DOI 10.5281/zenodo.21418514
- Código e notebook: github.com/Kodjaoglanian/latent_topology
- Zenodo: zenodo.org/records/21418514
Agradecimentos
Esta pesquisa foi conduzida usando Google Colab Pro com acesso a GPU NVIDIA T4. Agradeço à comunidade open-source pelas bibliotecas que tornaram esta análise possível: HuggingFace Transformers, Ripser, HDBSCAN, UMAP, NetworkX, e Plotly.