Estudos

A ideia mais interessante que não serve para nada

A ideia mais interessante que não serve para nada

E se o espaço não fosse euclidiano?

A primeira ideia que tive quando comecei a entender os multivetores e a lógica de posicionamento de tokens foi: se nossa vetorização ocorre em um espaço euclidiano, o que aconteceria se ocorresse em um espaço não euclidiano?

A resposta é: não acrescenta nada. Mas é muito interessante.

Medimos curvatura constante e variável sob comparação justa e não houve ganho. A literatura concorda: a vantagem aparece em poucas dimensões e some perto de 500.

Registro: a geometria hiperbólica é uma linha de pesquisa real e ativa. Ela representa bem hierarquias, como taxonomias e grafos de conhecimento, sobretudo em dimensão baixa.

O que medimos

O programa testou curvatura constante (hiperbólica) e curvatura variável aprendida para recuperação, sob comparação justa: mesma dimensão, mesmos bytes, mesmo protocolo. Nenhuma das duas ganhou do espaço euclidiano.

Por que o resultado faz sentido

No modelo de Lorentz, a distância hiperbólica é uma função monótona de um produto interno com um sinal trocado:

d_{mathbb H}(x,y)=operatorname{arcosh}!ig(-langle x,y angle_{mathcal L}ig),qquad langle x,y angle_{mathcal L}=-x_0y_0+ extstylesum_{ige1}x_iy_i

Ordenar por distância hiperbólica é ordenar por um produto interno. Em dimensão alta, os vetores de modelos hiperbólicos pré-treinados ficam numa casca fina, e o cosseno comum reproduz a ordenação geodésica quase por completo.

O que a literatura diz

  • Em grafos de conhecimento a 32 dimensões, a vantagem hiperbólica é de décimos de ponto; os próprios autores relatam desempenho similar em 500 dimensões (Chami e coautores, 2020).
  • Uma reavaliação achou um erro no baseline euclidiano de um benchmark muito usado; corrigido, o modelo euclidiano empata ou vence (Katsman e Gilbert, 2025).
  • Em hierarquias puras e poucas dimensões, o ganho é grande: é aí que a linha continua viva (Nickel e Kiela, 2017).

Registro: a geometria hiperbólica é uma linha de pesquisa real e ativa. Ela não serve para acelerar embeddings de texto de alta dimensão, mas representa bem hierarquias em dimensão baixa.


Discussão

O fórum ainda não foi ligado.

As discussões ficam no GitHub Discussions do repositório, via Giscus. Para ativar:

  1. Deixe o repositório público e ative Discussions em Settings.
  2. Crie as categorias Caminhos, Perguntas, Resultados e reproduções e Propostas novas.
  3. Instale o app em github.com/apps/giscus.
  4. Gere os IDs em giscus.app e preencha GISCUS em src/config.ts.