Conhecimento transforma horizontes

Harpya

Pesquisa aberta sobre eficiência de LLMs: embeddings, tokens, pesos e busca vetorial, examinados um a um. Aqui ficam só os caminhos que resistiram à prova, com equação, custo conhecido e um teste que pode dar errado.

Ver os 12 caminhos → Começar pela história

caminhos válidos em estudo

camadas de um LLM com equações

99%

da latência de um embedding está no encoder

Disciplina
gera
descobertas

Tecnologia a serviço do conhecimento.

◈

12 caminhos válidos

Cada um com equação, arte prévia, teste e regra de parada.

16 camadas

Do token à probabilidade do próximo token, e o caminho dos embeddings.

16 artigos e 30 fontes

A base a bater e a arte prévia de cada caminho.

▶

10 vídeos

Curadoria de matemática, redes neurais e LLMs.

Estudos

Este projeto nasceu da inferência lógica sobre o que poderia ser acionável naquilo que chamamos de cronologia de desenvolvimento da IA. Para isso, partimos de inferências lógicas para achar relações matemáticas.

A ideia mais interessante que não serve para nada

E se o espaço não fosse euclidiano?

A primeira ideia que tive quando comecei a entender os multivetores e a lógica de posicionamento de tokens foi: se nossa vetorização ocorre em um espaço euclidiano, o que aconteceria se ocorresse em um espaço não euclidiano?

A resposta é: não acrescenta nada. Mas é muito interessante.

Medimos curvatura constante e variável sob comparação justa e não houve ganho. A literatura concorda: a vantagem aparece em poucas dimensões e some perto de 500.

Registro: a geometria hiperbólica é uma linha de pesquisa real e ativa. Ela representa bem hierarquias, como taxonomias e grafos de conhecimento, sobretudo em dimensão baixa.

Ler a história completa

O que segue aberto

Inclui caminhos com trabalho publicado. Cada página diz o que já existe e o que pode ser novo.

Ver todos

01 · linha principal

Certificado inteiro com leitura progressiva em bits

arte prévia: VA-file, FEXIPRO

⟨ h, w_{i} ⟩ = ⟨ h, \overset{w}{^}_{i} ⟩ + ⟨ h, r_{i} ⟩, ∣ ⟨ h, r_{i} ⟩ ∣ \leq ∥ h ∥ ∥ r_{i} ∥

Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes.

Escala diagonal da tabela

medido: 0,397% de sobreviventes

\tilde{W} = (W - μ) D^{- 1}, \tilde{h} = D h, D_{j} = r_{j} = max_{i} ∣ w_{ij} - μ_{j} ∣

Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui.

Raio probabilístico por concentração

arte prévia: RaBitQ, ADSampling

P (∣ Z_{i}^{⊤} x ∣ \geq t σ_{i}) ≲ 2 e^{- t^{2} /2}

Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita.

Certificado único sobre bits e dimensões

combinação não encontrada

∣ ⟨ q, x ⟩ - ⟨ q_{1 : m}, \overset{x}{^}_{1 : m}^{(b)} ⟩ ∣ \leq ∥ q_{1 : m} ∥ ∥ r_{1 : m}^{(b)} ∥ + ∥ q_{m + 1 : d} ∥ ∥ x_{m + 1 : d} ∥

Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler.

Reticulados E8 e Leech para o vetor armazenado

não usado em embeddings

Γ (R) = 2 \cdot 2^{- 2 R} - 2^{- 4 R}, R \geq R^{*} \approx 0, 906

Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice.

Bits por coluna segundo a sensibilidade

arte prévia: SAQ

∣ Z_{i}^{⊤} x ∣ \leq \sum_{j} (Z_{ij} / s_{j})^{2} \sum_{j} s_{j}^{2} x_{j}^{2}

Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada.

Marcos da história

Os pontos que mudaram a forma de representar palavras ou de calcular com elas.

Linha do tempo completa

1943

Neurônio de McCulloch e Pitts

Um neurônio como porta lógica com limiar.

$y = 1 [\sum_{i} w_{i} x_{i} \geq θ]$
1957

Hipótese distribucional

Firth: conhecemos uma palavra pela companhia que ela mantém. É a ideia por trás de todo embedding.
1986

Retropropagação

Rumelhart, Hinton e Williams tornam treinável a rede de várias camadas.

$\partial L / \partial W^{(ℓ)} = δ^{(ℓ)} a^{(ℓ - 1) ⊤}$
2003

Modelo neural de linguagem

Bengio e coautores aprendem ao mesmo tempo um vetor por palavra e a probabilidade da próxima.
2013

word2vec

Embeddings baratos em escala; analogias viram aritmética de vetores.

$rei - homem + mulher \approx rainha$
2017

Attention Is All You Need

O transformer descarta a recorrência.

$softmax (Q K^{⊤} / d_{k}) V$