Estudos

Por que este projeto existe

Este projeto nasceu da inferência lógica sobre o que poderia ser acionável naquilo que chamamos de cronologia de desenvolvimento da IA. Para isso, partimos de inferências lógicas para achar relações matemáticas.

A ideia mais interessante que não serve para nada

E se o espaço não fosse euclidiano?

A primeira ideia que tive quando comecei a entender os multivetores e a lógica de posicionamento de tokens foi: se nossa vetorização ocorre em um espaço euclidiano, o que aconteceria se ocorresse em um espaço não euclidiano?

A resposta é: não acrescenta nada. Mas é muito interessante.

Medimos curvatura constante e variável sob comparação justa e não houve ganho. A literatura concorda: a vantagem aparece em poucas dimensões e some perto de 500.

Registro: a geometria hiperbólica é uma linha de pesquisa real e ativa. Ela representa bem hierarquias, como taxonomias e grafos de conhecimento, sobretudo em dimensão baixa.

Ler a história completa

Caminhos válidos

Critério de entrada: mecanismo em equação, custo conhecido e teste refutável. Ter arte prévia não exclui; a página diz o que já existe e o que pode ser novo.

Ver arquivados

medido no projetoarte prévialacunateste ou enquadramento

01 · linha principal

Certificado inteiro com leitura progressiva em bits

arte prévia: VA-file, FEXIPRO

⟨ h, w_{i} ⟩ = ⟨ h, \overset{w}{^}_{i} ⟩ + ⟨ h, r_{i} ⟩, ∣ ⟨ h, r_{i} ⟩ ∣ \leq ∥ h ∥ ∥ r_{i} ∥

Ler primeiro os 4 bits altos de cada linha int8, excluir com certeza quem não pode vencer e ler os 4 bits baixos só dos sobreviventes.

Escala diagonal da tabela

medido: 0,397% de sobreviventes

\tilde{W} = (W - μ) D^{- 1}, \tilde{h} = D h, D_{j} = r_{j} = max_{i} ∣ w_{ij} - μ_{j} ∣

Centralizar a tabela e reescalar cada coluna pela sua faixa. Foi o único ganho claro medido até aqui.

Raio probabilístico por concentração

arte prévia: RaBitQ, ADSampling

P (∣ Z_{i}^{⊤} x ∣ \geq t σ_{i}) ≲ 2 e^{- t^{2} /2}

Trocar a folga de raiz de d do limite determinístico por uma taxa de falha explícita.

Certificado único sobre bits e dimensões

combinação não encontrada

∣ ⟨ q, x ⟩ - ⟨ q_{1 : m}, \overset{x}{^}_{1 : m}^{(b)} ⟩ ∣ \leq ∥ q_{1 : m} ∥ ∥ r_{1 : m}^{(b)} ∥ + ∥ q_{m + 1 : d} ∥ ∥ x_{m + 1 : d} ∥

Um só limite que soma o resíduo de bits e a cauda de dimensões, escolhendo por consulta o que ler.

Reticulados E8 e Leech para o vetor armazenado

não usado em embeddings

Γ (R) = 2 \cdot 2^{- 2 R} - 2^{- 4 R}, R \geq R^{*} \approx 0, 906

Códigos de reticulado aninhado, hoje usados em pesos de LLM, aplicados ao vetor guardado no índice.

Bits por coluna segundo a sensibilidade

arte prévia: SAQ

∣ Z_{i}^{⊤} x ∣ \leq \sum_{j} (Z_{ij} / s_{j})^{2} \sum_{j} s_{j}^{2} x_{j}^{2}

Dar mais bits às colunas que mais pesam no erro. A versão determinística ainda não foi publicada.

Controle como problema de Bellman

enquadramento

V (s_{k}) = min {λ P (erro ∣ s_{k}), c ∣ g_{k + 1} ∣ + E V (s_{k + 1})}

A hipótese central do programa escrita como problema de controle: diz o que otimizar e mede o teto do estado de contexto.

Cabeça de saída: métrica do softmax e logits incrementais

teste de minutos

z_{t + 1} = z_{t} + W (h_{t + 1} - h_{t})

Duas ideias para a camada que escolhe o próximo token, cada uma decidida por uma medida de posto efetivo.

Atalho linear entre camadas do encoder

arte prévia: 2D Matryoshka

\overset{e}{^} = M_{ℓ} \overset{x}{ˉ}^{(ℓ)}, M_{ℓ} = ar g min_{M} ∥ M \overset{ˉ}{X}^{(ℓ)} - E ∥_{F}^{2} + λ ∥ M ∥_{F}^{2}

Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência.

Pesos de fase {±1, ±i}

arte prévia: iFairy

w \in {+ 1, - 1, + i, - i}

Pesos complexos de 2 bits contra pesos reais de 2 bits no mesmo orçamento. Único resultado forte da família complexa.

Valor em precisão alta e derivada em poucos bits

não encontrado

s (q, i; c) = ⟨ q, v_{i} ⟩ + c ⟨ q, t_{i} ⟩

Cada item guarda um vetor e uma direção de variação. É a forma de primeira ordem do estado de controle.

Tensor-train na cabeça de saída

arte prévia: word2ket, TT

W_{i, :} = G_{1} [i_{1}] G_{2} [i_{2}] \dots G_{N} [i_{N}]

Fatorar a tabela do vocabulário como produto de tensores pequenos e comparar com int4 em bytes iguais.