Valor em precisão alta e derivada em poucos bits

s (q, i; c) = ⟨ q, v_{i} ⟩ + c ⟨ q, t_{i} ⟩

Mecanismo

Um estado escalar $c$ modula muitos vetores sem reindexar. A versão útil guarda $v_i$ em precisão alta e $t_i$ em 1 a 2 bits.

Obstáculo

Algebricamente é o mesmo que guardar dois vetores reais por item. Um vetor de $2d$ no mesmo orçamento é estritamente mais expressivo, então o caminho só vale se a derivada barata ganhar.

Teste e regra de parada

Próximo teste. Em orçamento igual de bytes, treinar (v, t) com controle c e comparar com um vetor real de 2d e com um Matryoshka de 2d.

Parar se. Não superar os dois em nDCG@10.

Discussão

O fórum ainda não foi ligado.

As discussões ficam no GitHub Discussions do repositório, via Giscus. Para ativar:

Deixe o repositório público e ative Discussions em Settings.
Crie as categorias Caminhos, Perguntas, Resultados e reproduções e Propostas novas.
Instale o app em github.com/apps/giscus.
Gere os IDs em giscus.app e preencha GISCUS em src/config.ts.