HARPYA
Participar
Caminho 09

Atalho linear entre camadas do encoder

Substituir as camadas finais do encoder por um mapa linear ajustado. Ataca o lugar onde está 99% da latência.

arte prévia: 2D MatryoshkaAtualizado em 12/10/2026

Por que importa

Com 5 mil documentos, o encoder custa 7,1 ms e a varredura 0,075 ms. A economia seria de (6−ℓ)/6(6-\ell)/6 do tempo do encoder.

Origem

A teoria de Koopman lineariza uma dinâmica num espaço de observáveis. Como as camadas têm pesos distintos, não há operador único; sobra um mapa linear ajustado de uma camada até a saída. A expectativa é moderada a baixa, porque a destilação costuma ganhar.

Teste e regra de parada

Próximo teste. MiniLM de 6 camadas, mapa ajustado nos documentos, nDCG@10 no teste para camadas 3 a 5, contra encoder truncado e contra destilado de mesmo custo.

Parar se. A perda em nDCG@10 na camada 4 passar de 0,02, ou o destilado de mesmo custo vencer.

Discussão

O fórum ainda não foi ligado.

As discussões ficam no GitHub Discussions do repositório, via Giscus. Para ativar:

  1. Deixe o repositório público e ative Discussions em Settings.
  2. Crie as categorias Caminhos, Perguntas, Resultados e reproduções e Propostas novas.
  3. Instale o app em github.com/apps/giscus.
  4. Gere os IDs em giscus.app e preencha GISCUS em src/config.ts.