Limite de princípio
A informação mútua em texto cresce com expoente 0,82, perto de uma lei de volume. Redes tensoriais unidimensionais só são eficientes quando ela satura. Para modelar texto bem, a dimensão de ligação cresce e a compressão some.
Origem
É a mesma fatoração que simuladores clássicos usam para estados quânticos de pouco emaranhamento. Simular qubits em binário não aumenta a densidade de um modelo; a fatoração em produto tensorial, sim, com perda.
Teste e regra de parada
Próximo teste. Cabeça tensor-train treinada junto, com int8, contra cabeça int4 simples no mesmo número de bytes, incluindo o custo de reconstruir as linhas.
Parar se. Não vencer o int4 em perplexidade no mesmo orçamento, ou a reconstrução deixar a cabeça mais lenta.
Discussão
As discussões ficam no GitHub Discussions do repositório, via Giscus. Para ativar:
- Deixe o repositório público e ative Discussions em Settings.
- Crie as categorias Caminhos, Perguntas, Resultados e reproduções e Propostas novas.
- Instale o app em github.com/apps/giscus.
- Gere os IDs em giscus.app e preencha
GISCUSemsrc/config.ts.