Escala diagonal da tabela

\tilde{W} = (W - μ) D^{- 1}, \tilde{h} = D h, D_{j} = r_{j} = i max ∣ w_{ij} - μ_{j} ∣

Mecanismo

O produto interno não muda sob a reparametrização $(W-\mu)D^{-1}\cdot Dh$ , mas a quantização em int8 muda. Escolher $D$ altera quanto erro cada coluna recebe.

Resultado demonstrado

A razão entre o limite de exclusão e o sinal é proporcional a $\|Dh\|\cdot\max_j(r_j/D_j)$ . Ela não muda se $D$ for multiplicado por uma constante e é mínima em $D_j=r_j$ para todo $h$ . Entre as matrizes diagonais, esta escolha já é ótima.

Medido

Variante	Sobreviventes
Original	2,345%
Só centralização	3,191%
Rotação por autovetores e escala	5,455%
Escala diagonal	0,397%

Próximo passo

A rotação aleatória do caminho 3 pode desfazer este ganho. O teste é medir as duas coisas juntas.

Teste e regra de parada

Próximo teste. Verificar se o ganho sobrevive à rotação aleatória e ao precondicionador em blocos 64x64.

Parar se. A rotação necessária para o raio probabilístico desfizer o ganho da escala diagonal.

Discussão

O fórum ainda não foi ligado.

As discussões ficam no GitHub Discussions do repositório, via Giscus. Para ativar:

Deixe o repositório público e ative Discussions em Settings.
Crie as categorias Caminhos, Perguntas, Resultados e reproduções e Propostas novas.
Instale o app em github.com/apps/giscus.
Gere os IDs em giscus.app e preencha GISCUS em src/config.ts.