HARPYA Como uma máquina aprende a falar · série em 10 artigos
Começando
Para quem está chegando agora. Uma série que explica, do concreto ao abstrato, como uma máquina aprende a falar: o que ela lê, como corta o texto, onde guarda o significado e por que erra do jeito que erra. Sem pré-requisito além de curiosidade.
- O truque é um só: adivinhar a próxima palavra
Como um modelo de linguagem aprende prevendo o próximo token, por que isso parece conhecimento e de onde vem a resposta confiantemente errada.
- Tokens: o modelo não lê palavras
Como o BPE corta o texto em tokens, por que o português custa cerca de 30% mais que o inglês e de onde vêm os erros de contar letras.
- Corpus: a única fonte de verdade
De onde vem o que um modelo sabe: como o corpus é filtrado, deduplicado e misturado, e por que isso decide o que ele acerta e erra.
- Significado vira espaço
Como significado vira posição num espaço de milhares de dimensões, do word2vec ao transformer, e o que a distância entre vetores não mede.
Os próximos artigos entram aqui à medida que forem publicados. Para ir além da série, veja os vídeos por módulo e nível, o glossário e as equações de cada camada.