HARPYA Como uma máquina aprende a falar · artigo 3 de 10
Corpus: a única fonte de verdade
O modelo sabe o que o mundo escreveu, na proporção em que escreveu. A frase soa como limitação e é a definição mais exata do que um corpus faz. Tudo o que o modelo chama de conhecimento foi lido em algum lugar, e a lista desses lugares, com o peso de cada um, é a decisão mais consequente e menos divulgada de um laboratório.
O corpus é o conjunto de textos sobre o qual o modelo pratica a única tarefa que conhece, prever o próximo token. Para os modelos atuais, são trilhões de tokens, o equivalente a dezenas de milhões de livros. A maior parte vem da web, e a fonte mais usada é o Common Crawl, um projeto sem fins lucrativos que captura páginas desde 2008 e publica, a cada mês ou dois, um retrato de bilhões delas. Em volta disso entram livros, artigos científicos, código de repositórios públicos, a Wikipédia, fóruns de perguntas e respostas, dados licenciados e, cada vez mais, texto sintético gerado por outros modelos.
O bruto é lixo em grande parte. Uma página capturada traz menu, rodapé, aviso de cookies, anúncios, texto gerado por máquina para enganar buscadores, cópias de outras páginas e, muitas vezes, nenhum conteúdo. Por isso o corpus não é coletado. É construído, numa sequência de filtros em que cada etapa descarta uma fração grande do que recebe.
A sequência costuma ser esta. A extração separa o texto principal do esqueleto HTML. A identificação de idioma atribui uma língua a cada documento e descarta o que não interessa, e é aqui que a proporção do português no modelo fica decidida, porque ninguém a escolhe: ela é contada. Os filtros de qualidade vêm em duas camadas, heurísticas simples, como tamanho do documento, proporção de símbolos, presença de palavras funcionais e linhas repetidas, e classificadores treinados para distinguir texto do tipo Wikipédia e livro de texto do tipo lista de preços. A deduplicação remove cópias. Os filtros finais tiram dados pessoais e conteúdo tóxico, e a descontaminação retira do corpus os textos usados nos testes que depois avaliam o modelo, para que a nota não seja decorada.
A deduplicação merece parágrafo próprio. Texto repetido muitas vezes é decorado: estudos de 2021 e 2022 mostraram que a chance de o modelo reproduzir um trecho literalmente cresce com o número de cópias dele no corpus. Além de desperdiçar cálculo, isso cria o risco de vazar dados pessoais e trechos protegidos. A deduplicação exata, por hash do documento inteiro, pega cópias idênticas. As quase-cópias, uma notícia republicada com um parágrafo a mais, uma página com a data trocada, exigem comparação aproximada: cada documento é reduzido a um conjunto de fragmentos curtos, e dois conjuntos com sobreposição alta são tratados como um só.
Depois dos filtros vem a decisão política: quanto de cada fonte entra, e quantas vezes. Isso se chama mistura de dados, e poucos laboratórios a publicaram em detalhe. A OpenAI fez isso no artigo do GPT-3, em 2020, e a Meta no primeiro Llama, em 2023. No GPT-3, a web filtrada era 60% dos tokens vistos, mas foi lida menos da metade de uma vez. A Wikipédia era 3% e foi lida mais de três vezes. O texto de páginas linkadas no Reddit foi lido quase três vezes, e dos dois acervos de livros, um passou quase duas vezes e o outro menos da metade. O princípio é que fonte de qualidade alta vale repetição, e a web comum, não. Modelos posteriores acrescentaram código em peso, porque há evidência de que treinar em código melhora o raciocínio em etapas, e artigos científicos. Os modelos mais recentes divulgam, no máximo, proporções grosseiras.
Há ainda a ordem. Alguns laboratórios terminam o pré-treinamento com uma fase curta em que a mistura muda para dados de qualidade mais alta, o que tem efeito desproporcional sobre o modelo final, porque os últimos empurrões são os que menos se diluem. A sequência em que o modelo lê o corpus é outra escolha, e outra que não aparece na ficha técnica.
As consequências seguem a regra da proporção. O que foi muito escrito sai sólido. O que foi pouco escrito sai como palpite. Línguas com pouca presença na web, como o português diante do inglês, recebem modelos piores, não por decisão, mas por aritmética. O corpus também tem data: a coleta termina num mês, o modelo é treinado nos meses seguintes, e o que acontece depois não existe para ele, o que se chama data de corte do conhecimento. E o corpus tem viés, porque reflete quem escreve na internet, em que língua e sobre o quê, e não quem existe.
Há um limite novo. A web pública já foi lida inteira pelos maiores modelos, e os laboratórios passaram a gerar texto sintético, com modelos escrevendo para treinar modelos. Funciona quando o texto gerado é filtrado por um critério externo, como código que passa em testes ou soluções matemáticas conferidas. Sem esse filtro, modelos treinados na saída de modelos degradam a cada geração, porque cada rodada perde a cauda rara da distribuição e reforça o comum.
Ninguém de fora audita um corpus. Os laboratórios não publicam a lista de fontes, em parte por vantagem competitiva, em parte pelas disputas judiciais sobre direitos autorais em curso em vários países. O que se pode fazer é inferir, pelo comportamento do modelo, o que ele leu e o que não leu, e, quando um fato é raro demais para ter sido escrito muitas vezes, trazê-lo de volta pelo contexto, que é o que a recuperação de documentos faz. Como todo esse texto vira geometria, posições num espaço onde parecido é perto, é o assunto do próximo artigo.
Como citar: Carlos Frederico Domínguez (2026). Corpus: a única fonte de verdade. Como uma máquina aprende a falar, artigo 3. Harpya. https://www.harpya.org/comecando/corpus/. Texto em markdown: corpus.md. Licença CC BY 4.0.