Pular para o conteúdo
HARPYA Começando Voltar ao site →

Como uma máquina aprende a falar · artigo 4 de 10

Significado vira espaço

Carlos Frederico Domínguez · 12 de outubro de 2026

Um significado, para um modelo, é um lugar. Não uma definição, não uma lista de atributos: uma posição num espaço de milhares de dimensões, e a única coisa que esse espaço sabe fazer é medir distâncias. Tudo o que o modelo faz de semântico, reconhecer sinônimos, completar analogias, achar o documento certo, é consequência dessa escolha. Os limites também.

O mecanismo é uma tabela. A primeira camada de qualquer modelo é uma matriz com uma linha por token do vocabulário e uma coluna por dimensão do espaço. No GPT-3, 50.257 linhas por 12.288 colunas. Quando um token entra, seu inteiro serve de índice: a linha correspondente é copiada e vira o vetor de entrada. A matriz começa aleatória e é ajustada por gradiente como todo o resto da rede. Ao fim do treino, tokens que apareceram em contextos parecidos têm linhas parecidas, porque receberam empurrões parecidos. É a hipótese distribucional, formulada em 1957 pelo linguista John Firth: conhece-se uma palavra pela companhia que ela mantém. O que a rede faz é transformar essa frase em coordenadas.

Figura 1. A primeira camada é uma tabela: uma linha por token, uma coluna por dimensão Paris id 12050 índice 50.257 linhas (tokens) 12.288 colunas (dimensões), no GPT-3 … copia a linha 0,21 −0,74 0,33 … −0,19 vetor de entrada: 12.288 números (valores ilustrativos) A matriz começa aleatória e é ajustada por gradiente. Ninguém escreve uma linha dela à mão.
O inteiro do token é só um endereço. A linha que ele aponta é o que o modelo de fato recebe, e essa linha foi moldada por cada contexto em que o token apareceu no corpus. Dois tokens que viveram em contextos parecidos acabam com linhas parecidas: é a hipótese distribucional de Firth, de 1957, convertida em coordenadas. O tamanho da matriz é o produto do vocabulário pela dimensão, e é por isso que vocabulários maiores custam memória.

Entre dois vetores há três medidas comuns. O produto escalar soma os produtos coordenada a coordenada e cresce quando os vetores apontam na mesma direção e quando são longos. A distância euclidiana mede o segmento entre as duas pontas. A similaridade de cosseno divide o produto escalar pelo comprimento dos dois vetores e fica só com o ângulo: 1 para a mesma direção, 0 para perpendiculares, −1 para opostos. É a medida padrão porque, nesses espaços, a direção carrega o significado e o comprimento carrega outras coisas, como a frequência do token, que atrapalham a comparação. Dentro do modelo, o produto escalar é o que a atenção usa e o que a última camada calcula antes do softmax. Fora dele, o cosseno é o que um banco vetorial usa para dizer quais documentos estão perto de uma pergunta.

Em 2013, uma equipe do Google publicou o word2vec, um método barato para treinar esses vetores a partir de texto, e mostrou algo que ninguém tinha desenhado: rei menos homem mais mulher caía perto de rainha. A aritmética funciona porque o treino, ao empurrar os vetores por contexto, produz deslocamentos consistentes. A diferença entre rei e rainha aponta na mesma direção que a diferença entre homem e mulher, ou entre ator e atriz. O espaço ganhou eixos que ninguém definiu, e eles se repetem. Convém não exagerar: a analogia é aproximada, o vizinho mais próximo nem sempre é o esperado, e a demonstração costuma excluir as próprias palavras da conta. A regularidade, porém, é real, e foi a primeira evidência de que a geometria codificava estrutura, não só proximidade.

Figura 2. Deslocamentos que se repetem: rei − homem + mulher ≈ rainha homem mulher rei rainha ator atriz rei + (mulher − homem) cai ao lado de rainha Projeção ilustrativa em duas dimensões. Nos vetores reais, as setas são paralelas só aproximadamente.
A diferença entre dois vetores é ela mesma um vetor, e no espaço treinado essa diferença se repete: homem para mulher, rei para rainha, ator para atriz apontam quase na mesma direção. Somar esse deslocamento a rei leva a uma região onde rainha é a vizinha mais próxima. O resultado do word2vec, de 2013, foi a primeira demonstração pública de que a geometria codificava estrutura, não só proximidade. Funciona de forma aproximada, e a demonstração clássica exclui as palavras de entrada da busca pelo vizinho.

O word2vec dá um vetor por palavra, fixo. "Banco" ganha um ponto só, estacionado entre a agência e a praça, e serve mal aos dois sentidos. O transformer começa igual, com a linha da matriz, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. Ao fim, "banco" em "sentei no banco da praça" está perto de cadeira, e "banco" em "o banco cobrou juros" está perto de crédito. O vetor deixou de representar a palavra e passou a representar a palavra naquela frase. Isso se chama representação contextual, e o mecanismo que a produz, a atenção, é o assunto do sexto artigo.

Figura 3. Um vetor por palavra, ou um vetor por palavra naquela frase estático (word2vec): "banco" tem um ponto só cadeira assento praça crédito juros agência banco parado no meio, serve mal aos dois contextual (transformer): o contexto move o ponto cadeira assento praça crédito juros agência banco "sentei no banco da praça" banco "o banco cobrou juros" mesmo token de entrada, dois vetores depois das camadas Projeção ilustrativa. Os vetores contextuais vivem nas camadas intermediárias e finais do modelo.
O transformer começa com a linha da matriz, igual ao word2vec, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. No fim, o vetor não representa mais a palavra. Representa a palavra naquela frase. É o que se chama representação contextual, e o mecanismo que faz a mistura, a atenção, é o assunto do sexto artigo.

A geometria não foi a primeira resposta à pergunta sobre o que é significado para uma máquina. Foi a terceira. A tradição simbólica, dominante nos anos 1970 e 1980, representava significado como definição e regra: ontologias, sistemas especialistas, o projeto Cyc, iniciado em 1984 para escrever à mão o senso comum. É precisa e auditável, e frágil de um jeito específico: duas coisas que não compartilham símbolo ficam infinitamente longe, mesmo que sejam parecidas na prática, e nada nela pode ser treinado, só escrito. A tradição relacional, das redes semânticas de 1968 aos grafos de conhecimento que o Google adotou em 2012, representa significado como posição num grafo. É boa para fatos nomeados e cadeias de relações, e ruim para similaridade entre coisas que ninguém ligou.

A tradição geométrica veio em três passos. A análise semântica latente, de 1990, contava coocorrências de palavras em documentos numa matriz e a comprimia. O word2vec, de 2013, aprendeu os vetores por previsão, em vez de contagem. O transformer, de 2017, tornou os vetores contextuais. Venceu por uma razão de engenharia: vetores são contínuos, têm derivada, e tudo o que tem derivada pode ser treinado por gradiente e escalado em GPU. Uma ontologia não tem derivada. O preço foi perder o que as outras duas faziam bem: composição explícita, garantias lógicas e a possibilidade de abrir o sistema e ler o que ele sabe. Os sistemas híbridos de hoje, grafos acoplados a modelos, modelos gerando código para motores lógicos, são tentativas de recuperar essa camada sem sair do espaço vetorial.

Figura 4. Três maneiras de representar significado, e quando cada uma apareceu simbólico significado como definição e regra relacional significado como posição num grafo geométrico significado como posição num espaço 1960 1980 2000 2020 1957 · Firth, hipótese distribucional 1968 · redes semânticas (Quillian) 1984 · Cyc e os sistemas especialistas 1990 · LSA 2012 · Knowledge Graph 2013 · word2vec 2017 · Transformer
O geométrico venceu por uma razão de engenharia, não de filosofia: vetores são contínuos, têm derivada, e por isso podem ser treinados por gradiente e multiplicados em GPU. Uma ontologia não tem derivada. Um grafo sabe que "capital de" é uma relação com nome, e o vetor só sabe que Paris está perto de França. O que o simbólico e o relacional ainda fazem melhor, composição explícita, garantias lógicas e auditoria, é o que os sistemas híbridos de hoje tentam trazer de volta por cima do modelo.

O banco vetorial é a mesma geometria aplicada fora do modelo. Um modelo de embeddings, treinado para produzir um vetor por frase ou por documento, converte um acervo inteiro em pontos. A pergunta do usuário vira um ponto também, e o banco devolve os vizinhos de maior cosseno. Com milhões de documentos, comparar a pergunta com todos é lento, e os índices aproximados, como o HNSW, que organiza os pontos num grafo navegável, trocam uma fração pequena de precisão por uma busca milhares de vezes mais rápida. É esse mecanismo que a recuperação de documentos usa para encontrar o trecho que vai entrar no contexto.

O limite está no que a distância não mede. Proximidade não é verdade. "Paris é a capital da França" e "Paris não é a capital da França" ocupam quase o mesmo lugar, porque diferem num token curto e frequente que o treino aprendeu a pesar pouco. Números vizinhos ficam vizinhos, mesmo quando a diferença entre 2019 e 2020 é a diferença entre certo e errado. E, em milhares de dimensões, todos os pontos ficam mais ou menos à mesma distância uns dos outros, o que comprime os cossenos numa faixa estreita e torna qualquer limiar de similaridade uma escolha arbitrária. A geometria mede parentesco. O que ela não mede, alguém tem de verificar.

Resta a pergunta de como esse espaço se move. Os vetores começam aleatórios e terminam organizados, e a força que os arrasta é a mesma em todas as camadas: a derivada do erro em relação a cada número da rede. É a matemática mínima que o próximo artigo apresenta, derivada, integral e gradiente, sem fórmula além da necessária.

Como citar: Carlos Frederico Domínguez (2026). Significado vira espaço. Como uma máquina aprende a falar, artigo 4. Harpya. https://www.harpya.org/comecando/significado-vira-espaco/. Texto em markdown: significado-vira-espaco.md. Licença CC BY 4.0.