# Significado vira espaço

> Como significado vira posição num espaço de milhares de dimensões, do word2vec ao transformer, e o que a distância entre vetores não mede.

- Página: https://www.harpya.org/comecando/significado-vira-espaco/
- Autor: Carlos Frederico Domínguez
- Atualizado em: 2026-10-12
- Licença: CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/)
- Como citar: Carlos Frederico Domínguez (2026). Significado vira espaço. Harpya. https://www.harpya.org/comecando/significado-vira-espaco/

*Como uma máquina aprende a falar, artigo 4 de 10.*

Um significado, para um modelo, é um lugar. Não uma definição, não uma lista de atributos: uma posição num espaço de milhares de dimensões, e a única coisa que esse espaço sabe fazer é medir distâncias. Tudo o que o modelo faz de semântico, reconhecer sinônimos, completar analogias, achar o documento certo, é consequência dessa escolha. Os limites também.

O mecanismo é uma tabela. A primeira camada de qualquer modelo é uma matriz com uma linha por token do vocabulário e uma coluna por dimensão do espaço. No GPT-3, 50.257 linhas por 12.288 colunas. Quando um token entra, seu inteiro serve de índice: a linha correspondente é copiada e vira o vetor de entrada. A matriz começa aleatória e é ajustada por gradiente como todo o resto da rede. Ao fim do treino, tokens que apareceram em contextos parecidos têm linhas parecidas, porque receberam empurrões parecidos. É a hipótese distribucional, formulada em 1957 pelo linguista John Firth: conhece-se uma palavra pela companhia que ela mantém. O que a rede faz é transformar essa frase em coordenadas.

**Figura 1. A primeira camada é uma tabela: uma linha por token, uma coluna por dimensão** (Um token com id 12050 apontando para uma linha destacada de uma matriz de 50.257 por 12.288, que é copiada como vetor de entrada)

O inteiro do token é só um endereço. A linha que ele aponta é o que o modelo de fato recebe, e essa linha foi moldada por cada contexto em que o token apareceu no corpus. Dois tokens que viveram em contextos parecidos acabam com linhas parecidas: é a hipótese distribucional de Firth, de 1957, convertida em coordenadas. O tamanho da matriz é o produto do vocabulário pela dimensão, e é por isso que vocabulários maiores custam memória.

Entre dois vetores há três medidas comuns. O produto escalar soma os produtos coordenada a coordenada e cresce quando os vetores apontam na mesma direção e quando são longos. A distância euclidiana mede o segmento entre as duas pontas. A similaridade de cosseno divide o produto escalar pelo comprimento dos dois vetores e fica só com o ângulo: 1 para a mesma direção, 0 para perpendiculares, −1 para opostos. É a medida padrão porque, nesses espaços, a direção carrega o significado e o comprimento carrega outras coisas, como a frequência do token, que atrapalham a comparação. Dentro do modelo, o produto escalar é o que a atenção usa e o que a última camada calcula antes do softmax. Fora dele, o cosseno é o que um banco vetorial usa para dizer quais documentos estão perto de uma pergunta.

Em 2013, uma equipe do Google publicou o word2vec, um método barato para treinar esses vetores a partir de texto, e mostrou algo que ninguém tinha desenhado: rei menos homem mais mulher caía perto de rainha. A aritmética funciona porque o treino, ao empurrar os vetores por contexto, produz deslocamentos consistentes. A diferença entre rei e rainha aponta na mesma direção que a diferença entre homem e mulher, ou entre ator e atriz. O espaço ganhou eixos que ninguém definiu, e eles se repetem. Convém não exagerar: a analogia é aproximada, o vizinho mais próximo nem sempre é o esperado, e a demonstração costuma excluir as próprias palavras da conta. A regularidade, porém, é real, e foi a primeira evidência de que a geometria codificava estrutura, não só proximidade.

**Figura 2. Deslocamentos que se repetem: rei − homem + mulher ≈ rainha** (Seis pontos num plano, homem, mulher, rei, rainha, ator, atriz, com setas paralelas entre cada par e uma seta tracejada de rei até perto de rainha)

A diferença entre dois vetores é ela mesma um vetor, e no espaço treinado essa diferença se repete: homem para mulher, rei para rainha, ator para atriz apontam quase na mesma direção. Somar esse deslocamento a rei leva a uma região onde rainha é a vizinha mais próxima. O resultado do word2vec, de 2013, foi a primeira demonstração pública de que a geometria codificava estrutura, não só proximidade. Funciona de forma aproximada, e a demonstração clássica exclui as palavras de entrada da busca pelo vizinho.

O word2vec dá um vetor por palavra, fixo. "Banco" ganha um ponto só, estacionado entre a agência e a praça, e serve mal aos dois sentidos. O transformer começa igual, com a linha da matriz, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. Ao fim, "banco" em "sentei no banco da praça" está perto de cadeira, e "banco" em "o banco cobrou juros" está perto de crédito. O vetor deixou de representar a palavra e passou a representar a palavra naquela frase. Isso se chama representação contextual, e o mecanismo que a produz, a atenção, é o assunto do sexto artigo.

**Figura 3. Um vetor por palavra, ou um vetor por palavra naquela frase** (Dois painéis: à esquerda, banco como um único ponto entre o grupo de assentos e o grupo financeiro; à direita, dois pontos banco, cada um dentro do grupo que a frase pede)

O transformer começa com a linha da matriz, igual ao word2vec, e depois reescreve o vetor camada a camada, misturando nele os vizinhos da frase. No fim, o vetor não representa mais a palavra. Representa a palavra naquela frase. É o que se chama representação contextual, e o mecanismo que faz a mistura, a atenção, é o assunto do sexto artigo.

A geometria não foi a primeira resposta à pergunta sobre o que é significado para uma máquina. Foi a terceira. A tradição simbólica, dominante nos anos 1970 e 1980, representava significado como definição e regra: ontologias, sistemas especialistas, o projeto Cyc, iniciado em 1984 para escrever à mão o senso comum. É precisa e auditável, e frágil de um jeito específico: duas coisas que não compartilham símbolo ficam infinitamente longe, mesmo que sejam parecidas na prática, e nada nela pode ser treinado, só escrito. A tradição relacional, das redes semânticas de 1968 aos grafos de conhecimento que o Google adotou em 2012, representa significado como posição num grafo. É boa para fatos nomeados e cadeias de relações, e ruim para similaridade entre coisas que ninguém ligou.

A tradição geométrica veio em três passos. A análise semântica latente, de 1990, contava coocorrências de palavras em documentos numa matriz e a comprimia. O word2vec, de 2013, aprendeu os vetores por previsão, em vez de contagem. O transformer, de 2017, tornou os vetores contextuais. Venceu por uma razão de engenharia: vetores são contínuos, têm derivada, e tudo o que tem derivada pode ser treinado por gradiente e escalado em GPU. Uma ontologia não tem derivada. O preço foi perder o que as outras duas faziam bem: composição explícita, garantias lógicas e a possibilidade de abrir o sistema e ler o que ele sabe. Os sistemas híbridos de hoje, grafos acoplados a modelos, modelos gerando código para motores lógicos, são tentativas de recuperar essa camada sem sair do espaço vetorial.

**Figura 4. Três maneiras de representar significado, e quando cada uma apareceu** (Linha do tempo com três faixas, simbólico, relacional e geométrico, marcando Firth 1957, Quillian 1968, Cyc 1984, LSA 1990, Knowledge Graph 2012, word2vec 2013 e Transformer 2017)

O geométrico venceu por uma razão de engenharia, não de filosofia: vetores são contínuos, têm derivada, e por isso podem ser treinados por gradiente e multiplicados em GPU. Uma ontologia não tem derivada. Um grafo sabe que "capital de" é uma relação com nome, e o vetor só sabe que Paris está perto de França. O que o simbólico e o relacional ainda fazem melhor, composição explícita, garantias lógicas e auditoria, é o que os sistemas híbridos de hoje tentam trazer de volta por cima do modelo.

O banco vetorial é a mesma geometria aplicada fora do modelo. Um modelo de embeddings, treinado para produzir um vetor por frase ou por documento, converte um acervo inteiro em pontos. A pergunta do usuário vira um ponto também, e o banco devolve os vizinhos de maior cosseno. Com milhões de documentos, comparar a pergunta com todos é lento, e os índices aproximados, como o HNSW, que organiza os pontos num grafo navegável, trocam uma fração pequena de precisão por uma busca milhares de vezes mais rápida. É esse mecanismo que a recuperação de documentos usa para encontrar o trecho que vai entrar no contexto.

O limite está no que a distância não mede. Proximidade não é verdade. "Paris é a capital da França" e "Paris não é a capital da França" ocupam quase o mesmo lugar, porque diferem num token curto e frequente que o treino aprendeu a pesar pouco. Números vizinhos ficam vizinhos, mesmo quando a diferença entre 2019 e 2020 é a diferença entre certo e errado. E, em milhares de dimensões, todos os pontos ficam mais ou menos à mesma distância uns dos outros, o que comprime os cossenos numa faixa estreita e torna qualquer limiar de similaridade uma escolha arbitrária. A geometria mede parentesco. O que ela não mede, alguém tem de verificar.

Resta a pergunta de como esse espaço se move. Os vetores começam aleatórios e terminam organizados, e a força que os arrasta é a mesma em todas as camadas: a derivada do erro em relação a cada número da rede. É a matemática mínima que o próximo artigo apresenta, derivada, integral e gradiente, sem fórmula além da necessária.