De um neurônio lógico a bilhões de pesos
A cronologia que o projeto usa como mapa. Pontos cheios marcam mudanças na forma de representar palavras ou de calcular com elas.
- Fundamentos
- 1943
Neurônio de McCulloch e Pitts
Um neurônio como porta lógica com limiar.
- 1948
Shannon e a teoria da informação
Entropia e os primeiros modelos de linguagem por n-gramas de letras.
- 1950
Turing pergunta se máquinas podem pensar
O jogo da imitação define a meta conversacional.
- 1956
Conferência de Dartmouth
O termo inteligência artificial passa a nomear um campo.
- 1957
Hipótese distribucional
Firth: conhecemos uma palavra pela companhia que ela mantém. É a ideia por trás de todo embedding.
- 1966
ELIZA
Conversa por regras de padrão, sem aprendizado.
- Redes e sequências
- 1986
Retropropagação
Rumelhart, Hinton e Williams tornam treinável a rede de várias camadas.
- 1997
LSTM
Hochreiter e Schmidhuber resolvem a memória de longo prazo em redes recorrentes.
- 2003
Modelo neural de linguagem
Bengio e coautores aprendem ao mesmo tempo um vetor por palavra e a probabilidade da próxima.
- 2013
word2vec
Embeddings baratos em escala; analogias viram aritmética de vetores.
- 2014
Atenção em tradução
Bahdanau, Cho e Bengio deixam o decodificador olhar para toda a frase de entrada.
- Transformers
- 2017
Attention Is All You Need
O transformer descarta a recorrência.
- 2018
GPT e BERT
Pré-treino em texto bruto vira a regra: um gera, o outro codifica.
- 2019
GPT-2 e Sentence-BERT
Geração convincente e embeddings de frase prontos para busca.
- 2020
GPT-3, leis de escala e RAG
Desempenho cresce como lei de potência do tamanho; a recuperação vetorial passa a alimentar a geração.
- 2021
RoPE
Posição codificada por rotação de pares de coordenadas.
- 2022
ChatGPT e embeddings Matryoshka
LLMs chegam ao público; prefixos de um vetor passam a ser vetores válidos.
- 2023
Modelos abertos
Llama e sucessores tornam a arquitetura auditável por qualquer um.
- Eficiência
- 2024
RaBitQ
Um bit por dimensão com estimador não viesado e limite de erro.
- 2025
Limites do vetor único
Prova-se que um embedding de dimensão fixa não representa todas as combinações de relevância.
- 2026
Harpya
Auditoria pública dos caminhos de eficiência que ainda têm espaço.