Antes das LLMs

As primeiras tentativas de fazer a máquina aprender

Quase toda ideia de hoje tem um ancestral simples. Algumas falharam por motivos que ainda valem.

1949

Neurônios que disparam juntos reforçam a ligação.

Δ w_{ij} = η x_{i} y_{j}

1958

O primeiro classificador que aprende com os próprios erros.

w \leftarrow w + η (y - \overset{y}{^}) x

1959

Um programa que melhora jogando contra si mesmo dá nome ao aprendizado de máquina.

1960

Widrow e Hoff descem o gradiente do erro quadrático, a semente do treino atual.

w \leftarrow w + η (y - w^{⊤} x) x

1967

Cover e Hart: classificar pelo exemplo mais parecido. É o ancestral direto da busca vetorial.

\overset{y}{^} (q) = y_{a r g m i n_{i} ∥ q - x_{i} ∥}

1969

Minsky e Papert mostram o que um perceptron de uma camada não separa. Segue-se um inverno de financiamento.

1989

LeCun lê dígitos de cheques com pesos compartilhados.

1995

Cortes e Vapnik: separar com a maior margem possível.

min \frac{1}{2} ∥ w ∥^{2} s.a. y_{i} (w^{⊤} x_{i} + b) \geq 1

1998

Busca em alta dimensão lendo primeiro uma aproximação em poucos bits de cada vetor. É arte prévia direta da linha principal deste projeto.