Três modelos abertos para rodar em casa em quatro dias, com três ideias diferentes de memória
Nanbeige4.3-33B, Recursive Flint e Nemotron 3.5 Bolt chegaram entre 21 e 24 de outubro. Cada um resolve de outro jeito o problema de caber na máquina.
Entre 21 e 24 de outubro chegaram três modelos de pesos abertos pensados para agentes rodando em hardware próprio. O Recursive Flint, de 21 de outubro, é uma mistura de especialistas com cerca de 39,8 bilhões de parâmetros guardados e só 2,5 bilhões ativos por token, sob licença Apache 2.0. A documentação aponta um Mac com chip Apple e 48 GB de memória como ponto de partida, usando a versão comprimida de cerca de 26 GB.
O Nemotron 3.5 Bolt E4B, da NVIDIA, com ficha de 23 de outubro, tem 8 bilhões de parâmetros e cerca de 4 bilhões efetivos, é construído sobre o Gemma 4 E4B do Google e foi feito para assistentes de voz, não para programação. Sai sob a licença OpenMDW 1.1. A versão quantizada mais usada ocupa cerca de 6,2 GB, mais do que o nome sugere.
O Nanbeige4.3-33B, publicado no Hugging Face em 24 de outubro, é denso: os 33 bilhões de parâmetros trabalham em todo token. Usa Apache 2.0, aceita contexto de até 524 mil tokens e, em precisão completa, ocupa cerca de 66 GB, com exemplos que usam quatro GPUs.
A análise da Digital Applied que reuniu os três dá um conselho útil para quem está começando: a memória necessária vem dos pesos guardados mais o cache do contexto que você realmente vai usar, e não do número de parâmetros ativos. Também recomenda ler o texto da licença, não o selo, e testar nas próprias tarefas em vez de confiar nos benchmarks do fabricante.