A lista dos principais modelos de IA que não cumpriram as janelas de lançamento prometidas continua a crescer.
No verão passado, o bilionário Elon Musk, fundador e CEO da empresa de IA xAI, disse que Grok 3, o próximo grande modelo de IA da xAI, chegaria no “final do ano” de 2024. GrokA resposta do xAI a modelos como OpenAI GPT-4o e do Google GêmeosEle pode analisar imagens e responder perguntas, além de potencializar uma série de funções na X, a rede social de Musk.
“Grok 3 no final do ano, após treinar com 100.000 H100s, deve ser realmente algo especial”, Musk escreveu em uma postagem de julho no X, referindo-se ao xAI enorme grupo baseado em Memphis de GPU. “Grok 3 será um grande passo em frente”, diz ele. ditado em uma postagem de acompanhamento de meados de dezembro.
Porém, é 2 de janeiro e Grok 3 ainda não chegou, nem há sinais de que seu lançamento seja iminente.
Na verdade, parte do código no site xAI foi descoberta pelo especialista em IA Tibor Blaho. sugere que um modelo intermediário, “Grok 2.5”, possa pousar primeiro.
Grok(.)com possivelmente chegará em breve com o modelo Grok 2.5 (grok-2-latest – “Nosso modelo mais inteligente”) – obrigado pela dica, anônimo! pic.twitter.com/emsvmZyaf7
-Tibor Blaho (@btibor91) 20 de dezembro de 2024
Claro, esta não é a primeira vez que Musk estabelece uma meta ambiciosa e não consegue alcançá-la. É bem estabelecido que os pronunciamentos de Musk sobre o momento do lançamento de produtos são muitas vezes irrealistas, na melhor das hipóteses.
Mas o status MIA do Grok 3 é interessante porque faz parte de uma tendência crescente.
No ano passado, a startup de IA Anthropic não conseguiu oferecer um sucessor para seu topo de linha. Fechar 3 trabalhos modelo. meses depois anunciando que um modelo de próxima geração, Claude 3.5 Opus, seria lançado no final de 2024, Antrópico descartado qualquer menção ao modelo na documentação do desenvolvedor. (De acordo com De acordo com um relatório, a Anthropic terminou o treinamento do Claude 3.5 Opus em algum momento do ano passado, mas decidiu que lançá-lo não fazia sentido econômico.)
Google e OpenAI também supostamente sofreu contratempos com seus modelos estrela nos últimos meses.
A culpa por tudo isto reside, em grande parte, no limites das leis atuais de escalonamento de IA – os métodos que as empresas utilizam para aumentar as capacidades dos seus modelos. Num passado não muito distante, foi possível obter melhorias substanciais de desempenho treinando modelos utilizando enormes quantidades de poder computacional e conjuntos de dados cada vez maiores. Mas os lucros com cada geração de modelo começaram a diminuir, levando as empresas a procurar técnicas alternativas.
Pode haver outras razões para o atraso do Grok 3. O xAI tem uma equipe muito menor do que muitos de seus rivais, por exemplo. No entanto, o atraso no cronograma de lançamento aumenta a evidência de que as abordagens convencionais de treinamento em IA estão se deparando com um obstáculo.
