Na quinta-feira, OpenAI lançado que na verdade é um chatbot de US$ 200 por mês, e a comunidade de IA não sabia bem o que fazer com ele.
O novo plano ChatGPT Pro da empresa concede acesso ao “modo o1 pro”, que a OpenAI diz “usa mais computação para obter as melhores respostas para as perguntas mais difíceis”. Uma versão melhorada do OpenAI o1 modelo de raciocínio, o modo o1 pro deve responder a questões relacionadas a ciências, matemática e codificação de forma mais “confiável” e “completa”, diz OpenAI.
Quase imediatamente, as pessoas começaram a pedir-lhe para desenhar unicórnios:
Pedi ao ChatGPT o1 Pro Mode para criar um SVG de um unicórnio.
(Este é o modelo ao qual você tem acesso por US$ 200 por mês) pic.twitter.com/h9HwY3aYwU
– Rammy (@rammydev) 5 de dezembro de 2024
E projete um computador “baseado em caranguejo”:
Por fim, coloque o1-pro em seu caso de uso final. pic.twitter.com/nX4JAjx71m
-Ethan Mollick (@emollick) 6 de dezembro de 2024
E fale poeticamente sobre o sentido da vida:
Acabei de me inscrever na assinatura de US$ 200/mês da OpenAI.
Por favor, responda com perguntas a serem feitas e eu as republicarei neste tópico. pic.twitter.com/oTQxbPxnoP-Garrett Scott 🕳 (@thegarrettscott) 5 de dezembro de 2024
Mas muitas pessoas no X não pareciam convencidas de que as respostas do modo profissional o1 fossem, bem, no nível de US$ 200.
“A OpenAI compartilhou algum exemplo concreto de mensagens que falharam no o1 normal, mas tiveram sucesso no o1-pro?” perguntado O cientista da computação britânico Simon Willison. “Quero ver um exemplo concreto que demonstre suas vantagens”.
É uma pergunta razoável; Afinal, esta é a assinatura de chatbot mais cara do mundo. O serviço traz outros benefícios, como a remoção de limites de taxas e acesso ilimitado a outros modelos OpenAI. Mas US$ 2.400 por ano não é um absurdo, e a proposta de valor do modo o1 pro em particular permanece obscura.
Não demorou muito para encontrar casos de fracasso. O modo O1 pro tem problemas com o Sudoku e é afetado por uma piada de ilusão de ótica que é óbvia para qualquer ser humano.
o1 e o1-pro falharam aqui, provavelmente devido a limitações de visão (o mesmo com Sudokus)https://t.co/mAVK7WxBrq pic.twitter.com/O9boSv7ZGt
-Tibor Blaho (@btibor91) 5 de dezembro de 2024
Os benchmarks internos da OpenAI mostram que o modo o1 pro tem desempenho apenas um pouco melhor do que o o1 padrão em problemas de codificação e matemática:
A OpenAI realizou uma avaliação “mais rigorosa” nos mesmos benchmarks para mostrar a consistência do modo o1 pro: o modelo só foi considerado como tendo resolvido uma questão se acertasse a resposta quatro em cada quatro vezes. Mas mesmo nestes testes, as melhorias não foram dramáticas:
O CEO da OpenAI, Sam Altman, que certa vez escreveu que a OpenAI estava em um caminho “Rumo a uma inteligência barata demais para ser medida”, ele foi forçado a dizer esclarecer múltiplo vezes Quinta-feira, o ChatGPT Pro não é para a maioria das pessoas.
“A maioria dos usuários ficará muito feliz com o o1 no nível (ChatGPT) Plus!” disse em X. “Quase todos se beneficiarão melhor com nosso nível gratuito ou nível Plus.”
Então, para quem é isso? Existem realmente pessoas dispostas a pagar US$ 200 por mês para fazer perguntas sobre brinquedos como “Escreva um ensaio de 3 parágrafos sobre morangos sem usar a letra ‘e’” qualquer “resolva este problema da Olimpíada de Matemática“? Será que eles se desfarão alegremente de seu dinheiro suado, sem muita garantia de que o padrão o1 não possa responder satisfatoriamente às mesmas perguntas?
Perguntei a Ameet Talwalkar, professor associado de aprendizado de máquina na carnegie mellon e parceiro de risco da Amplify Partners, sua opinião. “Parece um grande risco aumentar o preço dez vezes”, disse ele ao TechCrunch por e-mail. “Acho que em algumas semanas teremos uma ideia muito melhor do apetite por esta funcionalidade.”
O cientista da computação da UCLA, Guy Van den Broeck, foi mais sincero em sua avaliação. “Não sei se o preço faz sentido”, disse ele ao TechCrunch, “e se modelos de raciocínio caros serão a norma”.
o1 é “melhor do que a maioria dos humanos na maioria das tarefas” porque, sim, os humanos existem exclusivamente em interfaces de bate-papo amnésicas, desencarnadas e com vários turnos. https://t.co/zbLY2BG5pQ
-Aidan McLau (@aidan_mclau) 6 de dezembro de 2024
Uma opinião generosa é que se trata de um erro de marketing. Descrever o modo o1 pro como o melhor para resolver “os problemas mais difíceis” não diz muito aos clientes em potencial. Nenhum declarações vagas sobre como o modelo pode “pensar mais” e demonstrar “inteligência”. Como salienta Willison, sem exemplos específicos desta capacidade supostamente melhorada, é difícil justificar pagar mais, quanto mais dez vezes mais.
Esta é uma mensagem recomendada muito divertida para um modelo de IA que custa US$ 2.400 por ano.
Espero que a Openai mantenha esses exemplos de mensagens repetitivos até o fim. pic.twitter.com/JQ5vLKxWWR
—Dean W. Ball (@deanwball) 6 de dezembro de 2024
Pelo que sei, o público-alvo são especialistas em áreas especializadas. A OpenAI afirma que planeja dar a um punhado de pesquisadores médicos de “instituições líderes” acesso gratuito ao ChatGPT Pro, que incluirá o modo o1 pro. Os erros são muito importantes na área da saúde e, como diz Bob McGrew, ex-diretor de pesquisa da OpenAI, observado No X, melhor confiabilidade é talvez o principal desbloqueio do modo o1 pro.
Já faz algum tempo que jogo com o1 e o1-pro.
Eles são muito bons e um pouco estranhos. Eles também não são para a maioria das pessoas na maior parte do tempo. Você realmente precisa ter problemas particularmente difíceis para resolver para obter valor deles. Mas se você tiver esses problemas, isso é um grande problema.
-Ethan Mollick (@emollick) 5 de dezembro de 2024
McGrew também. ele refletiu O modo o1 pro é um exemplo do que ele chama de “excesso de inteligência”: os usuários (e talvez os criadores de modelos) não sabem como extrair valor de qualquer “inteligência adicional” devido aos limites fundamentais de uma interface simples baseada em texto. Tal como acontece com os outros modelos OpenAI, a única maneira de interagir com o modo o1 pro é através do ChatGPT e, como explica McGrew, o ChatGPT não é perfeito.
No entanto, também é verdade que US$ 200 aumenta as expectativas. E a julgar pela recepção inicial nas redes sociais, o ChatGPT Pro não é nada fácil.
