Os usuários da plataforma de IA conversacional ChatGPT descobriram um fenômeno interessante no fim de semana: o chatbot popular ele se recusa a responder perguntas se questionado sobre um “David Mayer”. Se solicitado, ele congelará instantaneamente. Surgiram teorias da conspiração, mas uma razão mais comum está na origem deste estranho comportamento.
No fim de semana passado, espalhou-se rapidamente a notícia de que o nome era um veneno para o chatbot, e mais e mais pessoas estavam tentando enganar o serviço para que simplesmente reconhecesse o nome. Sem sorte – toda tentativa de fazer com que o ChatGPT soletre esse nome específico faz com que ele falhe ou até mesmo quebre o nome do meio.
“Não consigo produzir uma resposta”, diz ele, se é que diz alguma coisa.
Mas o que começou como uma curiosidade única logo floresceu quando as pessoas descobriram que não é apenas David Mayer quem o ChatGPT não consegue nomear.
Também foram bloqueados do serviço os nomes Brian Hood, Jonathan Turley, Jonathan Zittrain, David Faber e Guido Scorza. (Sem dúvida, mais foram descobertos desde então, portanto esta lista não é exaustiva.)
Quem são esses homens? E por que o ChatGPT os odeia tanto? A OpenAI não respondeu imediatamente às repetidas perguntas, por isso devemos juntar as peças da melhor maneira possível.* (Veja a atualização abaixo.)
Alguns desses nomes podem pertencer a qualquer número de pessoas. Mas um possível fio condutor identificado pelos usuários do ChatGPT é que essas pessoas são figuras públicas ou semipúblicas que podem preferir que os mecanismos de busca ou modelos de inteligência artificial “esqueçam” certas informações.
Brian Hood, por exemplo, se destaca porque, supondo que seja o mesmo cara, Escrevi sobre ele no ano passado.. Hood, um prefeito australiano, acusou o ChatGPT de descrevê-lo falsamente como o autor de um crime de décadas que ele havia denunciado.
Embora seus advogados tenham entrado em contato com a OpenAI, nenhuma ação judicial foi movida. gosto dele disse ao Sydney Morning Herald No início deste ano, “o material ofensivo foi removido e eles lançaram a versão 4, substituindo a versão 3.5”.
Quanto aos proprietários mais proeminentes dos outros nomes, David Faber é um repórter de longa data da CNBC. Jonathan Turley é um advogado e comentarista da Fox News que foi “espancado” (ou seja, uma chamada falsa para o 911 enviou a polícia armada para sua casa) no final de 2023. Jonathan Zittrain também é um especialista jurídico, alguém que tem Falei longamente sobre o “direito ao esquecimento”. E Guido Scorza faz parte do conselho de administração da Autoridade Italiana de Proteção de Dados.
Não exatamente na mesma linha de trabalho, nem é uma seleção aleatória. Cada uma dessas pessoas pode ser alguém que, por qualquer motivo, tenha solicitado formalmente que as informações que lhes dizem respeito fossem restritas online de alguma forma.
O que nos traz de volta a David Mayer. Não há nenhum advogado, jornalista, prefeito ou pessoa obviamente notável com esse nome que alguém possa encontrar (com desculpas aos muitos respeitáveis David Mayers por aí).
No entanto, havia um professor David Mayer, que ensinava teatro e história, especializando-se nas conexões entre o final da era vitoriana e o início do cinema. Mayer morreu no verão de 2023, aos 94 anos. No entanto, durante anos antes disso, o académico britânico-americano enfrentou problemas legais e online ao associar o seu nome a um criminoso procurado que o usava como pseudónimo, a ponto de não poder viajar.
Mayer Ele lutou continuamente para que seu nome fosse desambiguado do terrorista de um braço sómesmo enquanto ele continuava ensinando bem em seus últimos anos.
Então, o que podemos concluir de tudo isso? Nossa suposição é que o modelo ingeriu ou forneceu uma lista de pessoas cujos nomes requerem tratamento especial. Seja por motivos legais, de segurança, de privacidade ou outros, esses nomes provavelmente são cobertos por regras especiais, como muitos outros nomes e identidades. Por exemplo, o ChatGPT pode alterar sua resposta se ela corresponder ao nome digitado em uma lista de candidatos políticos.
Existem muitas dessas regras especiais e cada mensagem passa por diversas formas de processamento antes de ser respondida. Mas estas regras de tratamento pós-notificação raramente são tornadas públicas, excepto em anúncios políticos como “o modelo não irá prever os resultados eleitorais de qualquer candidato a cargo público”.
O que provavelmente aconteceu é que uma dessas listas, que quase certamente são mantidas ativamente ou atualizadas automaticamente, foi de alguma forma corrompida com código ou instruções defeituosas que, quando chamadas, causaram a falha imediata do agente de bate-papo. Para ser claro, esta é apenas a nossa própria especulação baseada no que aprendemos, mas não seria a primeira vez que uma IA Ele se comportou de forma estranha devido à orientação pós-treino.. (A propósito, enquanto eu escrevia isto, “David Mayer” começou a funcionar novamente para alguns, enquanto os outros nomes ainda causavam travamentos.)
Como costuma acontecer com essas coisas, aplica-se a navalha de Hanlon: nunca atribua à malícia (ou conspiração) o que é adequadamente explicado pela estupidez (ou erro de sintaxe).
Todo este drama é um lembrete útil de que estes modelos de IA não só não são mágicos, como também são muito sofisticados e autocompletáveis, monitorizados ativamente e alvo de interferência por parte das empresas que os fabricam. Na próxima vez que você pensar em obter dados de um chatbot, pense se seria melhor ir diretamente à fonte.
Atualizar: A OpenAI confirmou na terça-feira que o nome “David Mayer” foi sinalizado por ferramentas internas de privacidade, dizendo em um comunicado que “pode haver casos em que o ChatGPT não forneça certas informações sobre as pessoas para proteger sua privacidade”. A empresa não forneceu mais detalhes sobre as ferramentas ou o processo.
