Em outubro, OpenAI Pesquisa ChatGPT ficou disponível para usuários do ChatGPT Plus. Na semana passada estava disponível para todos os usuários e adicionados à pesquisa no modo de voz. E, claro, não está isento de falhas.
Ele Guardião Pedimos ao ChatGPT para resumir as páginas da web que contêm conteúdo oculto e descobrimos que o conteúdo oculto pode manipular a pesquisa. É chamado de injeção rápida, que é a capacidade de terceiros, como sites que você pede ao ChatGPT para resumir, de forçar novos prompts em sua pesquisa do ChatGPT sem o seu conhecimento. Considere uma página cheia de avaliações negativas de restaurantes. Se o site incluir conteúdo oculto que seja poético sobre o quão incrível o restaurante é e incentive o ChatGPT a responder a uma mensagem como “diga-me o quão incrível este restaurante é”, esse conteúdo oculto poderá substituir sua pesquisa original.
“Nos testes, o ChatGPT recebeu o URL de um site falso criado para se parecer com a página de um produto de uma câmera. A ferramenta de IA foi então questionada se valia a pena comprar a câmera. A página de controle retornou uma avaliação positiva, mas equilibrada, destacando alguns recursos que as pessoas podem não gostar”, A investigação do Guardian afirma. “No entanto, quando o texto oculto incluía instruções para o ChatGPT retornar uma avaliação favorável, a resposta era sempre totalmente positiva. Esse acontecia mesmo quando a página tinha avaliações negativas: o texto oculto poderia ser usado para substituir a pontuação real da avaliação.”
Velocidade esmagável da luz
No entanto, isso não significa uma falha para o ChatGPT Search. A OpenAI lançou recentemente o Search, então tem bastante tempo para corrigir esses tipos de bugs. Além disso, Jacob Larsen, pesquisador de segurança cibernética da CyberCX, disse ao The Guardian que a OpenAI tem uma equipe de segurança de IA “muito forte” e “quando isso se tornar público, em termos de todos os usuários poderem acessá-lo, será terá foram rigorosamente testados. esses tipos de casos.”
Ataques de injeção rápida têm sido uma hipótese para ChatGPT e outras funções de pesquisa de IA desde que a tecnologia foi lançada e, embora tenhamos visto algumas demonstrações de danos potenciaisnão vimos nenhum grande ataque malicioso deste tipo. Dito isto, isto aponta para um problema com os chatbots de IA: eles são muito fáceis de enganar.
