A IA generativa pode parecer magia, mas por trás do desenvolvimento destes sistemas estão exércitos de funcionários de empresas como Google, OpenAI e outras, conhecidos como “engenheiros rápidos” e analistas, que avaliam a precisão dos resultados dos chatbots para melhorar a sua IA. .
Mas uma nova diretriz interna repassada pelo Google aos contratados que trabalham no Gemini, vista pelo TechCrunch, levantou preocupações de que o Gemini poderia estar mais propenso a revelar informações imprecisas sobre temas altamente sensíveis, como saúde, para pessoas comuns.
Para melhorar o Gemini, os empreiteiros que trabalham com a GlobalLogic, uma empresa de terceirização propriedade hitachiOs pesquisadores são rotineiramente solicitados a avaliar as respostas geradas pela IA com base em fatores como “veracidade”.
Até recentemente, estes prestadores de serviços podiam “ignorar” determinadas solicitações e, portanto, optar por não avaliar múltiplas respostas escritas pela IA a essas solicitações, se a solicitação estivesse fora do seu domínio de especialização. Por exemplo, um contratante pode pular uma pergunta específica sobre cardiologia porque não tem formação científica.
Mas na semana passada, a GlobalLogic anunciou uma mudança do Google que diz que os empreiteiros não podem mais ignorar essas solicitações, independentemente de sua própria experiência.
A correspondência interna vista pelo TechCrunch mostra que anteriormente as diretrizes diziam: “Se você não possui conhecimentos críticos (por exemplo, codificação, matemática) para avaliar esta mensagem, pule esta tarefa”.
Mas agora as diretrizes dizem: “Você não deve omitir instruções que exijam experiência no domínio”. Em vez disso, os contratantes são instruídos a “classificar as partes da mensagem que entendem” e incluir uma nota informando que não possuem conhecimento do domínio.
Isto levantou preocupações diretas sobre a precisão da Gemini em determinados tópicos, uma vez que os empreiteiros são por vezes encarregados de avaliar respostas de IA altamente técnicas sobre tópicos como doenças raras, nos quais não têm experiência.
“Achei que o objetivo de omitir era aumentar a precisão, entregando-o a alguém melhor?” um contratante observou em correspondência interna, vista pelo TechCrunch.
Os contratantes agora só podem pular mensagens em dois casos: se estiverem “completamente faltando informações”, como a mensagem ou resposta inteira, ou se contiverem conteúdo prejudicial que exija formulários de consentimento especiais para avaliação, mostram as novas diretrizes.
O Google não respondeu aos pedidos de comentários do TechCrunch até o momento.
