Supostas análises de especialistas sobre os resultados do Google Gemini vêm de não especialistas

Como qualquer modelo genAI, Google Gêmeos As respostas às vezes podem ser incorretomas neste caso pode ser porque os avaliadores não têm experiência para verificá-los.

De acordo com o TechCrunch, a empresa contratada para melhorar a precisão do Gemini agora faz com que seus testadores avaliem as respostas mesmo que não tenham o “conhecimento do domínio”.

O relatório levanta questões sobre o rigor e os padrões que o Google afirma aplicar aos testes de precisão do Gemini. Na seção “Construir com Responsabilidade” do Gemini 2.0 anúncioO Google disse que está “trabalhando com avaliadores confiáveis ​​e especialistas terceirizados e conduzindo extensas avaliações de risco e avaliações de segurança e garantia”. Há um foco razoável na avaliação de respostas para conteúdos sensíveis e prejudiciais, mas é dada menos atenção a respostas que não são necessariamente perigosas, mas simplesmente imprecisas.

O Google parece ignorar o problema das alucinações e erros simplesmente adicionando um aviso de que “Gêmeos pode cometer erros, então verifique novamente”, o que efetivamente o isenta de qualquer responsabilidade. Mas isso não leva em conta que os humanos fazem o trabalho nos bastidores.

Anteriormente, a GlobalLogic, uma subsidiária da Hitachi, ordenou aos seus engenheiros e analistas que ignorassem uma resposta da Gemini que não compreenderam totalmente. “Se você não tem experiência crítica (por exemplo, codificação, matemática) para avaliar esta mensagem, pule esta tarefa”, diziam as diretrizes vistas pelo meio de comunicação.

Mas na semana passada, a GlobalLogic mudou suas instruções e disse: “Você não deve pular os prompts que exigem conhecimento de domínio especializado” e, em vez disso, “avaliar as partes da instrução que você entende” e observar que eles não possuem o conhecimento necessário em seu caso. análise. Em outras palavras, a experiência não é considerada um pré-requisito para este trabalho.

Os empreiteiros agora só podem pular solicitações que contenham “informações completamente ausentes”, de acordo com o TechCrunch, ou aquelas que contenham conteúdo confidencial que exija um formulário de consentimento.