O Google afirma que sua nova família de modelos de IA possui uma característica curiosa: a capacidade de “identificar” emoções.
Anunciada quinta-feira, a família de modelos PaliGemma 2 pode analisar imagens, permitindo que a IA gere legendas e responda perguntas sobre as pessoas que “vê” nas fotos.
“PaliGemma 2 gera legendas de imagens detalhadas e contextualmente relevantes”, escreveu o Google em uma postagem de blog compartilhada com o TechCrunch, “indo além da simples identificação de objetos para descrever ações, emoções e a narrativa geral da cena”.
O reconhecimento de emoções não funciona imediatamente e o PaliGemma 2 precisa ser ajustado para esse propósito. No entanto, os especialistas com quem o TechCrunch conversou ficaram alarmados com a perspectiva de um detector de emoções disponível abertamente.
“Isso é muito preocupante para mim”, disse Sandra Wachter, professora de ética de dados e inteligência artificial no Oxford Internet Institute, ao TechCrunch. “Acho problemático presumir que podemos ‘ler’ as emoções das pessoas. É como pedir conselhos a um Magic 8 Ball.
Durante anos, startups e gigantes da tecnologia tentaram criar IA que pudesse detectar emoções para tudo, desde treinamento de vendas até prevenção de acidentes. Alguns Eles afirmam ter conseguido isso, mas a ciência repousa sobre um terreno empírico instável.
A maioria dos detectores de emoções são inspirados nos primeiros trabalhos de Paul Ekman, um psicólogo que teorizou que os humanos compartilham seis emoções fundamentais: raiva, surpresa, nojo, prazer, medo e tristeza. Mais tarde estudos elenco dúvida No entanto, de acordo com a hipótese de Ekman, mostra que existem grandes diferenças na forma como pessoas de diferentes origens expressam os seus sentimentos.
“A detecção de emoções não é possível no caso geral, porque as pessoas experimentam emoções de maneiras complexas”, disse Mike Cook, pesquisador da Queen Mary University especializado em IA, ao TechCrunch. “É claro que acreditamos que podemos dizer o que as outras pessoas sentem olhando para elas, e muitas pessoas ao longo dos anos também tentaram isso, como agências de espionagem ou empresas de marketing. “Tenho certeza de que é absolutamente possível detectar alguns significantes genéricos em alguns casos, mas não é algo que possamos ‘resolver’ completamente.”
A consequência não surpreendente é que os sistemas de detecção de emoções tendem a não ser confiáveis e a ser influenciados pelas suposições de seus projetistas. Em um MIT 2020 estudarOs pesquisadores mostraram que os modelos de análise facial poderiam desenvolver preferências indesejadas para certas expressões, como sorrir. Mais recente trabalhar sugere que os modelos de análise emocional atribuem mais emoções negativas aos rostos negros do que aos brancos.
O Google afirma que conduziu “testes extensivos” para avaliar preconceitos demográficos no PaliGemma 2 e encontrou “baixos níveis de toxicidade e palavrões” em comparação com os benchmarks da indústria. Mas a empresa não forneceu a lista completa de benchmarks utilizados nem indicou quais tipos de testes foram realizados.
O único benchmark que o Google revelou é o FairFace, um conjunto de dezenas de milhares de fotos de pessoas. A empresa afirma que PaliGemma 2 teve uma boa pontuação no FairFace. Mas alguns pesquisadores criticado o benchmark como uma métrica de preconceito, observando que FairFace representa apenas um punhado de grupos raciais.
“Interpretar emoções é uma questão bastante subjetiva que vai além do uso de recursos visuais e está fortemente enraizada em um contexto pessoal e cultural”, disse Heidy Khlaaf, cientista-chefe de IA do AI Now Institute, uma organização sem fins lucrativos que estuda. as implicações sociais das emoções artificiais. inteligência. “Deixando a IA de lado, a pesquisa mostrou que não podemos inferir emoções apenas a partir das características faciais.”
Os sistemas de detecção de emoções atraíram a ira de reguladores estrangeiros, que procuraram limitar o uso da tecnologia em contextos de alto risco. A Lei da IA, a principal peça legislativa sobre IA na UE, proíbe que as escolas e os empregadores implementem detectores de emoções (mas não as agências de aplicação da lei).
O maior medo em torno de modelos abertos como o PaliGemma 2, que está disponível em vários hosts, incluindo a plataforma de desenvolvimento de IA Hugging Face, é que eles sejam abusados ou mal utilizados, potencialmente causando danos reais ao mundo.
“Se esta chamada ‘identificação emocional’ se baseia em pressupostos pseudocientíficos, há implicações significativas sobre como esta capacidade pode ser usada para discriminar ainda mais (e falsamente) grupos marginalizados, tais como na aplicação da lei, recursos humanos, governação de fronteiras e gestão de fronteiras. e assim por diante”, disse Khlaaf.
Quando questionado sobre os perigos da publicação do PaliGemma 2, um porta-voz do Google disse que a empresa apoia seus testes de “danos representacionais” quando se trata de resposta visual a perguntas e legendas. “Realizamos avaliações robustas dos modelos PaliGemma 2 em relação à ética e segurança, incluindo segurança infantil e segurança de conteúdo”, acrescentaram.
Watcher não está convencido de que isso seja suficiente.
“Inovação responsável significa pensar nas consequências desde o primeiro dia em que entra no laboratório e continuar a fazê-lo durante todo o ciclo de vida de um produto”, disse ele. “Posso pensar em inúmeros problemas potenciais (com modelos como este) que podem levar a um futuro distópico, onde suas emoções determinam se você conseguirá o emprego, um empréstimo e se será admitido na faculdade.”
