A IA generativa possui uma riqueza de conhecimento bem documentado. maus usosde compor trabalhos acadêmicos para copiar artistas. E agora parece estar a emergir nas operações de influência do Estado.
Uma campanha recente foi “provavelmente” ajudada por produtos comerciais de geração de fala de IA, incluindo tecnologia divulgada publicamente pelo início quente ElevenLabs, de acordo com um relatório recente da empresa de inteligência de ameaças Recorded Future, com sede em Massachusetts.
O relatório descreve uma campanha ligada à Rússia, concebida para minar o apoio da Europa à Ucrânia, chamada “Operação Undermine”, que utilizou de forma proeminente narrações geradas por IA em vídeos de “notícias” falsos ou enganosos.
Os vídeos, dirigidos ao público europeu, atacavam os políticos ucranianos como corruptos ou questionavam a utilidade da ajuda militar à Ucrânia, entre outros temas. Por exemplo, um vídeo alardeou que “nem mesmo os bloqueadores podem salvar os tanques Abrams americanos”, referindo-se aos dispositivos usados pelos tanques americanos para desviar os mísseis que se aproximam, reforçando o argumento de que enviar blindados de alta tecnologia para a Ucrânia não faz sentido.
O relatório afirma que os criadores do vídeo “provavelmente” usaram inteligência artificial gerada por voz, incluindo tecnologia da ElevenLabs, para fazer seu conteúdo parecer mais legítimo. Para verificar isso, os pesquisadores da Recorded Future enviaram os clipes para a própria ElevenLabs. Classificador de fala de IA, que fornece a capacidade para qualquer pessoa “detectar se um clipe de áudio foi criado com ElevenLabs” e obter uma correspondência.
A ElevenLabs não respondeu aos pedidos de comentários. Embora a Recorded Future tenha notado o uso provável de várias ferramentas comerciais de geração de fala de IA, ela não mencionou nenhuma outra além do ElevenLabs.
A utilidade da geração de fala por IA foi inadvertidamente demonstrada pelos próprios orquestradores da campanha de influência, que postaram de forma bastante descuidada alguns vídeos com dublagens humanas reais que tinham “um sotaque russo discernível”. Em contraste, as narrações geradas pela IA falavam em várias línguas europeias, como inglês, francês, alemão e polaco, sem sotaques estrangeiros.
De acordo com o Recorded Future, a IA também permitiu que os clipes falsos fossem rapidamente divulgados em vários idiomas falados na Europa, incluindo inglês, alemão, francês, polonês e turco (todos os idiomas, aliás). suportado por ElevenLabs.)
A Recorded Future atribuiu a atividade à Social Design Agency, uma organização sediada na Rússia que o governo dos EUA sancionado em Março, por gerir “uma rede de mais de 60 websites que se faziam passar por organizações noticiosas genuínas na Europa e depois utilizavam contas falsas nas redes sociais para amplificar o conteúdo enganoso dos websites falsificados”. Tudo isto foi feito “em nome do Governo da Federação Russa”, disse na altura o Departamento de Estado dos EUA.
O impacto global da campanha na opinião pública na Europa foi mínimo, concluiu a Recorded Future.
Esta não é a primeira vez que os produtos ElevenLabs são sinalizados por suposto uso indevido. A tecnologia da empresa estava por trás de uma chamada automática se passando pelo presidente Joe Biden, pedindo aos eleitores que não saíssem para votar durante as eleições primárias de janeiro de 2024, concluiu uma empresa de detecção de fraude por voz. de acordo com Bloomberg. Em resposta, a ElevenLabs disse que lançou novos recursos de segurança, como o bloqueio automático das vozes dos políticos.
onelabs proibições “representação não autorizada, prejudicial ou enganosa” e diz Ele usa várias ferramentas para fazer cumprir isso, como moderação automatizada e humana.
A ElevenLabs experimentou um crescimento explosivo desde sua fundação em 2022. Recentemente aumentou o ARR de US$ 25 milhões para US$ 80 milhões Menos de um ano antes, e em breve poderá ser avaliado em US$ 3 bilhões, informou o TechCrunch anteriormente. Seus investidores incluem Andreessen Horowitz e o ex-CEO do Github, Nat Friedman.
