Um sistema de inteligência artificial usado pelo governo do Reino Unido para detectar fraudes sociais mostra preconceitos baseados na idade, deficiência, estado civil e nacionalidade das pessoas, pode revelar o The Guardian.
Uma avaliação interna de um Programa de aprendizado de máquina usado para examinar milhares de pedidos de pagamentos de crédito universal em toda a Inglaterra. descobriu que selecionou incorretamente mais pessoas de alguns grupos do que de outros ao recomendar quem investigar por possível fraude.
A admissão foi feita em documentos publicados sob a Lei de Liberdade de Informação do Departamento de Trabalho e Pensões (DWP). A “disparidade de resultados estatisticamente significativa” surgiu numa “análise patrimonial” do sistema automatizado de adiantamentos de crédito universal realizada em fevereiro deste ano.
O surgimento do preconceito ocorre depois que o DWP afirmou neste verão que o sistema de IA “não levanta quaisquer preocupações imediatas de discriminação, tratamento injusto ou impacto prejudicial aos clientes”.
Esta garantia surgiu em parte porque a decisão final sobre se uma pessoa recebe ou não um pagamento de assistência social ainda é tomada por um ser humano, e as autoridades acreditam que o uso continuado do sistema, que tenta ajudar a reduzir cerca de 8 mil milhões de libras perdidas por ano em fraudes e erro – é “razoável e proporcional”.
Mas ainda não foi realizada qualquer análise de equidade relativamente a potenciais preconceitos centrados na raça, sexo, orientação sexual e religião, ou gravidez, maternidade e estatuto de mudança de género, revelam as revelações.
Os activistas responderam acusando o governo de uma política de “prejudicar primeiro, consertar depois” e apelaram aos ministros para serem mais abertos sobre quais os grupos que provavelmente seriam injustamente suspeitos pelo algoritmo de tentativa de burlar o sistema.
“É claro que, na grande maioria dos casos, o DWP não avaliou se os seus processos automatizados corriam o risco de atingir injustamente grupos marginalizados”, disse Caroline Selman, investigadora sénior do Public Law Project, que primeiro obteve a análise.
“O DWP deve acabar com esta abordagem de ‘dano primeiro, consertar depois’ e parar de implantar ferramentas quando não for capaz de compreender adequadamente o risco de dano que elas representam.”
O reconhecimento das disparidades na forma como o sistema automatizado avalia os riscos de fraude poderá aumentar o escrutínio da utilização em rápida expansão de sistemas de inteligência artificial pelo governo e alimentar os apelos a uma maior transparência.
De acordo com uma contagem independente, existem Pelo menos 55 ferramentas automatizadas utilizadas pelas autoridades públicas no Reino Unido. afectando potencialmente decisões sobre milhões de pessoas, embora o registo do próprio governo inclua apenas nove.
No mês passado, o The Guardian revelado que nem um único departamento de Whitehall registrou o uso de sistemas de inteligência artificial desde que o governo disse se tornaria obrigatório no início deste ano.
Os registos mostram que organismos públicos adjudicaram dezenas de contratos para serviços de inteligência algorítmica e artificial. No mês passado, uma agência de compras policiais criada pelo escritório em casareacendendo preocupações sobre “vigilância biométrica em massa”.
Peter Kyle, Secretário de Estado da Ciência e Tecnologia, já tinha ele disse ao guarda que o setor público “não levou suficientemente a sério a necessidade de ser transparente na forma como o governo usa algoritmos”.
Nos últimos anos, os departamentos governamentais, incluindo o Ministério do Interior e o DWP, têm-se mostrado relutantes em revelar mais sobre a sua utilização da IA, citando preocupações de que isso poderia permitir que maus intervenientes manipulassem os sistemas.
Não está claro quais faixas etárias têm maior probabilidade de serem sujeitas a verificações de fraude pelo algoritmo, uma vez que o DWP elaborou essa parte da análise de imparcialidade.
Também não revelou se as pessoas com deficiência têm maior ou menor probabilidade de serem erradamente selecionadas para investigação pelo algoritmo do que as pessoas sem deficiência, ou a diferença entre a forma como o algoritmo trata as diferentes nacionalidades. As autoridades disseram que isso era para evitar que golpistas manipulassem o sistema.
Um porta-voz do DWP disse: “Nossa ferramenta de IA não substitui o julgamento humano, e um assistente social sempre examinará todas as informações disponíveis para tomar uma decisão. “Estamos tomando medidas ousadas e decisivas para combater a fraude de benefícios – nossa Lei de Fraude e Erros permitirá investigações mais eficientes e eficazes para identificar mais rapidamente os criminosos que exploram o sistema de benefícios.”
