ttrezentos e vinte e quatro. Essa foi a pontuação dada a Mary Louis por uma ferramenta de seleção de inquilinos baseada em inteligência artificial. O software SafeRent não explicou em seu relatório de 11 páginas como a pontuação foi calculada ou como ela pesou vários fatores. Não disse o que o resultado realmente significava. Ele simplesmente mostrou o número de Louis e concluiu que era muito baixo. Numa caixa ao lado do resultado, o relatório dizia: “Recomendação de pontuação: DIMINUIR”.
Louis, que trabalha como segurança, solicitou um apartamento na zona leste. Massachussets subúrbio. No momento em que visitou a unidade, a administradora disse que não teria problemas para que seu pedido fosse aceito. Embora tivesse uma pontuação de crédito baixa e algumas dívidas de cartão de crédito, ele teve uma excelente referência de seu senhorio de 17 anos, que disse que ele sempre pagava o aluguel em dia. Também utilizaria um voucher para inquilinos de baixa renda, garantindo que a sociedade gestora receberia pelo menos uma parte do aluguel mensal em pagamentos do governo. Seu filho, também citado no título, tinha uma pontuação de crédito alta, indicando que poderia servir como reserva contra atrasos nos pagamentos.
Mas em maio de 2021, mais de dois meses depois de ele ter solicitado o apartamento, a administradora enviou um e-mail a Louis para informá-lo de que um programa de computador havia rejeitado seu pedido. Você precisava ter uma pontuação de pelo menos 443 para que sua inscrição fosse aceita. Não houve mais explicações ou forma de recorrer da decisão.
“Mary, lamentamos informar que o serviço terceirizado que usamos para examinar todos os inquilinos em potencial negou seu aluguel”, dizia o e-mail. “Infelizmente, a pontuação de leasing SafeRent do serviço foi inferior ao permitido pelos nossos padrões de leasing.”
Um inquilino processa
Louis teve que alugar um apartamento mais caro. A gerência não a avaliou por meio de algoritmos. Mas ele descobriu que sua experiência com o SafeRent não era única. Ela fazia parte de uma turma de mais de 400 locatários negros e hispânicos em Massachusetts que usam vale-moradia e disse que seus pedidos de aluguel foram rejeitados por causa da pontuação do SafeRent.
Em 2022, eles se uniram para processar a empresa no âmbito da Feira Alojamento Act, alegando que a SafeRent os discriminou. Louis e a outra demandante citada, Monica Douglas, alegaram que o algoritmo da empresa classificou desproporcionalmente os inquilinos negros e hispânicos que usam vale-moradia em níveis inferiores aos dos candidatos brancos. Eles alegam que o software avaliou de forma imprecisa informações irrelevantes da conta sobre se seriam bons inquilinos (pontuação de crédito, dívidas não habitacionais), mas não levou em consideração que usariam um vale-moradia. Estudos demonstraram que os candidatos negros e hispânicos a arrendamento têm maior probabilidade de ter pontuações de crédito mais baixas e de utilizar vales de habitação do que os candidatos brancos.
“Foi uma perda de tempo esperar para ser rejeitado”, disse Louis. “Eu sabia que meu crédito não era bom. Mas a IA não conhece meu comportamento: sabia que meu cartão de crédito estava atrasado, mas não sabia que sempre pago meu aluguel.”
Já se passaram dois anos desde que o grupo processou a SafeRent pela primeira vez, tanto tempo que Louis diz que ela seguiu em frente com sua vida e quase se esqueceu do processo, embora ela fosse uma dos dois únicos demandantes nomeados. Mas as suas ações ainda podem proteger outros inquilinos que utilizam programas de habitação semelhantes, conhecidos como vouchers da Secção 8 para o seu lugar no código legal federal dos EUA, de perderem habitação devido a uma pontuação determinada por algoritmos.
SafeRent chegou a um acordo com Louis e Douglas. Além de fazer um pagamento de US$ 2,3 milhões, a empresa concordou em parar de usar um sistema de pontuação ou de fazer recomendações quando se trata de possíveis inquilinos que usaram vale-moradia por cinco anos. Embora a SafeRent não tenha admitido legalmente qualquer irregularidade, é raro que uma empresa de tecnologia concorde com alterações nos seus produtos principais como parte de um acordo; O resultado mais comum de tais acordos seria um acordo financeiro.
“Embora a SafeRent continue acreditando que as pontuações SRS cumprem todas as leis aplicáveis, o litígio é demorado e caro”, disse o porta-voz da empresa, Yazmín López, em comunicado. “Tornou-se cada vez mais claro que defender a pontuação SRS neste caso desviaria tempo e recursos que a SafeRent poderia utilizar melhor para cumprir a sua missão principal de fornecer aos fornecedores de habitação as ferramentas de que necessitam para selecionar os candidatos.”
Seu novo proprietário de IA
Sistemas de triagem de inquilinos como o SafeRent são frequentemente usados como uma forma de “evitar interagir” diretamente com os candidatos e transferir a culpa pela negação para um sistema de computador, disse Todd Kaplan, um dos advogados que representa Louis e o grupo de demandantes que processou a empresa. .
A administradora de propriedades disse a Louis que o software foi o único que decidiu rejeitá-la, mas o relatório da SafeRent indicou que foi a administradora que definiu o limite para a pontuação que alguém deveria obter para qualificar sua solicitação. aceito.
Ainda assim, mesmo para as pessoas envolvidas no processo de candidatura, o funcionamento do algoritmo é opaco. O gerente da propriedade que mostrou o apartamento a Louis disse que não entendia por que Louis teria problemas para alugar o apartamento.
“Eles estão inserindo muitas informações e a SafeRent está criando seu próprio sistema de pontuação”, disse Kaplan. “Torna mais difícil para as pessoas preverem como a SafeRent as verá. Não apenas para os inquilinos que se inscrevem, até mesmo os proprietários não conhecem os meandros da pontuação do SafeRent.”
Como parte do acordo de Louis com a SafeRent, aprovado em 20 de novembro, a empresa não pode mais usar um sistema de pontuação ou recomendar se aceita ou rejeita um inquilino se ele estiver usando um vale-moradia. Se a empresa introduzir um novo sistema de pontuação, será necessário que ele seja validado de forma independente por uma organização terceirizada de habitação justa.
“Eliminar a aprovação e a determinação da aprovação realmente permite que o inquilino diga: ‘Sou um ótimo inquilino’”, disse Kaplan. “Isso torna a determinação muito mais individualizada.”
após a promoção do boletim informativo
A IA se estende a partes fundamentais da vida
Quase todos os 92 milhões de pessoas consideradas de baixa renda nos Estados Unidos foram expostas à tomada de decisões da IA em aspectos críticos da vida, como emprego, habitação, medicina, educação ou assistência governamental, de acordo com um estudo. Novo relatório sobre os danos da IA. pelo advogado Kevin de Liban, que representou pessoas de baixa renda como parte da Legal Aid Society. O fundador de uma nova organização de justiça de IA chamada Justiça TechTonicDe Liban começou a pesquisar estes sistemas em 2016, quando foi abordado por pacientes com deficiência no Arkansas que subitamente deixaram de receber tantas horas de cuidados domiciliários financiados pelo estado devido à tomada de decisões automatizadas que reduziam o envolvimento humano. Num caso, a dispensa estatal do Medicaid baseou-se num programa que determinava que o paciente não tinha qualquer problema com o pé porque este tinha sido amputado.
“Isso me fez perceber que não deveríamos ceder (aos sistemas de IA) como uma forma altamente racional de tomar decisões”, disse De Liban. Ele disse que esses sistemas são baseados em várias suposições baseadas em “ciência estatística lixo” que produzem o que ele chama de “absurdos”.
Em 2018, depois de De Liban ter processado o Departamento de Serviços Humanos do Arkansas em nome destes pacientes durante o processo de tomada de decisão do departamento, a legislatura estadual decidiu que a agência poderia não automatize mais determinar as atribuições de cuidados domiciliares dos pacientes. A vitória de De Liban foi uma vitória precoce na luta contra os danos causados pela tomada de decisões algorítmicas, embora a sua utilização em todo o país persista noutras áreas, como o emprego.
Poucas regulamentações impedem a proliferação da IA, apesar das suas falhas
As leis que limitam o uso da IA, especialmente na tomada de decisões importantes que podem afetar a qualidade de vida de uma pessoa, são poucas, assim como os caminhos para responsabilizar as pessoas prejudicadas por decisões automatizadas.
Uma pesquisa realizada por Relatórios do Consumidorpublicado em julho, descobriu que a maioria dos americanos se sentia “desconfortável com o uso de inteligência artificial e tecnologia algorítmica para a tomada de decisões em momentos importantes da vida relacionados com habitação, emprego e cuidados de saúde”. Os entrevistados disseram estar preocupados por não saberem quais informações os sistemas de IA usaram para avaliá-los.
Ao contrário do caso de Louis, muitas vezes as pessoas não são notificadas quando um algoritmo é usado para tomar uma decisão sobre as suas vidas, tornando difícil recorrer ou contestar essas decisões.
“As leis existentes que temos podem ser úteis, mas são limitadas no que podem oferecer”, disse De Liban. “As forças do mercado não funcionam quando se trata dos pobres. “Basicamente, todo o incentivo é produzir mais tecnologia ruim, e não há incentivo para as empresas produzirem boas opções para pessoas de baixa renda.”
Os reguladores federais sob o comando de Joe Biden fizeram várias tentativas para acompanhar a rápida evolução da indústria de inteligência artificial. O presidente emitiu uma ordem executiva que incluía um quadro destinado, em parte, a abordar os riscos relacionados com a segurança nacional e a discriminação nos sistemas de inteligência artificial. No entanto, Donald Trump prometeu desfazer esse trabalho e cortar regulamentos, incluindo a ordem executiva de Biden sobre IA.
Isso pode tornar ações judiciais como a de Louis um caminho mais importante do que nunca para a responsabilização da IA. Já a demanda tenho o interesse do Departamento de Justiça dos EUA e do Departamento de Habitação e Desenvolvimento Urbano, que administram políticas habitacionais discriminatórias que afetam classes protegidas.
“Na medida em que este é um caso marcante, tem o potencial de fornecer um roteiro sobre como analisar estes casos e encorajar outros desafios”, disse Kaplan.
Ainda assim, será difícil responsabilizar estas empresas na ausência de regulamentação, disse De Liban. As ações judiciais levam tempo e dinheiro, e as empresas podem encontrar uma maneira de criar soluções alternativas ou produtos semelhantes para pessoas que não estão cobertas por ações judiciais coletivas. “Você não pode trazer esses tipos de casos todos os dias”, disse ele.
