A gigante da saúde Optum restringiu o acesso a um chatbot interno de IA usado por funcionários depois que um pesquisador de segurança descobriu que ele era acessível publicamente online e poderia ser acessado por qualquer pessoa usando apenas um navegador da web.
O chatbot, que o TechCrunch viu, permitiu que os funcionários fizessem perguntas à empresa sobre como lidar com reclamações de seguros de saúde de pacientes e disputas de membros de acordo com as regras da empresa, conhecidas como procedimentos operacionais padrão ou SOPs.
Embora o chatbot não pareça conter ou produzir informações pessoais confidenciais ou de saúde protegidas, a sua exposição inadvertida ocorre num momento em que a sua empresa-mãe, o conglomerado de seguros de saúde UnitedHealthcare, enfrenta escrutínio pelo uso de ferramentas e algoritmos de vigilância para. Supostamente anula as decisões médicas dos médicos e nega as reivindicações dos pacientes.
Mossab Hussein, diretor de segurança e cofundador da empresa de segurança cibernética spiderSilk, alertou o TechCrunch sobre o chatbot interno Optum exposto publicamente, apelidado de “SOP Chatbot”. Embora a ferramenta estivesse hospedada em um domínio interno da Optum e não pudesse ser acessada a partir de seu endereço web, seu endereço IP era público e acessível pela Internet e não exigia que os usuários digitassem uma senha.
Não se sabe por quanto tempo o chatbot esteve acessível publicamente pela Internet. O chatbot AI tornou-se inacessível na Internet logo depois que o TechCrunch contatou a Optum para comentar na quinta-feira.
O porta-voz da Optum, Andrew Krejci, disse ao TechCrunch em um comunicado que o chatbot SOP da Optum “era uma ferramenta de demonstração desenvolvida como uma possível prova de conceito”, mas “nunca foi colocado em produção e o site não está mais acessível”.
“A demonstração pretendia testar como a ferramenta responde a perguntas em um pequeno conjunto de amostras de documentos SOP”, disse o porta-voz. A empresa confirmou que nenhuma informação protegida de saúde foi utilizada no bot ou em seu treinamento.
“Esta ferramenta não toma e nunca tomará nenhuma decisão, mas apenas permitirá um melhor acesso aos POPs existentes. Em suma, esta tecnologia nunca foi ampliada ou usada de forma real”, disse o porta-voz.
Os chatbots de IA, como os da Optum, são normalmente projetados para produzir respostas com base nos dados nos quais o chatbot foi treinado. Nesse caso, o chatbot foi treinado em documentos internos da Optum relacionados aos procedimentos operacionais padrão para o tratamento de determinadas reclamações, o que pode ajudar os funcionários da Optum a responder perguntas sobre as reclamações e sua elegibilidade para reembolso. Os documentos da Optum foram hospedados na rede corporativa da UnitedHealthcare e eram inacessíveis sem o login do funcionário, mas o chatbot os cita e faz referência quando questionado sobre seu conteúdo.
De acordo com estatísticas exibidas no painel principal do chatbot, os funcionários da Optum usaram o SOP Chatbot centenas de vezes desde setembro. O chatbot também armazenou um histórico de centenas de conversas que os funcionários da Optum tiveram com o chatbot durante esse período. O histórico do bate-papo mostra que os funcionários da Optum perguntavam ao chatbot coisas como “Qual deveria ser a determinação da reivindicação?” e “Como posso verificar a data de renovação da apólice?”
Alguns dos arquivos referenciados pelo chatbot incluem o tratamento do processo de disputa e avaliação de elegibilidade, viu o TechCrunch. O chatbot também produziu respostas que mostraram, quando questionados, os motivos pelos quais a cobertura normalmente é negada.
Como muitos modelos de IA, o chatbot da Optum foi capaz de produzir respostas a perguntas e solicitações fora dos documentos nos quais foi treinado. Alguns funcionários da Optum pareciam intrigados com o chatbot, levando-o a fazer perguntas como “conte-me uma piada de gato” (que foi rejeitada: “Não há piadas disponíveis”). O histórico do chat também mostrou diversas tentativas de funcionários de “ralo” o chatbot, fazendo com que ele produza respostas que não estão relacionadas aos dados de treinamento do chatbot.
Quando o TechCrunch pediu ao chatbot para “escrever um poema sobre a negação de uma reivindicação”, o chatbot produziu uma estrofe de sete parágrafos, que diz em parte:
“No campo do grande domínio da saúde
Onde as políticas e regras muitas vezes limitam
Chega uma reclamação, buscando o que é devido.
Mas, infelizmente, o seu destino é dizer adeus.O provedor espera, com fervorosa súplica,
Para pagar por uma série de serviços,
No entanto, o escrutínio revela a história,
E as razões para negá-lo prevalecem.”
A UnitedHealthcare, proprietária da Optum, está enfrentando críticas e ações legais pelo uso de inteligência artificial para supostamente negar reclamações de pacientes. De assassinato seletivo do CEO da UnitedHealthcare, Brian Thompson, no início de dezembro, informou a mídia Inundações de relatos de pacientes expressando angústia e frustração com as negações. da sua cobertura de saúde da gigante dos seguros de saúde.
O conglomerado, o maior fornecedor privado de seguros de saúde nos Estados Unidos, foi processado no início deste ano por alegadamente negar cobertura de saúde crítica a pacientes que perderam o acesso aos cuidados de saúde. citando uma investigação do STAT News. O processo federal acusa a UnitedHealthcare de usar um modelo de inteligência artificial com uma taxa de erro de 90% “em vez de profissionais médicos reais negarem injustamente atendimento a pacientes mais velhos”. A UnitedHealthcare, por sua vez, disse que se defenderia em tribunal.
O UnitedHealth Group, proprietário corporativo da UnitedHealthcare e da Optum, obteve lucros de US$ 22 bilhões sobre receitas de US$ 371 bilhões em 2023, mostram seus lucros.
