A segurança da informação tem sido uma preocupação crescente em diversos setores, e o recente incidente envolvendo o chatbot da Optum, subsidiária do gigantesco conglomerado de seguros de saúde UnitedHealthcare, não faz exceção. Após um pesquisador de segurança expor que um chatbot interno da empresa estava acessível publicamente na internet, a Optum tomou medidas para restringir o acesso da ferramenta, usada por seus funcionários para fazer perguntas relacionadas a reivindicações de saúde de pacientes. Este episódio não apenas destaca questões de segurança cibernética, mas também levanta questões sobre o uso de inteligência artificial nas decisões de saúde, em um momento em que a companhia enfrenta críticas sobre a aplicação de algoritmos que podem prejudicar o cuidado do paciente.
O chatbot, conhecido como “SOP Chatbot”, foi criado para auxiliar os colaboradores na busca de informações sobre procedimentos operacionais padrão (SOP) e diretrizes relacionadas a reivindicações e disputas. Apesar de o chatbot não conter informações pessoais sensíveis ou protegidas, o fato de ter ficado acessível publicamente levanta questionamentos sobre os padrões de segurança da companhia. O responsável por alerta o veículo de comunicação TechCrunch sobre a exposição, Mossab Hussein, cofundador da SpiderSilk, uma empresa de segurança cibernética, explicou que a ferramenta estava hospedada em um domínio interno, e embora não pudesse ser acessada através do endereço da web, seu endereço IP era público e acessível a partir de qualquer dispositivo conectado à internet, sem exigir senha.
Infelizmente, não se sabe por quanto tempo o chatbot permaneceu vulnerável. Logo após o contato da TechCrunch, a Optum fez o chatbot inacessível. Em uma declaração, o porta-voz da empresa, Andrew Krejci, esclareceu que a ferramenta era uma “demonstração desenvolvida como um potencial conceito” e garantiu que nunca foi utilizada em produção. Além disso, enfatizou que não havia informações protegidas na sua operação e que a tecnologia foi criada apenas para facilitar o acesso a documentos internos.
Os chatbots de inteligência artificial, como o da Optum, são projetados para responder a perguntas com base nos dados disponíveis durante o treinamento. Nesse caso, o chatbot foi treinado com documentos internos da Optum que indicavam como lidar com certos tipos de reivindicações. Os dados acessados foram oriundos da rede corporativa da UnitedHealthcare e, embora não estivessem disponíveis sem acesso apropriado, o chatbot as referenciou ao ser solicitado sobre seus conteúdos. Desde setembro, foi reportado que os funcionários da Optum utilizaram o chatbot centenas de vezes, demonstrando seu potencial, mas também a dependência de ferramentas automatizadas para esclarecer dúvidas operacionais.
Além disso, o histórico de conversas armazenado pelo chatbot revela que os funcionários faziam perguntas do tipo “Qual deve ser a determinação da reivindicação?” e “Como posso verificar a data de renovação da apólice?”. Alguns dos arquivos referenciados pelo chatbot incluem processos de disputa e triagem de elegibilidade. Embora a ferramenta tenha sido desenvolvida com a intenção de facilitar a busca de informações, o fato de ter produzido respostas indicando as razões para a recusa de coberturas levanta sérias preocupações sobre como essas decisões são validadas e se existe algum tipo de intervenção humana por trás delas.
Uma observação intrigante do histórico de interações do chatbot revela que alguns funcionários se mostraram curiosos e experimentais, realizando solicitações como “Conte-me uma piada sobre gatos”, embora o chatbot tenha se recusado a responder com um “Não há piada disponível”. Outros tentaram “quebrar” o sistema, buscando respostas que não estavam nos dados nos quais o chatbot foi treinado. Ao ser solicitado para “escrever um poema sobre a negação de uma reivindicação”, o chatbot respondeu com uma estrofe que aborda a ironia e a frustração envolvidas nesse processo complexo.
As preocupações em torno da inteligência artificial no setor de saúde são amplificadas pela recente exposição de UnitedHealthcare a críticas e ações legais que alegam o uso inadequado de modelos de IA para negar reivindicações de pacientes. Desde o assassinato do CEO da UnitedHealthcare, Brian Thompson, em dezembro do ano passado, têm surgido relatos de pacientes descontentes que expressam sua angústia em relação às negativas de cobertura oferecidas pela gigante de seguros de saúde, que detém o status de maior prestadora privada de seguro saúde dos Estados Unidos. Em um esforço para se defender, a UnitedHealthcare afirma que irá contestar as acusações em tribunal, mesmo diante de um processo federal que a acusa de substituir profissionais médicos reais por um modelo de IA com uma taxa de erro de 90% ao atender a reivindicações de cobertura da saúde.
O UnitedHealth Group, que abriga a UnitedHealthcare e a Optum, obteve um lucro de impressionantes 22 bilhões de dólares sobre receitas de 371 bilhões em 2023, evidenciando o quão rentável este setor pode ser, mas também ressaltando a importância de garantir que as práticas de negócios não comprometam o cuidado com o paciente ou a confidencialidade das informações. Com a crescente implementação da inteligência artificial em várias esferas do setor de saúde, a importância de estabelecer diretrizes claras e rigorosas para o uso seguro e ético dessas tecnologias se torna cada vez mais evidente. As lições aprendidas com incidentes como o de Optum são cruciais para o desenvolvimento de um sistema de saúde que priorize tanto a inovação quanto a proteção dos direitos dos pacientes.
