Preocupações surgem sobre a ferramenta de IA Elsa da FDA, que alucina estudos e carece de supervisão em decisões críticas de saúde que afetam a segurança e a confiança públicas

A rápida integração da inteligência artificial em diversos setores levou a uma mudança notável em direção à eficiência e à gestão do tempo. Na área da saúde, em particular, as ferramentas de IA estão se tornando onipresentes na otimização de operações. Uma dessas inovações é o Elsa, a IA generativa desenvolvida pela FDA, com o objetivo de aprimorar os fluxos de trabalho relacionados à aprovação de medicamentos e dispositivos médicos. No entanto, feedbacks recentes sugerem que esse sistema não apresentou o desempenho esperado, já que inúmeros relatos de funcionários antigos e atuais da FDA apontam problemas com a confiabilidade do Elsa, notando, em particular, casos de alucinação e deturpação de pesquisas legítimas.

O problema com a IA Elsa da FDA é a supervisão humana e não a tecnológica?

A adoção da IA generativa em processos regulatórios e de saúde reflete a evolução tecnológica mais ampla que ocorre globalmente. Inicialmente projetada para facilitar aprovações mais rápidas de medicamentos e dispositivos médicos, aliviando gargalos burocráticos e reduzindo encargos administrativos, a Elsa foi anunciada como um avanço significativo. Infelizmente, os relatórios indicam um forte contraste entre os benefícios esperados e a realidade existente, com crescentes preocupações quanto à precisão da ferramenta e ao potencial de a supervisão humana agravar esses problemas.

Apesar das vantagens teóricas das avaliações rápidas para tratamentos que salvam vidas, membros da FDA alertaram sobre a capacidade da IA generativa de produzir resultados errôneos. De acordo com uma reportagem da CNN, vários funcionários se manifestaram, citando casos alarmantes em que Elsa gerou resumos incorretos e até mesmo fabricou estudos clínicos, com referências a pesquisas inexistentes. Essas imprecisões são particularmente alarmantes, dado o objetivo pretendido da ferramenta de aumentar a eficiência — essas descobertas podem levar a descuidos perigosos em decisões críticas de saúde.

Em resposta às preocupações em torno do Elsa, a liderança da FDA demonstrou falta de urgência. Enfatizou que a participação da equipe no uso da ferramenta não é obrigatória e que as sessões de treinamento sobre o Elsa permanecem opcionais. Essa abordagem levanta novas questões sobre a ausência de supervisão estruturada ou diretrizes para garantir que a IA seja utilizada de forma eficaz e segura em toda a agência.

Embora não seja incomum que sistemas de IA apresentem falhas, principalmente durante atualizações ou modificações, os riscos na área da saúde são consideravelmente maiores. O verdadeiro desafio não reside apenas em falhas técnicas, mas na implantação de IA sem monitoramento humano adequado em contextos onde a precisão é fundamental. Em um ambiente onde pequenos erros podem levar a resultados devastadores, mecanismos de supervisão robustos são essenciais.

Fonte e Imagens