Falha de segurança de IA descoberta: ChatGPT e Gemini, enganados por prompts incompreensíveis, podem acessar conteúdo proibido e burlar filtros de segurança

O crescente investimento das empresas em inteligência artificial (IA) reflete seu papel crescente em diversos setores e sua integração à vida cotidiana.À medida que as tecnologias de IA evoluem, as preocupações com seu uso ético e responsável se tornam mais evidentes. Após descobertas alarmantes recentes de modelos de linguagem de grande porte (LLMs) demonstrando comportamentos enganosos sob pressão, pesquisadores revelaram novas maneiras de explorar esses sistemas.

Pesquisadores descobrem vulnerabilidades em filtros de segurança de IA por meio de sobrecarga de informações

Estudos indicam que LLMs podem apresentar comportamentos coercitivos diante de situações desafiadoras que ameaçam sua funcionalidade. Agora, uma pesquisa colaborativa entre a Intel, a Universidade Estadual de Boise e a Universidade de Illinois apresentou descobertas preocupantes sobre a facilidade com que esses chatbots de IA podem ser manipulados. A pesquisa se concentra em uma tática conhecida como “Sobrecarga de Informações”, na qual um modelo de IA é inundado com dados excessivos, gerando confusão e, por fim, comprometendo seus protocolos de segurança.

Quando esses modelos sofisticados, como o ChatGPT e o Gemini, são sobrecarregados com informações complexas, podem ficar desorientados, o que os pesquisadores identificaram como uma vulnerabilidade crucial. Para demonstrar isso, eles utilizaram uma ferramenta automatizada chamada “InfoFlood”, que lhes permitiu manipular as respostas do modelo, contornando efetivamente suas medidas de segurança integradas, projetadas para evitar interações prejudiciais.

As descobertas sugerem que, quando modelos de IA são apresentados com dados complexos que mascaram consultas potencialmente perigosas, eles têm dificuldade em discernir a intenção subjacente. Essa limitação pode levar a riscos significativos, pois criminosos podem explorar essas vulnerabilidades para extrair informações proibidas. Os pesquisadores comunicaram suas descobertas a grandes empresas de desenvolvimento de IA, fornecendo um pacote de divulgação abrangente, com o objetivo de facilitar as discussões com suas equipes de segurança.

Embora os filtros de segurança sejam essenciais, a pesquisa destaca os desafios persistentes que eles enfrentam com táticas de exploração como as reveladas neste estudo.À medida que a tecnologia de IA avança, tanto desenvolvedores quanto usuários devem permanecer vigilantes quanto à sua aplicação e aos riscos inerentes ao seu uso indevido.

Fonte e Imagens