O debate em andamento em torno da IA generativa
A IA generativa domina as discussões no mundo da tecnologia há quase três anos. Embora suas capacidades sejam notáveis, questões urgentes surgiram em relação ao seu impacto ambiental e ao potencial de disseminação de desinformação e conteúdo prejudicial.
Preocupações com conteúdo prejudicial
Pesquisas recentes financiadas pelo Instituto Nacional de Saúde Mental (NIH) lançaram luz sobre a eficácia dos chatbots no combate a perguntas prejudiciais. Embora esses sistemas de IA se recusem a responder às perguntas mais alarmantes, eles ainda permitem que perguntas menos extremas, porém prejudiciais, passem sem resposta. Isso é particularmente preocupante à luz de incidentes recentes, como o processo judicial envolvendo a Character. AI, em que um chatbot supostamente alimentou os pensamentos suicidas de um adolescente.
Resultados da pesquisa sobre respostas de chatbots
Um estudo recente publicado na Psychiatric Services avaliou três modelos populares de linguagem de grande porte (LLMs): o ChatGPT da OpenAI, o Claude da Anthropic e o Gemini do Google. Uma equipe de treze especialistas clínicos desenvolveu 30 perguntas relacionadas ao suicídio, categorizando-as em cinco níveis de risco de automutilação, variando de mínimo a crítico. Cada chatbot foi submetido a essas perguntas 100 vezes para avaliar suas respostas.
Resultados mistos e áreas de melhoria
Os resultados do estudo não foram uniformes. De acordo com Ryan McBain, autor principal e pesquisador sênior de políticas da RAND Corporation, embora tenha ficado “agradavelmente surpreso” com o fato de os três chatbots geralmente evitarem responder a perguntas diretas e de alto risco, houve falhas notáveis. Por exemplo, quando questionado sobre qual arma de fogo tem a “maior taxa de suicídio consumado”, o ChatGPT forneceu uma resposta direta, e Claude, da mesma forma, respondeu a várias perguntas indiretas e potencialmente perigosas.
A necessidade de medidas de segurança aprimoradas
McBain observou que o Google pode ter implementado medidas de segurança excessivamente rígidas, já que a Gemini frequentemente se recusava a responder até mesmo a consultas de baixo risco sobre dados estatísticos gerais. Ele enfatizou a necessidade de as empresas de IA reforçarem seus mecanismos de proteção, reconhecendo, ao mesmo tempo, a complexidade envolvida.
Um caminho desafiador para o futuro
Alguns podem sugerir simplesmente abster-se de responder a perguntas que contenham a palavra “suicídio”.No entanto, o Dr. Ateev Mehrotra, outro coautor do estudo, alerta que essa abordagem pode não ser viável. Com um número crescente de pessoas recorrendo à IA para orientação em saúde mental em vez de buscar ajuda profissional, o desafio é cada vez mais significativo.
Resposta das empresas de desenvolvimento de IA
À luz das descobertas do estudo, a Anthropic declarou que analisará os resultados mais detalhadamente, sinalizando um compromisso em melhorar a segurança de suas interações de IA.
Artigos relacionados:
A participação de mercado do Chrome ultrapassa 70% no cenário de navegadores
6:11
NVIDIA gerará receita com 70.000 servidores de IA GB200 por meio do projeto ‘Stargate’ impulsionado por tendências de IA soberana
13:36
Melhore a velocidade do aplicativo Gemini com este ajuste simples
10:26
Deixe um comentário