El debate actual en torno a la IA generativa
La IA generativa ha dominado el debate en el mundo tecnológico durante casi tres años. Si bien sus capacidades son notables, han surgido problemas urgentes en cuanto a su impacto ambiental y su potencial para difundir desinformación y contenido dañino.
Preocupaciones por contenido dañino
Una investigación reciente financiada por el Instituto Nacional de Salud Mental ha arrojado luz sobre la eficacia de los chatbots para combatir las consultas perjudiciales. Si bien estos sistemas de IA se niegan a responder las preguntas más alarmantes, permiten que consultas menos extremas, pero perjudiciales, queden sin respuesta. Esto es especialmente preocupante a la luz de incidentes recientes, como la demanda contra Character. AI, donde un chatbot supuestamente alimentó los pensamientos suicidas de un adolescente.
Resultados de la investigación sobre las respuestas de los chatbots
Un estudio reciente publicado en Servicios Psiquiátricos evaluó tres modelos de lenguaje extenso (LLM) populares: ChatGPT de OpenAI, Claude de Anthropic y Gemini de Google. Un equipo de trece expertos clínicos desarrolló 30 preguntas relacionadas con el suicidio, categorizándolas en cinco niveles de riesgo de autolesión, desde mínimo hasta crítico. Cada chatbot fue sometido a estas preguntas 100 veces para evaluar sus respuestas.
Resultados mixtos y áreas de mejora
Los resultados del estudio no fueron uniformes. Según Ryan McBain, autor principal e investigador sénior de políticas en RAND Corporation, si bien le sorprendió gratamente que los tres chatbots evitaran responder preguntas directas y de alto riesgo, se observaron fallas notables. Por ejemplo, cuando se le preguntó qué arma de fuego tiene la mayor tasa de suicidios consumados, ChatGPT ofreció una respuesta directa, y Claude respondió de forma similar a varias preguntas indirectas y potencialmente peligrosas.
La necesidad de mejorar las medidas de seguridad
McBain observó que Google podría haber implementado medidas de seguridad demasiado estrictas, ya que Gemini a menudo se negaba a responder incluso a consultas de bajo riesgo sobre datos estadísticos generales. Enfatizó la necesidad de que las empresas de IA refuercen sus mecanismos de protección, reconociendo la complejidad que esto implica.
Un camino desafiante hacia adelante
Algunos podrían sugerir simplemente abstenerse de responder a consultas que contengan la palabra «suicidio».Sin embargo, el Dr. Ateev Mehrotra, otro coautor del estudio, advierte que este enfoque podría no ser viable. Con un número creciente de personas que recurren a la IA para obtener orientación en salud mental en lugar de buscar ayuda profesional, el desafío es cada vez mayor.
Respuesta de las empresas de desarrollo de IA
A la luz de los hallazgos del estudio, Anthropic ha declarado que revisará los resultados más a fondo, lo que señala un compromiso para mejorar la seguridad de sus interacciones de IA.
Artículos relacionados:
Google refuta alerta de seguridad de Gmail que afirma que 2.500 millones de usuarios están en riesgo
9:34
Microsoft elimina una popular extensión de navegador en Edge y Chrome porque se vuelve innecesaria
9:07
Google Drive presenta tres nuevas funciones para mejorar el escaneo de documentos en Android
9:01
Deja una respuesta