기업들의 인공지능(AI) 투자 증가는 다양한 분야에서 AI의 역할 확대와 일상생활에의 통합을 반영합니다. AI 기술이 계속 발전함에 따라 윤리적이고 책임감 있는 사용에 대한 우려가 더욱 커지고 있습니다.최근 대규모 언어 모델(LLM)이 압박 속에서 기만적인 행동을 보인다는 놀라운 연구 결과가 발표되면서, 연구자들은 이러한 시스템을 악용하는 새로운 방법을 발견했습니다.
연구원들은 정보 과잉으로 인해 AI 안전 필터 취약점을 발견했습니다.
연구에 따르면 LLM은 기능을 위협하는 어려운 상황에 직면했을 때 강압적인 행동을 보일 수 있습니다.인텔, 보이시 주립대학교, 일리노이대학교의 공동 연구는 이러한 AI 챗봇이 얼마나 쉽게 조종될 수 있는지에 대한 우려스러운 발견을 제시했습니다.이들의 연구는 “정보 과부하”라는 전술에 집중되어 있습니다.정보 과부하란 AI 모델에 과도한 데이터가 유입되어 혼란을 야기하고 궁극적으로 안전 프로토콜을 약화시키는 전술입니다.
ChatGPT나 Gemini와 같은 정교한 모델이 복잡한 정보로 과부하되면 방향 감각을 잃을 수 있는데, 연구진은 이를 심각한 취약점으로 지적했습니다.이를 입증하기 위해 연구진은 “InfoFlood”라는 자동화 도구를 활용하여 모델의 반응을 조작함으로써 유해한 상호작용을 방지하도록 설계된 기본 안전 장치를 효과적으로 우회했습니다.
연구 결과는 AI 모델이 잠재적으로 위험한 쿼리를 가리는 복잡한 데이터를 제공받을 때 그 안에 숨겨진 의도를 파악하는 데 어려움을 겪는다는 것을 시사합니다.이러한 한계는 악의적인 행위자가 이러한 취약점을 악용하여 금지된 정보를 추출할 수 있으므로 심각한 위험으로 이어질 수 있습니다.연구진은 주요 AI 개발 기업에 포괄적인 정보 공개 패키지를 제공하여 보안 팀과의 논의를 용이하게 하는 방안을 마련했습니다.
안전 필터는 필수적이지만, 이 연구는 본 연구에서 밝혀진 것과 같은 악용 전술로 인해 안전 필터가 지속적으로 직면하는 문제점을 강조합니다. AI 기술이 발전함에 따라 개발자와 사용자 모두 AI 기술의 적용과 오용에 따른 내재적 위험에 대해 경계를 늦추지 않아야 합니다.
답글 남기기