AI가 사용자의 명령을 따르도록 하는 것은 필수적이지만, 누군가 사용자의 입력 내용을 은밀하게 조작한다면 어떻게 될까요? 맨인더프롬프트(Man-in-the-Prompt) 공격이라는 새로운 유형의 위협은 악의적인 공격자가 사용자의 명령을 가로채 대규모 언어 모델(LLM)에서 오도되거나 유해한 응답을 생성하여 데이터 유출이나 사용자 기만 행위로 이어질 수 있습니다.이 글에서는 맨인더프롬프트 공격의 메커니즘을 자세히 살펴보고 이를 방지하기 위한 전략을 제시합니다.
Man-in-the-Prompt 공격 이해
중간자 공격(Man-in-the-Middle Attack)과 마찬가지로, 맨인더프롬프트 공격(Man-in-the-Prompt Attack)은 챗봇과 같은 AI 도구와의 소통을 가로채 예상치 못하거나 위험한 답변을 유도합니다.공격자는 눈에 띄는 프롬프트를 제시하거나, 사용자의 원래 지시를 은밀하게 수정하여 LLM(대화 목록)을 조작하여 기밀 정보를 유출하거나 유해한 콘텐츠를 생성할 수 있습니다.
현재 브라우저 확장 프로그램은 이러한 유형의 공격에 대한 주요 매개체 역할을 합니다.이 취약점은 LLM의 프롬프트 입력과 응답이 페이지의 문서 객체 모델(DOM)에 내장되어 있기 때문에 발생하며, 확장 프로그램은 기본 권한을 통해 이 DOM에 접근할 수 있습니다.프롬프트 생성 도구를 사용하는 것과 같은 다른 방법도 이러한 유해한 삽입을 용이하게 할 수 있습니다.
비공개 LLM을 사용하는 기업 환경은 API 키 및 법률 문서를 포함한 민감한 회사 데이터에 접근하기 때문에 이러한 공격에 특히 취약합니다.마찬가지로, 기밀 정보를 저장하는 맞춤형 상업용 챗봇은 악의적인 행위자의 토큰이 될 수 있으며, 악의적인 행위자는 사용자를 속여 유해한 링크를 클릭하거나 악성 명령을 실행하도록 유도할 수 있습니다.이는 FileFix 또는 Eddiestealer 공격과 유사합니다.
브라우저 확장 프로그램으로 인한 위험 완화
브라우저 확장 프로그램은 심각한 위험 요소이므로, 맨인더프롬프트(MITM) 공격을 방지하기 위한 예방 조치를 취하는 것이 매우 중요합니다.이러한 확장 프로그램은 일반적으로 광범위한 권한을 요구하지 않기 때문에 이러한 영향을 감지하는 것이 어려울 수 있습니다.보안을 강화하려면 알려지지 않았거나 의심스러운 확장 프로그램은 설치하지 마십시오.불가피하게 사용해야 하는 경우, 신뢰할 수 있는 게시자가 개발한 확장 프로그램만 사용하십시오.
브라우저 확장 프로그램의 활동을 모니터링하면 위험 신호를 발견할 수 있습니다.예를 들어, Shift+를 사용하여 브라우저의 작업 관리자에 접속하면 EscLLM과의 상호작용 중 특정 확장 프로그램이 예기치 않게 프로세스를 시작하는지 확인할 수 있습니다.특히 챗봇에 텍스트를 입력하는 동안 발생하는 경우 더욱 그렇습니다.
게다가 LLM 도구와 직접 상호 작용하거나 프롬프트를 수정하는 확장 프로그램은 피하는 것이 좋습니다.이러한 프로그램은 처음에는 무해해 보일 수 있지만 시간이 지나면서 해로운 변경 사항을 주입할 수 있기 때문입니다.
제출 전 프롬프트를 철저히 검토
온라인 프롬프트 도구는 템플릿을 제공하고 프롬프트를 최적화하여 AI 상호작용을 향상시킬 수 있지만, 기기나 브라우저에 대한 명시적인 접근 없이도 악의적인 수정을 가할 수 있는 위험도 있습니다.이를 방지하려면 AI 챗봇 인터페이스에서 직접 프롬프트를 작성하고 버튼을 누르기 전에 꼼꼼하게 검토하는 것이 가장 좋습니다 Enter.
프롬프트 콘텐츠에 외부 소스를 사용해야 하는 경우, 숨겨진 코드나 지시 사항을 제거하기 위해 먼저 Windows 메모장과 같은 일반 텍스트 편집기에 텍스트를 복사하세요.Backspace필요에 따라 키를 사용하여 프롬프트에 공백이 남지 않도록 하세요.프롬프트 템플릿을 꼭 사용해야 하는 경우, 잠재적인 제3자 위험에 대한 의존성을 피하기 위해 노트 작성 애플리케이션에서 자체 보안 버전을 만드는 것을 고려하세요.
필요한 경우 새로운 채팅 세션 시작
맨인더프롬프트(Man-in-the-Prompt) 공격은 활성 채팅 세션을 악용하여 민감한 정보를 수집할 수 있습니다.위험을 최소화하려면 주제가 바뀔 때마다, 특히 기밀 주제를 논의한 후에는 새로운 채팅 세션을 시작하십시오.이렇게 하면 대화 중에 공격이 발생하더라도 실수로 민감한 정보가 노출될 가능성을 줄일 수 있습니다.
또한, 새로운 채팅으로 전환하면 공격이 후속 상호작용에 계속 영향을 미칠 가능성을 줄일 수 있습니다.
LLM의 응답을 면밀히 검토
AI 챗봇이 생성하는 응답에 대해 어느 정도 회의적인 태도를 갖는 것이 중요합니다.불일치나 예상치 못한 출력에 주의하십시오.챗봇이 요청하지 않은 민감한 정보를 유출하는 경우, 즉시 채팅을 종료하거나 새 세션을 시작하는 것을 고려하십시오.챗봇이 메시지를 임의로 수정하면 원래 메시지를 방해하거나 오해의 소지가 있는 추가 요청을 삽입하는 경우가 많습니다.
더욱이 공격자는 LLM을 조작하여 코드 블록이나 표와 같이 혼란스러운 형식으로 응답을 표시할 수 있습니다.이러한 이상 징후를 발견하면, 잠재적인 맨인더프롬프트(MAN-IN-THE-PRIM) 침입의 징후로 간주하십시오.
기업 환경에서는 직원들이 사용하는 브라우저 확장 프로그램에 대한 엄격한 심사가 부족하여 맨인더프롬프트(MITM) 공격이 쉽게 침투할 수 있습니다.보안을 강화하기 위해 확장 프로그램을 비활성화하는 동시에 시크릿 모드에서 LLM을 사용하는 것을 고려해 보세요.이러한 접근 방식은 AI 환각을 악용하는 엉뚱한 위협을 포함한 다양한 형태의 공격을 차단하는 데 도움이 됩니다.
답글 남기기