AI 검색 스타트업 퍼플렉시티(Perplexity)가 웹 크롤러가 특정 보호된 웹사이트에 접근하지 못하도록 하는 조치를 우회했다는 의혹으로 논란에 휩싸였습니다.클라우드플레어(Cloudflare)의 최근 보고서에 따르면, 퍼플렉시티는 웹사이트 콘텐츠 보호를 위한 제한을 우회하기 위해 신원을 위장하는 등 기만적인 수법을 사용했다고 합니다.특히, 퍼플렉시티는 마스킹된 사용자 에이전트를 사용하고 서비스 제공업체를 변경하여 탐지를 피함으로써, 사이트의 어떤 부분을 봇이 접근하지 못하도록 해야 하는지를 명시하는 robots.txt 파일에 명시된 지침을 우회했다고 합니다.
보호된 웹사이트 크롤링 주장으로 Perplexity 논란 심화
클라우드플레어의 주장은 회사가 수행한 광범위한 조사에서 비롯되었습니다.이 조사의 일환으로 크롤러 제한 기능이 있는 숨겨진 웹페이지가 생성되었는데, 이 페이지는 링크도 공개 색인도 되지 않았으며, Perplexity의 크롤링 기능을 테스트하기 위한 허니팟 역할을 했습니다.클라우드플레어에 따르면, Perplexity의 시스템은 이 제한된 페이지에 접근하여 해당 콘텐츠를 검색 결과에 포함시켰으며, 이는 회사의 데이터 수집 관행에 대한 심각한 우려를 불러일으켰습니다.
클라우드플레어는 이러한 행위가 서비스 약관을 위반할 뿐만 아니라 윤리적으로도 문제가 있다고 주장합니다.결과적으로 퍼플렉시티는 검증된 봇 목록에서 삭제되었습니다.클라우드플레어는 AI 크롤러에 대한 제한을 강화할 계획을 발표하며 무단 데이터 스크래핑을 방지하기 위한 선제적 조치를 시사했습니다.이와는 대조적으로, 퍼플렉시티는 조사 과정에서 투명성의 측면을 간과했고 설득력 있는 증거를 제시하지 못했다며 혐의를 강력히 부인했습니다.퍼플렉시티는 클라우드플레어가 조사 결과를 과장했거나 상황을 완전히 잘못 해석했다고 주장합니다.
이번 사건의 함의는 매우 중요합니다.클라우드플레어는 퍼플렉시티에 대해 여전히 강경한 입장을 고수하고 있으며, 이는 기존 검색 엔진 대비 투명성을 과시하려는 퍼플렉시티의 브랜딩 노력에 걸림돌이 되고 있습니다.이러한 상황은 디지털 환경에서 점점 심각해지는 문제, 즉 콘텐츠 접근과 수익 창출을 둘러싼 지속적인 갈등을 여실히 보여줍니다.
더욱이 이 사건은 AI 업계 내에서 데이터 소싱과 AI 기술이 점점 더 강력해지고 상용화됨에 따라 발생할 수 있는 의심스러운 관행에 대한 광범위한 논의를 불러일으켰습니다.클라우드플레어(Cloudflare)의 CEO 매튜 프린스(Matthew Prince)는 이러한 AI 모델이 콘텐츠 제작자와 퍼블리셔에게 초래할 수 있는 잠재적 위험에 대해 공개적으로 언급했습니다.이에 따라 클라우드플레어는 AI 기업에 콘텐츠 접근료를 부과하는 프레임워크를 제공하고 있으며, 자사 플랫폼에서 AI 크롤러를 자동으로 차단하기 시작했습니다.
답글 남기기