CloudflareがブロックされたウェブサイトをPerplexityが秘密裏にクロールしていたことを明らかに、反発を巻き起こし、AI倫理、透明性、コンテンツスクレイピングに関する懸念が高まっている。

AI検索スタートアップのPerplexityは、ウェブクローラーによる特定の保護されたウェブサイトへのアクセスを阻止するための対策を回避したとの疑惑を受け、論争に巻き込まれている。Cloudflareの最近のレポートによると、Perplexityはウェブサイトのコンテンツ保護を目的とした制限を回避するために、身元を偽装する欺瞞的な戦術を用いていたという。具体的には、同社がrobots.txtファイルに定められたガイドライン（サイトのどのセクションをボットのアクセス禁止にすべきかを示す）を、マスクされたユーザーエージェントの使用やサービスプロバイダーの切り替えによって回避していたとされている。

保護されたウェブサイトをクロールしているという主張で、Perplexity の論争は深まる

Cloudflareの申し立ては、同社が実施した広範な調査に基づいています。この調査の一環として、クローラー制限を課した隠しウェブページが作成されました。このページは公開リンクもインデックスもされておらず、Perplexityのクロール能力をテストするためのハニーポットとして機能していました。Cloudflareによると、Perplexityのシステムはこの制限されたページにアクセスし、そのコンテンツを検索結果に表示していたため、同社のデータ収集方法に深刻な懸念が生じています。

Cloudflareは、これらの行為は利用規約に違反するだけでなく、倫理的にも疑問視されるものだと主張しています。その結果、Perplexityは検証済みボットのリストから削除されました。CloudflareはAIクローラーへの制限を強化する計画を発表し、不正なデータスクレイピングを積極的に防止する姿勢を示しました。一方、Perplexityはこれらの疑惑を強く否定し、調査では透明性の側面が見落とされ、説得力のある証拠が提示されなかったと主張しています。同社は、Cloudflareが調査結果を誇張したか、あるいは状況を完全に誤解したと主張しています。

CloudflareはPerplexityに対して引き続き強硬な姿勢をとっており、この事件の影響は重大です。この事件は、従来の検索エンジンと比較して透明性をアピールすることを目指した同社のブランディング活動に課題を突きつけています。この状況は、デジタル環境における深刻化する問題、すなわちコンテンツへのアクセスとその収益化をめぐる継続的な対立を浮き彫りにしています。

さらに、この事件は、AI技術がますます強力になり商業化されるにつれて、データソースや、問題のある慣行に関して、AI業界におけるより広範な議論を浮き彫りにしました。CloudflareのCEOであるマシュー・プリンス氏は、これらのAIモデルがコンテンツ制作者や出版社にもたらす潜在的なリスクについて、これまでも声高に主張してきました。これを受けて、Cloudflareは現在、AI企業にコンテンツへのアクセス料金を請求する枠組みを提供し、プラットフォーム上でAIクローラーの自動ブロックを開始しました。

出典と画像