人工智慧搜尋新創公司 Perplexity 因被指控規避了旨在阻止其網路爬蟲訪問某些受保護網站的措施而陷入爭議。 Cloudflare 最近發布的一份報告稱，Perplexity 採用了欺騙性手段，偽裝其身分認同以繞過旨在保護網站內容的限制。具體而言，這些指控表明，該公司透過使用屏蔽用戶代理和切換服務提供者來逃避檢測，從而繞過了 robots.txt 檔案中規定的準則（該準則指示網站哪些部分應禁止機器人存取）。
Perplexity 聲稱可以抓取受保護的網站，引發爭議
Cloudflare 的指控源自於該公司進行的一項廣泛調查。作為調查的一部分，他們創建了一個隱藏的、帶有爬蟲限制的網頁，該網頁既未公開連結也未編入索引，旨在作為測試 Perplexity 爬蟲能力的「蜜罐」。 Cloudflare 表示，Perplexity 的系統成功存取了這個受限的網頁，並將其內容添加到搜尋結果中，這引發了人們對該公司資料收集行為的嚴重擔憂。
Cloudflare 聲稱，這些行為不僅違反了其服務條款，而且在道德上也存在問題。因此，Perplexity 已從已驗證機器人清單中移除。 Cloudflare 已宣布計劃加強對人工智慧爬蟲的限制，表明其將採取積極主動的方式，防止未經授權的資料抓取。與此形成鮮明對比的是，Perplexity 堅決否認這些指控，聲稱調查忽視了透明度，並且未能提供令人信服的證據。該公司認為，Cloudflare 要么誇大了調查結果，要么完全曲解了情況。
這次事件影響深遠，因為Cloudflare持續對Perplexity採取強硬立場，這對這家新創公司旨在展現相對於傳統搜尋引擎透明度的品牌建立構成了挑戰。這事件凸顯了數位領域一個日益嚴重的問題：圍繞著內容存取及其貨幣化的持續衝突。
此外，這次事件也引發了人工智慧領域關於數據來源的廣泛討論，以及隨著人工智慧技術日益強大和商業化，可能出現的可疑做法。 Cloudflare 執行長 Matthew Prince 一直直言不諱地指出，這些人工智慧模式可能會為內容創作者和出版商帶來潛在風險。作為回應，Cloudflare 目前提供了一個框架，向人工智慧公司收取內容存取費用，並已在其平台上啟動了對人工智慧爬蟲的自動屏蔽功能。
發佈留言