Cloudflare révèle l’exploration secrète de sites Web bloqués par Perplexity, suscitant des réactions négatives et soulevant des inquiétudes quant à l’éthique, la transparence et le scraping de contenu de l’IA.

La start-up spécialisée dans la recherche par IA, Perplexity, est au cœur d’une controverse suite à des allégations selon lesquelles elle aurait contourné les mesures visant à empêcher ses robots d’indexation d’accéder à certains sites web protégés. Un récent rapport de Cloudflare affirme que Perplexity aurait eu recours à des tactiques trompeuses, usurpant son identité pour contourner les restrictions visant à protéger le contenu des sites web. Plus précisément, les accusations suggèrent que l’entreprise aurait contourné les directives des fichiers robots.txt (qui indiquent les sections d’un site interdites aux robots) en utilisant des agents utilisateurs masqués et en changeant de fournisseur de services pour éviter d’être détectée.

La controverse autour de Perplexity s’intensifie avec des allégations d’exploration de sites Web protégés

Les allégations de Cloudflare découlent d’une enquête approfondie menée par l’entreprise. Dans le cadre de cette enquête, une page web cachée, soumise à des restrictions d’exploration, a été créée. Ni liée ni indexée publiquement, elle servait de piège pour tester les capacités d’exploration de Perplexity. Selon Cloudflare, les systèmes de Perplexity ont réussi à accéder à cette page restreinte et à inclure son contenu dans les résultats de recherche, ce qui soulève de sérieuses inquiétudes quant aux pratiques de collecte de données de l’entreprise.

Cloudflare affirme que ces actions non seulement enfreignent ses conditions d’utilisation, mais sont également éthiquement contestables. Par conséquent, Perplexity a été retiré de la liste des robots vérifiés. Cloudflare a annoncé son intention de renforcer ses restrictions concernant les robots d’exploration IA, témoignant ainsi d’une approche proactive pour prévenir le scraping de données non autorisé. En revanche, Perplexity nie fermement ces allégations, affirmant que l’enquête a négligé des aspects de transparence et n’a pas présenté de preuves convaincantes. L’entreprise soutient que Cloudflare a soit exagéré les conclusions, soit mal interprété la situation.

Les conséquences de cet incident sont importantes, car Cloudflare maintient une position ferme contre Perplexity, ce qui remet en cause les efforts de la start-up visant à promouvoir sa transparence face aux moteurs de recherche traditionnels. Cette situation met en lumière un problème croissant dans le paysage numérique : le conflit persistant autour de l’accès aux contenus et de leur monétisation.

Par ailleurs, cet incident met en lumière des discussions plus larges au sein du secteur de l’IA concernant l’approvisionnement en données et les pratiques douteuses qui peuvent émerger à mesure que les technologies d’IA gagnent en puissance et en commercialisation. Le PDG de Cloudflare, Matthew Prince, a ouvertement dénoncé les risques potentiels que ces modèles d’IA représentent pour les créateurs et éditeurs de contenu. En réponse, Cloudflare propose désormais un cadre permettant de facturer les entreprises d’IA pour l’accès au contenu et a mis en place un blocage automatique des robots d’exploration sur ses plateformes.

Source et images