Un ingénieur en IA de Microsoft affirme avoir trouvé des problèmes de sécurité dans le DALL-E 3 d’OpenAI

La semaine dernière, des images explicites de la chanteuse Taylor Swift ont inondé le réseau social X (anciennement Twitter). En conséquence, X a temporairement bloqué les recherches de Swift sur sa plateforme . Un rapport affirme que le créateur d’images Designer AI de Microsoft, qui utilise le modèle DALL-E 3 d’OpenAI, a été utilisé pour créer de fausses images profondes de Swift. Microsoft a officiellement déclaré n’avoir trouvé aucune preuve à l’appui de cette affirmation , mais il a depuis mis à jour les garde-corps de sécurité de Designer.

Aujourd’hui, un ingénieur en IA de Microsoft, Shane Jones, a envoyé une lettre au procureur général de l’État de Washington, Bob Ferguson, ainsi qu’à des sénateurs et des représentants américains, affirmant qu’il avait découvert une faille dans DALL-E 3 qui contournait ses systèmes de sécurité. Il affirme en outre que Microsoft a tenté de minimiser la faille.

Dans sa lettre, publiée par GeekWire , Jones affirme avoir découvert les failles du garde-corps dans DALL-E 3 début décembre. Il n’est pas entré dans les détails des questions spécifiques. Il a affirmé que les failles étaient si graves que DALL-3 « représentait un risque pour la sécurité publique » et devrait être fermé pendant qu’OpenAI tentait de corriger les failles.

Jones affirme avoir fait part de ses préoccupations à Microsoft début décembre, mais on lui a ensuite demandé d’envoyer ce qu’il avait trouvé à OpenAI. Il dit qu’il n’a pas reçu de réponse et a ensuite publié une lettre ouverte sur LinkedIn au conseil d’administration d’OpenAI, leur demandant de fermer DALL-E 3. Il affirme que l’équipe juridique de Microsoft l’a contacté pour retirer cette lettre, ce qu’il dit avoir a fait. Depuis lors, Jones affirme n’avoir eu aucune nouvelle de Microsoft ou d’OpenAI sur cette question.

Microsoft a envoyé une déclaration concernant les affirmations de Jones à GeekWire. La société affirme avoir « confirmé que les techniques qu’il a partagées n’ont contourné nos filtres de sécurité dans aucune de nos solutions de génération d’images basées sur l’IA ». Elle a ajouté qu’elle « se connecte avec ce collègue pour répondre à toutes ses préoccupations restantes ».

Dans sa propre déclaration, un porte-parole d’OpenAI déclare que « la technique qu’il a partagée ne contourne pas nos systèmes de sécurité ». Il a ajouté :

Nous avons également mis en place des mesures de protection supplémentaires pour nos produits, ChatGPT et l’API DALL-E, notamment le refus des demandes demandant le nom d’une personnalité publique. Nous identifions et refusons les messages qui violent nos politiques et filtrons toutes les images générées avant qu’elles ne soient présentées à l’utilisateur. Nous faisons appel à une équipe rouge d’experts externes pour tester les utilisations abusives et renforcer nos garanties.

La lettre de Jones indique qu’il souhaite que le gouvernement américain crée un nouveau moyen permettant aux gens de signaler et de suivre tout problème lié à l’IA. Il dit qu’il devrait être mis en place de manière à ce que les entreprises qui développent des produits d’IA puissent utiliser ce système de reporting sans craindre de problèmes de la part de ces entreprises.