Microsoft Azure AI Content Safety introduit des méthodes avancées pour la détection de contenu nuisible

Aujourd’hui, Microsoft a fait des annonces importantes concernant les fonctionnalités de sécurité de l’IA générative. Parmi celles-ci, un nouvel outil au sein du framework Azure AI Content Safety a été introduit, visant à détecter et à rectifier le contenu hallucinant généré par l’IA. En outre, Microsoft a révélé que son service Azure OpenAI commencera à implémenter des filigranes invisibles dans les images générées via le modèle DALL-E 3.

Par ailleurs, Microsoft continue de mettre l’accent sur la sécurité de l’IA avec la préversion publique de son API multimodale innovante au sein du service Azure AI Content Safety. Cette API est conçue pour identifier les contenus nuisibles ou inappropriés, qu’ils proviennent de créateurs humains ou d’outils d’IA.

Selon un article de blog de Microsoft :

L’API multimodale prend en charge les entrées de texte et d’image. Elle est conçue pour la détection multi-classes et multi-gravité, ce qui lui permet de classer le contenu dans différentes catégories et d’attribuer un score de gravité à chacune. Pour chaque catégorie, le système fournit un niveau de gravité allant de 0, 2, 4 à 6. Un nombre plus élevé signifie une gravité plus élevée du contenu.

Cette API multimodale récemment lancée peut identifier les contenus nuisibles dans les textes et les images, y compris les émojis, qui peuvent contenir des sujets dangereux ou inappropriés. Cela comprend les contenus explicites, les discours de haine, la violence, l’automutilation et les contenus sexuels. Microsoft souligne que l’API peut détecter ce type de contenu, même lorsqu’il apparaît dans une combinaison de texte et d’images, qui pourraient autrement être inoffensifs lorsqu’ils sont analysés individuellement.

Dans sa déclaration, Microsoft a souligné :

En atteignant ces objectifs, la fonction de détection multimodale favorise une expérience utilisateur plus sûre et plus respectueuse, permettant une génération de contenu créative mais responsable.

De plus, Microsoft a noté que la nouvelle API multimodale est capable de détecter rapidement les contenus nuisibles, garantissant ainsi qu’ils ne soient pas diffusés aux utilisateurs de diverses applications ou services.

Source