Microsoft lance un outil pour identifier et corriger les contenus hallucinants dans les résultats de l’IA

Azure AI Content Safety est une solution d’IA innovante de Microsoft conçue pour identifier les contenus nuisibles générés par les utilisateurs et par l’IA dans divers services et applications. Le service englobe à la fois des API de texte et d’image, permettant aux développeurs de signaler efficacement les contenus indésirables.

L’API de détection de l’ancrage, qui fait partie d’Azure AI Content Safety, peut déterminer si les réponses des grands modèles linguistiques sont basées sur des documents sources sélectionnés par l’utilisateur. Étant donné que les grands modèles linguistiques actuels produisent parfois des informations inexactes ou non factuelles (souvent appelées hallucinations), cette API aide les développeurs à reconnaître ces inexactitudes dans les résultats de l’IA.

Récemment, Microsoft a annoncé un aperçu d’une capacité de correction qui permet aux développeurs de détecter et de corriger le contenu hallucinant en temps réel, garantissant ainsi aux utilisateurs finaux de recevoir un contenu généré par l’IA systématiquement et factuellement exact.

https://www.youtube.com/watch?v=odxAPb0uf34

Correct hallucinations and ungrounded outputs using Azure AI Content Safety (https://www.youtube.com/watch?v=odxAPb0uf34)

Voici comment fonctionne la fonction de correction :

Le développeur de l’application active la capacité de correction.
Lors de la détection d’une phrase non fondée, une nouvelle demande est envoyée au modèle d’IA génératif pour une correction.
Le grand modèle de langage évalue la phrase non fondée par rapport au document de base.
Les phrases manquant de contenu pertinent par rapport au document de base peuvent être complètement filtrées.
Si le contenu est trouvé dans le document de base, le modèle de base réécrit la phrase non fondée pour l’aligner sur le document.

Outre la fonctionnalité de correction, Microsoft a également présenté la version préliminaire publique de la solution hybride Azure AI Content Safety (AACS) . Cette initiative permet aux développeurs de mettre en œuvre des mesures de sécurité du contenu à la fois dans le cloud et sur l’appareil. Le SDK intégré AACS facilite les contrôles de sécurité du contenu en temps réel directement sur les appareils, même sans connexion Internet.

De plus, Microsoft a dévoilé l’aperçu de la détection de matériaux protégés pour le code , qui peut être utilisée avec des applications d’IA génératives qui produisent du code pour identifier si le LLM a généré du code protégé. Cette fonctionnalité, qui était initialement accessible uniquement via le service Azure OpenAI, est désormais disponible pour l’intégration avec d’autres modèles d’IA génératives qui génèrent du code.

Ces mises à jour améliorent considérablement la fiabilité et l’accessibilité des technologies de modération de contenu IA, favorisant des applications IA plus sûres et plus fiables sur une variété de plates-formes et d’environnements.

Source