Microsoft führt Tool zum Identifizieren und Korrigieren halluzinierter Inhalte in KI-Ergebnissen ein

Azure AI Content Safety ist eine innovative KI-Lösung von Microsoft, die schädliche benutzergenerierte und KI-generierte Inhalte in verschiedenen Anwendungen und Diensten identifizieren soll. Der Dienst umfasst sowohl Text- als auch Bild-APIs und ermöglicht Entwicklern, unerwünschtes Material effektiv zu kennzeichnen.

Die Groundedness Detection API, Teil von Azure AI Content Safety, kann feststellen, ob Antworten von großen Sprachmodellen auf vom Benutzer ausgewählten Quellenmaterialien basieren. Angesichts der Tatsache, dass aktuelle große Sprachmodelle manchmal ungenaue oder nicht faktische Informationen produzieren – oft als Halluzinationen bezeichnet – unterstützt diese API Entwickler dabei, solche Ungenauigkeiten in KI-Ausgaben zu erkennen.

Kürzlich kündigte Microsoft die Vorschau einer Korrekturfunktion an, mit der Entwickler halluzinogene Inhalte in Echtzeit erkennen und korrigieren können. So wird sichergestellt, dass Endbenutzer stets sachlich genaue, KI-generierte Inhalte erhalten.

https://www.youtube.com/watch?v=odxAPb0uf34

Correct hallucinations and ungrounded outputs using Azure AI Content Safety (https://www.youtube.com/watch?v=odxAPb0uf34)

So funktioniert die Korrekturfunktion:

Der Anwendungsentwickler aktiviert die Korrekturfunktion.
Beim Erkennen eines unbegründeten Satzes wird eine neue Anfrage zur Korrektur an das generative KI-Modell gesendet.
Das große Sprachmodell wertet den unbegründeten Satz anhand des Begründungsdokuments aus.
Sätze ohne relevanten Inhalt für das Begründungsdokument können vollständig herausgefiltert werden.
Wenn im Grundlagendokument Inhalt gefunden wird, schreibt das Grundlagenmodell den unbegründeten Satz neu, um ihn an das Dokument anzupassen.

Neben der Korrekturfunktion hat Microsoft auch die öffentliche Vorschau der hybriden Azure AI Content Safety (AACS) vorgestellt . Diese Initiative ermöglicht es Entwicklern, Inhaltssicherheitsmaßnahmen sowohl in der Cloud als auch auf dem Gerät zu implementieren. Das AACS Embedded SDK ermöglicht Echtzeit-Inhaltssicherheitsprüfungen direkt auf Geräten, auch ohne Internetverbindung.

Darüber hinaus hat Microsoft die Vorschau der Funktion „ Protected Materials Detection for Code“ vorgestellt , die mit generativen KI-Anwendungen verwendet werden kann, die Code erzeugen, um festzustellen, ob das LLM geschützten Code generiert hat. Diese Funktion, die zunächst nur über den Azure OpenAI Service zugänglich war, ist jetzt für die Integration mit anderen generativen KI-Modellen verfügbar, die Code generieren.

Diese Updates verbessern die Zuverlässigkeit und Zugänglichkeit von KI-Technologien zur Inhaltsmoderation erheblich und ermöglichen sicherere und vertrauenswürdigere KI-Anwendungen auf einer Vielzahl von Plattformen und Umgebungen.

Quelle