Microsoft uruchamia narzędzie do identyfikowania i naprawiania halucynogennych treści w wynikach AI

Azure AI Content Safety to innowacyjne rozwiązanie AI firmy Microsoft, zaprojektowane w celu identyfikowania szkodliwych treści generowanych przez użytkowników i AI w różnych aplikacjach i usługach. Usługa obejmuje zarówno interfejsy API tekstowe, jak i graficzne, umożliwiając deweloperom skuteczne oznaczanie niechcianych materiałów.

Interfejs API wykrywania uziemienia, będący częścią Azure AI Content Safety, może ustalić, czy odpowiedzi z dużych modeli językowych są oparte na wybranych przez użytkownika materiałach źródłowych. Biorąc pod uwagę, że obecne duże modele językowe czasami generują niedokładne lub niefaktyczne informacje — często określane jako halucynacje — ten interfejs API pomaga deweloperom rozpoznawać takie niedokładności w wynikach AI.

Niedawno firma Microsoft ogłosiła udostępnienie wersji zapoznawczej funkcji korekcyjnej, która umożliwia programistom wykrywanie i korygowanie halucynogennych treści w czasie rzeczywistym, zapewniając użytkownikom końcowym spójne, zgodne z faktami treści generowane przez sztuczną inteligencję.

https://www.youtube.com/watch?v=odxAPb0uf34

Correct hallucinations and ungrounded outputs using Azure AI Content Safety (https://www.youtube.com/watch?v=odxAPb0uf34)

Oto jak działa funkcja korekcji:

Programista aplikacji aktywuje możliwość korekty.
Po wykryciu zdania bezpodstawnego, do generatywnego modelu sztucznej inteligencji wysyłane jest nowe żądanie korekty.
Duży model językowy ocenia zdanie nieuzasadnione w odniesieniu do dokumentu uzasadniającego.
Zdania pozbawione treści odnoszącej się do dokumentu bazowego mogą zostać całkowicie odfiltrowane.
Jeżeli treść zostanie znaleziona w dokumencie bazowym, model bazowy przepisuje zdanie nieuzasadnione tak, aby było zgodne z dokumentem.

Oprócz funkcji korekcji, Microsoft wprowadził również publiczną wersję zapoznawczą hybrydowego Azure AI Content Safety (AACS) . Ta inicjatywa pozwala deweloperom wdrażać środki bezpieczeństwa treści zarówno w chmurze, jak i na urządzeniu. AACS Embedded SDK umożliwia sprawdzanie bezpieczeństwa treści w czasie rzeczywistym bezpośrednio na urządzeniach, nawet bez połączenia z Internetem.

Ponadto Microsoft zaprezentował podgląd Protected Materials Detection for Code , który można wykorzystać w aplikacjach generatywnej AI, które generują kod w celu identyfikacji, czy LLM wygenerował jakikolwiek chroniony kod. Ta funkcja, która początkowo była dostępna tylko za pośrednictwem usługi Azure OpenAI Service, jest teraz dostępna do integracji z innymi modelami generatywnej AI, które generują kod.

Aktualizacje te znacząco zwiększają niezawodność i dostępność technologii moderowania treści przez sztuczną inteligencję, co przekłada się na bezpieczniejsze i bardziej godne zaufania aplikacje wykorzystujące sztuczną inteligencję na wielu platformach i w różnych środowiskach.