Rozwiązanie Microsoft Azure AI Content Safety wprowadza zaawansowane metody wykrywania szkodliwych treści

Dzisiaj Microsoft ogłosił ważne informacje dotyczące funkcji bezpieczeństwa generatywnej AI. Wśród nich wprowadzono nowe narzędzie w ramach Azure AI Content Safety , którego celem jest wykrywanie i korygowanie halucynogennych treści generowanych przez AI. Ponadto Microsoft ujawnił, że jego usługa Azure OpenAI rozpocznie implementację niewidocznych znaków wodnych w obrazach generowanych za pomocą modelu DALL-E 3.

Ponadto Microsoft nadal koncentruje się na bezpieczeństwie AI, udostępniając publiczny podgląd swojego innowacyjnego Multimodal API w ramach usługi Azure AI Content Safety. Ten API został zaprojektowany w celu identyfikowania szkodliwych lub nieodpowiednich treści, niezależnie od tego, czy pochodzą one od twórców ludzkich, czy narzędzi AI.

Według wpisu na blogu firmy Microsoft:

Multimodalny interfejs API obsługuje zarówno dane tekstowe, jak i graficzne. Jest on zaprojektowany do wykrywania wielu klas i wielu poziomów ważności, co pozwala na klasyfikowanie treści w różnych kategoriach i przypisywanie każdej z nich wyniku poziomu ważności. Dla każdej kategorii system podaje poziom ważności w zakresie od 0, 2, 4 do 6. Wyższa liczba oznacza wyższy poziom ważności treści.

To nowo uruchomione API Multimodal może identyfikować szkodliwe treści zarówno w tekście, jak i obrazach, w tym emoji, które mogą zawierać niebezpieczną lub nieodpowiednią tematykę. Obejmuje to treści jawne, mowę nienawiści, przemoc, samookaleczenie i treści seksualne. Microsoft podkreśla, że API może wykrywać takie treści, nawet gdy pojawiają się w połączeniu tekstu i obrazów, które w innym przypadku mogłyby być nieszkodliwe, gdy są analizowane indywidualnie.

W swoim oświadczeniu Microsoft podkreślił:

Dzięki realizacji tych celów funkcja wykrywania multimodalnego promuje bezpieczniejsze i bardziej pełne szacunku doświadczenia użytkowników, umożliwiając kreatywne, a jednocześnie odpowiedzialne tworzenie treści.

Ponadto Microsoft zauważył, że nowy interfejs API Multimodal umożliwia szybkie wykrywanie szkodliwych treści, co pozwala zapobiec ich rozprzestrzenianiu się wśród użytkowników różnych aplikacji lub usług.