O Microsoft Azure AI Content Safety apresenta métodos avançados para detecção de conteúdo prejudicial

Hoje, a Microsoft fez anúncios significativos sobre recursos de segurança de IA generativa. Entre eles, uma nova ferramenta dentro da estrutura de Segurança de Conteúdo de IA do Azure foi introduzida, visando detectar e retificar conteúdo alucinado gerado por IA. Além disso, a Microsoft revelou que seu Azure OpenAI Service começará a implementar marcas d’água invisíveis em imagens geradas por meio do modelo DALL-E 3.

Além disso, a Microsoft continua seu foco na segurança de IA com a prévia pública de sua inovadora API Multimodal dentro do serviço Azure AI Content Safety. Esta API é projetada para identificar conteúdo prejudicial ou inapropriado, seja ele originário de criadores humanos ou ferramentas de IA.

De acordo com uma postagem de blog da Microsoft:

A API multimodal acomoda entradas de texto e imagem. Ela é projetada para detecção multiclasse e multigravidade, permitindo classificar o conteúdo em várias categorias e atribuir uma pontuação de gravidade a cada uma. Para cada categoria, o sistema fornece um nível de gravidade que varia de 0, 2, 4 a 6. Um número maior significa maior gravidade do conteúdo.

Esta API Multimodal recém-lançada pode identificar conteúdo prejudicial em texto e imagens, incluindo emojis, que podem possuir assunto inseguro ou inapropriado. Isso abrange conteúdo explícito, discurso de ódio, violência, automutilação e conteúdo sexual. A Microsoft enfatiza que a API pode detectar esse conteúdo, mesmo quando ele aparece em uma combinação de texto e imagens, que de outra forma poderia ser benigno quando analisado individualmente.

Em sua declaração, a Microsoft destacou:

Ao atingir esses objetivos, o recurso de detecção multimodal promove uma experiência do usuário mais segura e respeitosa, permitindo a geração de conteúdo criativo e responsável.

Além disso, a Microsoft observou que a nova API Multimodal é capaz de detectar rapidamente conteúdo prejudicial, garantindo que ele não seja disseminado para usuários de vários aplicativos ou serviços.

Fonte