Microsoft lança ferramenta para identificar e corrigir conteúdo alucinado em resultados de IA

O Azure AI Content Safety é uma solução de IA inovadora da Microsoft projetada para identificar conteúdo prejudicial gerado por usuários e por IA em vários aplicativos e serviços. O serviço abrange APIs de texto e imagem, capacitando os desenvolvedores a sinalizar efetivamente material indesejado.

A API de detecção de Groundedness, parte do Azure AI Content Safety, pode verificar se as respostas de grandes modelos de linguagem são baseadas em materiais de origem selecionados pelo usuário. Considerando que os atuais grandes modelos de linguagem às vezes produzem informações imprecisas ou não factuais — geralmente chamadas de alucinações — esta API auxilia os desenvolvedores a reconhecer tais imprecisões em saídas de IA.

Recentemente, a Microsoft anunciou uma prévia de um recurso de correção que permite aos desenvolvedores detectar e corrigir conteúdo alucinante em tempo real, garantindo que os usuários finais recebam conteúdo gerado por IA de forma consistente e precisa.

https://www.youtube.com/watch?v=odxAPb0uf34

Correct hallucinations and ungrounded outputs using Azure AI Content Safety (https://www.youtube.com/watch?v=odxAPb0uf34)

Veja como o recurso de correção funciona:

O desenvolvedor do aplicativo ativa o recurso de correção.
Ao detectar uma frase infundada, uma nova solicitação é enviada ao modelo de IA generativa para uma correção.
O modelo de linguagem grande avalia a frase infundada em relação ao documento de fundamentação.
Frases sem conteúdo relevante ao documento de fundamentação podem ser completamente filtradas.
Se for encontrado conteúdo no documento de base, o modelo de base reescreve a frase não fundamentada para alinhá-la ao documento.

Além do recurso de correção, a Microsoft também introduziu a prévia pública do Azure AI Content Safety (AACS) híbrido . Essa iniciativa permite que os desenvolvedores implementem medidas de segurança de conteúdo tanto na nuvem quanto no dispositivo. O AACS Embedded SDK facilita as verificações de segurança de conteúdo em tempo real diretamente nos dispositivos, mesmo sem uma conexão com a internet.

Além disso, a Microsoft revelou a prévia do Protected Materials Detection for Code , que pode ser utilizado com aplicativos de IA generativa que produzem código para identificar se o LLM gerou algum código protegido. Esse recurso, que inicialmente era acessível apenas por meio do Azure OpenAI Service, agora está disponível para integração com outros modelos de IA generativa que geram código.

Essas atualizações aumentam significativamente a confiabilidade e a acessibilidade das tecnologias de moderação de conteúdo de IA, promovendo aplicativos de IA mais seguros e confiáveis em uma variedade de plataformas e ambientes.

Fonte