Azure AI Content Safety는 다양한 애플리케이션과 서비스 내에서 유해한 사용자 생성 및 AI 생성 콘텐츠를 식별하도록 설계된 Microsoft의 혁신적인 AI 솔루션입니다. 이 서비스는 텍스트 및 이미지 API를 모두 포함하므로 개발자가 원치 않는 자료를 효과적으로 플래그 지정할 수 있습니다.
Azure AI Content Safety의 일부인 Groundedness 감지 API는 대규모 언어 모델의 응답이 사용자가 선택한 소스 자료에 근거하는지 확인할 수 있습니다. 현재 대규모 언어 모델은 때때로 부정확하거나 사실이 아닌 정보(종종 환각이라고 함)를 생성한다는 점을 감안할 때, 이 API는 개발자가 AI 출력에서 이러한 부정확성을 인식하도록 지원합니다.
최근 Microsoft는 개발자가 환각 콘텐츠를 실시간으로 감지하고 수정할 수 있는 수정 기능의 미리보기를 발표했습니다 . 이를 통해 최종 사용자는 사실에 입각해 정확한 AI 생성 콘텐츠를 일관되게 받을 수 있습니다.
수정 기능의 작동 방식은 다음과 같습니다.
- 애플리케이션 개발자가 수정 기능을 활성화합니다.
- 근거 없는 문장을 감지하면 생성 AI 모델에 수정을 위한 새로운 요청이 전송됩니다.
- 대규모 언어 모델은 근거가 없는 문장을 근거 문서와 비교하여 평가합니다.
- 근거 문서와 관련된 내용이 부족한 문장은 완전히 걸러질 수 있습니다.
- 근거 문서에서 내용이 발견되면, 기초 모델은 근거 없는 문장을 다시 써서 문서에 맞게 정렬합니다.
수정 기능 외에도 Microsoft는 하이브리드 Azure AI 콘텐츠 안전(AACS) 의 공개 미리보기도 도입했습니다 . 이 이니셔티브를 통해 개발자는 클라우드와 기기 모두에서 콘텐츠 안전 조치를 구현할 수 있습니다. AACS 임베디드 SDK는 인터넷 연결 없이도 기기에서 직접 실시간 콘텐츠 안전 검사를 용이하게 합니다.
또한 Microsoft는 LLM이 보호된 코드를 생성했는지 여부를 식별하기 위해 코드를 생성하는 생성 AI 애플리케이션과 함께 사용할 수 있는 Protected Materials Detection for Code 의 미리보기를 공개했습니다 . 원래 Azure OpenAI 서비스를 통해서만 액세스할 수 있었던 이 기능은 이제 코드를 생성하는 다른 생성 AI 모델과 통합할 수 있습니다.
이러한 업데이트는 AI 콘텐츠 조정 기술의 안정성과 접근성을 크게 향상시켜 다양한 플랫폼과 환경에서 더 안전하고 신뢰할 수 있는 AI 애플리케이션을 육성합니다.
답글 남기기