微软发布新工具：用于检测和纠正人工智能输出中的幻觉内容

Azure AI 内容安全是微软推出的一项人工智能服务，可检测应用程序和服务中用户生成和人工智能生成的有害内容。它提供文本和图像 API，允许开发人员识别不需要的材料。

Azure AI 内容安全中的基础性检测 API 可以确定大型语言模型的响应是否基于用户选择的源材料。由于目前的大型语言模型可能会产生不准确或非事实信息（幻觉），因此该 API 可帮助开发人员识别人工智能输出中的此类内容。

今天，微软公布了修正功能的预览版。开发人员现在可以实时检测和修正人工智能输出中的幻觉内容，确保最终用户始终收到事实准确的人工智能生成内容。

以下是校正功能的工作原理：

• 应用程序开发人员可启用修正功能。
• 当检测到一个未接地句子时，就会向生成式人工智能模型发送一个新的更正请求。
• LLM 会根据基础文档对未接地句子进行评估。
• 没有与基础文档相关内容的句子可能会被完全过滤掉。
• 如果内容来自基础文档，基础模型将重写未接地句子，使其与文档保持一致。

除了修正功能，微软还宣布了混合 Azure AI 内容安全（AACS）的公开预览版。这允许开发人员在云端和设备上部署内容安全机制。AACS 的嵌入式 SDK 可以直接在设备上进行实时内容安全检查，即使没有互联网连接也可以。

最后，微软宣布推出代码受保护材料检测预览版，可与生成代码的人工智能应用程序一起使用，检测 LLM 是否生成了任何受保护的代码。该功能以前只能通过 Azure OpenAI 服务使用。现在，微软将此功能提供给客户，以便与其他生成代码的人工智能模型结合使用。

这些更新增强了人工智能内容管理的可靠性和可访问性，促进了跨各种平台和环境的更安全、更可信的人工智能应用。