微软开源多项工具和数据集审计AI驱动的内容审核系统

今天微软宣布多项工具和数据集开源 ，这些工具旨在审计 AI 驱动的内容审核系统，以及自动编写突出显示 AI 模型中潜在错误的测试。微软表示 AdaTest 和(De)ToxiGen 项目可以产生更可靠的大型语言模型 (LLMs)，或者类似于 OpenAI 的 GPT-3的模型，用于分析和生成具有人类水平复杂性的文本。

目前 LLMs 存在诸多风险。因为这些模型经过了大量来自于互联网(包括社交媒体)的数据培训，因此它们在训练过程中可能会遇到有毒文本(toxic text)。由于重新训练模型的成本以及存在的大量错误，发现和修复这些模型中的缺陷仍然是一个挑战。

为了解决毒性问题，Microsoft Research 团队开发了 ToxiGen，这是一个用于训练可用于标记有害语言的内容审核工具的数据集。据微软称，ToxiGen 包含 274,000 个“中性”(neutral)和“有毒”(toxic)陈述的示例，使其成为最大的公开仇恨言论数据集之一。

为了生成样本，Microsoft Research 团队提供了一个针对 13 个少数群体的“中性”陈述和仇恨言论的 LLM 示例，这些群体包括黑人、身体和认知障碍者、穆斯林、亚洲人、拉丁裔、LGBTQ+ 和美洲原住民。这些陈述来自现有的数据集以及新闻文章、观点文章、播客记录和其他类似的公共文本来源。

微软团队解释说，用于创建 ToxiGen 语句的过程被称为 (De)ToxiGen，旨在通过指导 LLM 生成工具可能错误识别的语句来揭示特定审核工具的弱点。通过对三个人工编写的毒性数据集的研究，该团队发现从一个工具开始并使用 ToxiGen 对其进行微调可以“显着”提高该工具的性能。

关键词： 数据集开源 内容审核系统 大型语言模型 公共文本来源