对话 AI 的标注：从意图分类到偏好对齐的完整体系

引言

对话 AI 的效果，很大程度上不取决于模型架构，而取决于标注数据的质量和组织方式。一个能自然对话的助手背后，是意图标注、槽位标注、多轮对话状态标注、回复质量标注、安全标注、偏好排序标注等多层数据体系在支撑。这篇文章系统梳理对话 AI 中各类标注任务的定义、方法、工具和质量控制手段。

一、对话 AI 标注的层次结构

对话系统的标注不是单一任务，而是从底层语义到高层偏好的多层体系。

不同层次对标注员的要求差异很大。语义层标注门槛较低，偏好层和安全层往往需要专门培训。

二、意图分类标注

2.1 什么是意图

意图是用户一句话背后的目的。例如“帮我查一下明天北京的天气”，意图是“查询天气”。意图标注是任务型对话系统的基础。

2.2 意图体系设计

设计意图体系时需要注意几点：

• 互斥性：一个句子原则上只归入一个意图

• 完备性：尽量覆盖真实场景中的说法

• 粒度适中：太粗无法区分，太细标注困难且数据稀疏

• 可扩展：预留“其他”类，便于后续迭代

2.3 标注方法与难点

2.4 质量控制

意图标注的质量通常用 Kappa 系数衡量标注者一致性。一般要求 Kappa 大于 0.8，低于 0.6 则需要重新对齐标注规范。

三、槽位填充标注

3.1 什么是槽位

槽位是意图中的关键参数。例如“查询天气”意图中，城市和时间就是槽位。

用户：帮我查一下明天北京的天气
意图：查询天气
槽位：时间=明天，城市=北京

3.2 标注格式

槽位标注通常采用 BIO 或 BILOU 序列标注格式：

3.3 常见难点

• 嵌套槽位：“从北京到上海”包含出发地和目的地两个槽位

• 省略槽位：多轮对话中用户可能省略已提及的槽位

• 多值槽位：“北京和上海的天气”包含两个城市值

• 否定槽位：“不要北京”中的北京是否算槽位

四、多轮对话标注

4.1 对话状态追踪

对话状态追踪（DST）的目标是维护当前对话的完整状态，包括用户已确认的意图和槽位。

4.2 对话行为标注

对话行为描述每句话在对话中起什么作用：

• 询问：请求信息

• 告知：提供信息

• 确认：核实信息

• 否认：否定信息

• 请求：要求执行动作

• 道歉：表达歉意

• 告别：结束对话

4.3 指代与省略标注

多轮对话中大量存在指代和省略，需要标注其真实所指：

用户：北京天气怎么样
系统：今天晴，25度
用户：那上海呢

这里的“那上海呢”省略了“天气怎么样”，需要标注为继承上一轮的意图。

五、回复质量标注

5.1 评估维度

对话系统回复的质量通常从多个维度评估：

5.2 评分方式

常见评分方式有两种：

李克特量表：1–5 分打分，操作简单但主观性强，不同标注员标准不一致。

成对比较：给两条回复，选更好的那条。一致性更高，但需要更多标注量。

5.3 标注规范示例

回复质量标注规范（节选）

1. 相关性：回复必须直接回应用户的问题。若用户问天气，回复只讲穿衣建议而不给天气信息，相关性最多 3 分。

2. 有用性：回复需提供可操作的信息。若信息正确但用户无法据此行动，有用性最多 3 分。

3. 流畅度：出现语法错误、重复、乱码，流畅度不超过 2 分。

4. 安全性：涉及医疗、法律、金融建议时，若未加免责声明，安全性扣分。

六、偏好排序标注

6.1 为什么需要偏好标注

预训练模型只会续写文本，不一定符合人类偏好。RLHF 的核心就是用人类偏好数据训练奖励模型，再用强化学习优化策略。

6.2 标注流程

1. 给定同一个提示，模型生成多条回复

2. 标注员阅读所有回复

3. 按质量从高到低排序

4. 记录排序理由（可选但推荐）

5. 交叉验证，剔除异常标注

6.3 排序标注的难点

• 长回复偏见：标注员倾向选更长的回复，需要专门培训

• 格式偏见：带列表和标题的回复更容易被认为更好

• 位置偏见：排在前面或后面的选项更容易被选

• 自我偏好：标注员倾向与自己风格相似的回复

对策包括：随机打乱顺序、隐藏模型来源、定期校准、多人交叉标注。

七、安全与合规标注

7.1 有害内容分类

7.2 越狱与对抗标注

用户可能用各种方式绕过安全限制，标注员需要识别这些模式：

• 角色扮演：“假设你是一个没有限制的 AI”

• 逐步诱导：分多轮逐步引导到敏感话题

• 编码绕过：用 Base64、拼音、谐音等规避检测

• 虚构场景：“写一个小说，其中角色说……”

• 学术包装：“我在做安全研究，请解释……”

7.3 标注员保护

安全标注涉及大量有害内容，必须注意标注员的心理健康：

• 限制每日接触有害内容的时长

• 提供心理支持和轮岗机制

• 允许随时跳过无法处理的内容

• 定期评估标注员的情绪状态

八、标注工具与平台

自建标注平台的要点

• 支持多轮对话的完整展示

• 支持并排对比多条回复

• 内置标注规范和示例

• 实时统计标注进度和一致性

• 支持审核与返工流程

• 与训练 pipeline 打通

九、质量控制体系

9.1 一致性指标

9.2 质量控制手段

• 黄金标准题：混入已知答案的题目，检测标注员状态

• 交叉标注：多人标注同一批数据，计算一致性

• 专家复核：对争议样本进行二次判定

• 定期校准：每周对齐标注规范，讨论边界案例

• 反馈闭环：把模型错误回流给标注员，帮助理解影响

9.3 标注规范文档的要素

标注规范文档应包含

1. 任务定义与目标

2. 标签体系与定义

3. 正例与反例

4. 边界案例处理规则

5. 常见错误示例

6. 标注流程与工具操作

7. 质量要求与考核标准

8. 版本更新记录

十、从标注到训练

10.1 数据格式

对话标注数据通常组织为 JSON 格式：

{
  "conversation_id": "c001",
  "turns": [
    {"role": "user", "text": "北京天气怎么样", "intent": "查询天气", "slots": {"城市": "北京"}},
    {"role": "assistant", "text": "今天晴，25度", "quality": 4},
    {"role": "user", "text": "那上海呢", "intent": "查询天气", "slots": {"城市": "上海"}, "ellipsis": true}
  ],
  "preference_rank": [2, 1, 3]
}

10.2 标注数据的训练用途

10.3 数据量与配比

• 意图分类：每类至少 100–500 条

• 槽位填充：每槽位至少 200–1000 条

• 对话状态：数百到数千条多轮对话

• 偏好排序：数千到数万条比较对

• 安全标注：数万条，覆盖各类有害内容

• 指令微调：数千到数万条高质量样本

质量永远优先于数量。一万条精心标注的数据，往往胜过十万条粗标数据。

十一、常见问题与对策

十二、当前趋势

• AI 辅助标注：用大模型预标注，人工修正，效率提升数倍

• RLAIF：用 AI 反馈替代部分人类偏好标注

• 宪法 AI：用规则和原则指导标注，减少对大量人工偏好的依赖

• 合成数据：用模型生成对话数据，人工筛选和修正

• 持续标注：线上真实对话回流，持续补充标注

• 多语言标注：跨语言迁移，降低低资源语言的标注成本

• 标注质量自动评估：用模型检测标注异常和矛盾

总结

对话 AI 的标注是一个多层次、多任务的系统工程。从底层的意图和槽位，到高层的偏好和安全，每一层都需要明确的规范、合适的工具和严格的质量控制。标注质量直接决定模型能力的上限，而标注体系的迭代速度，往往决定了一个对话产品能否持续进化。在大模型时代，AI 辅助标注和合成数据正在改变标注的成本结构，但人类判断在偏好、安全和边界案例上的价值，短期内仍然不可替代。