核心结论
类别定义要写成可操作规则,附边界例子和反例。低置信度或多标签时进人工确认队列,不强行选一个。人工重新分类要保留原分类、修改人和原因,错误样本回流到评估集。分类只负责路由,紧急程度和客户情绪要单独判断。

设想这样的业务场景:客户在售后表单里写:“上周买的机器坏了,申请退款。”AI 把它分到“产品咨询”。这个类别默认分给售前组,售前组每天处理上百条咨询,两天后才有人点开,发现是要退款,而且客户已经发了第二封催促邮件。
错误可能出在类别定义、样本或模型判断,不能仅凭一次输出推断原因。这个例子里,系统也没有给不确定结果安排人工确认,错误分类就直接变成了错误路由。
如果模型输出“置信度”,先验证这个分数是否能区分实际错分。模型自报的高分不能直接当作已校准的正确概率。阈值与自动分派范围应由标注样本、错误后果和人工接手能力共同决定。
分类的目标是路由,不是贴标签
工单分类不是为了给每条记录一个漂亮的标签,而是为了把它送到能处理的人手里。类别决定了处理组、时限、权限和后续动作。分错的代价不是“标签不好看”,而是“对的人没看到”。
所以类别设计要从“谁处理、多久处理、需要什么权限”倒推,而不是从“我们想知道哪些主题”出发。一个类别如果不对应任何处理组或动作,可能根本不需要。
类别定义要能操作
只有类别名称不够。“退款退货”这四个字,不同的人理解不同:有人认为是客户提出退款申请,有人认为必须已经寄回商品。
每个类别至少写四样:
- 定义:什么情况下归入这一类,用业务语言。
- 边界例子:三个典型工单,说明为什么属于这一类。
- 反例:两个容易混淆但不属于的情况,说明应归到哪一类。
- 处理去向:默认分给哪个组,是否需要人工确认,时限是多少。
边界例子和反例比定义本身更有用。它们让 AI 和人使用同一套判断,也让新员工能快速上手。
低置信度与多标签
当 AI 无法确定类别时,不要逼它选一个。可以输出两个候选类别和各自理由,进入人工确认队列。
多标签也有用:一条工单既涉及退款又涉及物流损坏,可以同时带两个标签,但必须有一个主类别决定路由。主类别由 AI 建议、人确认,或者按规则决定。
置信度阈值不要拍脑袋定。先用一批历史工单测试:高置信度里有多少分错,低置信度里有多少其实是对的。阈值的目标不是让 AI 少干活,而是让错分尽量落在人工能接住的地方。
人工确认放在哪里
人工确认有三种位置:
事前确认:所有工单先由人看一眼再分派。准确率高,但人力成本大,适合高风险或低量场景。
低置信确认:只把低置信、多标签和规则冲突的工单送人工。多数工单自动分派,少量进复核队列。这是最常见的折中。
事后抽查:工单先按 AI 分类处理,定期抽查。适合量大、错误可逆、处理组之间能互相转交的场景。
无论哪种,人工确认界面都要显示客户原话、AI 候选类别和理由,而不是只显示一个类别名。确认人改分类时,要能一眼看到改前改后。
重新分类与反馈
人机交互研究中的 G9建议让用户便于纠正 AI 错误。工单改类入口是这项原则的一种业务实现。
人工把工单从“产品咨询”改到“退款退货”,这个动作要留下:原分类、新分类、修改人、时间、原因。
原因不要做成自由文本了事,可以提供几个选项:关键词误判、类别边界不清、客户表达含糊、规则冲突。自由文本补一句更好,但选项让统计成为可能。
错误样本要回流到评估集。每周或每月取一批分错和被人工改过的工单,重新测试分类规则或提示。没有回流,分类模型会一直犯同样的错,而团队只觉得“AI 不好用”。
紧急程度不能只看类别
退款、投诉、安全相关的问题,往往需要更快响应。但紧急程度不完全由类别决定:同一类别里,客户已经催促三次的和刚提交的,优先级不同。
建议把“类别”和“紧急程度”分开判断。类别决定谁处理,紧急程度决定多快处理。不要把“投诉”设成唯一的高优先类别,否则真正的安全事故可能被归到普通咨询。
客户情绪也要谨慎处理。AI 可以标记“客户表达强烈不满”,但不应据此自动升级为投诉或承诺赔偿。情绪判断只作为提示,由人决定。
假设分类表
类别 | 定义 | 边界例子 | 反例 | 默认处理组 | 人工确认 |
|---|---|---|---|---|---|
产品咨询 | 售前了解功能、价格、适配 | 问某型号是否支持某接口 | 已购买后的故障 | 售前 | 低置信时 |
订单物流 | 查询订单状态、发货、地址变更 | 问发货时间、改收货地址 | 商品损坏要求退款 | 订单组 | 低置信时 |
退款退货 | 提出退款、退货、换货 | 机器故障申请退款 | 仅询问退款政策 | 售后组 | 建议全部确认 |
投诉建议 | 对服务、人员或流程表达不满 | 投诉安装延迟 | 单纯询问进度 | 客服主管 | 建议全部确认 |
表格不是分类模型的训练数据,而是人与 AI 共用的判断依据。类别变化时,表要跟着更新,历史工单的类别不必重写,但要记录规则从何时改变。
把分错与拿不准的工单留给复核
【AI 工单分类核对清单】
一、类别
- 每个类别是否有定义、边界例子和反例:
- 类别是否对应明确的处理组和时限:
- 没有处理去向的类别是否必要:
二、不确定
- 低置信度工单是否进入人工队列:
- 多标签是否有主类别决定路由:
- 人工界面是否显示原话与候选理由:
三、纠正与反馈
- 重新分类是否记录原分类、新分类、人和原因:
- 错误样本是否定期回流评估:
- 类别或规则变化是否有版本记录:
四、优先级
- 紧急程度是否与类别分开判断:
- 安全、投诉、退款是否有独立升级规则:
- 客户情绪是否只作提示,不自动承诺:先拿过去一周被人工改过分类的工单,看看错误集中在哪些类别边界。如果同一个边界反复出错,先改定义,不要先换模型。分类之后什么时候该转人工,是另一项判断;本文只处理分类与路由。分派规则与响应时限的设计,见咨询怎么自动分派到对的人。客服自动应答的链路,见客服高频问题自动应答。工单分类与人工复核工作流的具体范围,可以在AI 应用与流程里讨论。