跳到正文
观点文章/文章详情

AI 给工单分类,分错和拿不准时怎么办?

核心结论

类别定义要写成可操作规则,附边界例子和反例。低置信度或多标签时进人工确认队列,不强行选一个。人工重新分类要保留原分类、修改人和原因,错误样本回流到评估集。分类只负责路由,紧急程度和客户情绪要单独判断。

AI 把退款工单误分为产品咨询,人工改到退款处理并记录原因,错误样本回流评估

设想这样的业务场景:客户在售后表单里写:“上周买的机器坏了,申请退款。”AI 把它分到“产品咨询”。这个类别默认分给售前组,售前组每天处理上百条咨询,两天后才有人点开,发现是要退款,而且客户已经发了第二封催促邮件。

错误可能出在类别定义、样本或模型判断,不能仅凭一次输出推断原因。这个例子里,系统也没有给不确定结果安排人工确认,错误分类就直接变成了错误路由。

如果模型输出“置信度”,先验证这个分数是否能区分实际错分。模型自报的高分不能直接当作已校准的正确概率。阈值与自动分派范围应由标注样本、错误后果和人工接手能力共同决定。

分类的目标是路由,不是贴标签

工单分类不是为了给每条记录一个漂亮的标签,而是为了把它送到能处理的人手里。类别决定了处理组、时限、权限和后续动作。分错的代价不是“标签不好看”,而是“对的人没看到”。

所以类别设计要从“谁处理、多久处理、需要什么权限”倒推,而不是从“我们想知道哪些主题”出发。一个类别如果不对应任何处理组或动作,可能根本不需要。

类别定义要能操作

只有类别名称不够。“退款退货”这四个字,不同的人理解不同:有人认为是客户提出退款申请,有人认为必须已经寄回商品。

每个类别至少写四样:

  1. 定义:什么情况下归入这一类,用业务语言。
  2. 边界例子:三个典型工单,说明为什么属于这一类。
  3. 反例:两个容易混淆但不属于的情况,说明应归到哪一类。
  4. 处理去向:默认分给哪个组,是否需要人工确认,时限是多少。

边界例子和反例比定义本身更有用。它们让 AI 和人使用同一套判断,也让新员工能快速上手。

低置信度与多标签

当 AI 无法确定类别时,不要逼它选一个。可以输出两个候选类别和各自理由,进入人工确认队列。

多标签也有用:一条工单既涉及退款又涉及物流损坏,可以同时带两个标签,但必须有一个主类别决定路由。主类别由 AI 建议、人确认,或者按规则决定。

置信度阈值不要拍脑袋定。先用一批历史工单测试:高置信度里有多少分错,低置信度里有多少其实是对的。阈值的目标不是让 AI 少干活,而是让错分尽量落在人工能接住的地方。

人工确认放在哪里

人工确认有三种位置:

事前确认:所有工单先由人看一眼再分派。准确率高,但人力成本大,适合高风险或低量场景。

低置信确认:只把低置信、多标签和规则冲突的工单送人工。多数工单自动分派,少量进复核队列。这是最常见的折中。

事后抽查:工单先按 AI 分类处理,定期抽查。适合量大、错误可逆、处理组之间能互相转交的场景。

无论哪种,人工确认界面都要显示客户原话、AI 候选类别和理由,而不是只显示一个类别名。确认人改分类时,要能一眼看到改前改后。

重新分类与反馈

人机交互研究中的 G9建议让用户便于纠正 AI 错误。工单改类入口是这项原则的一种业务实现。

人工把工单从“产品咨询”改到“退款退货”,这个动作要留下:原分类、新分类、修改人、时间、原因。

原因不要做成自由文本了事,可以提供几个选项:关键词误判、类别边界不清、客户表达含糊、规则冲突。自由文本补一句更好,但选项让统计成为可能。

错误样本要回流到评估集。每周或每月取一批分错和被人工改过的工单,重新测试分类规则或提示。没有回流,分类模型会一直犯同样的错,而团队只觉得“AI 不好用”。

紧急程度不能只看类别

退款、投诉、安全相关的问题,往往需要更快响应。但紧急程度不完全由类别决定:同一类别里,客户已经催促三次的和刚提交的,优先级不同。

建议把“类别”和“紧急程度”分开判断。类别决定谁处理,紧急程度决定多快处理。不要把“投诉”设成唯一的高优先类别,否则真正的安全事故可能被归到普通咨询。

客户情绪也要谨慎处理。AI 可以标记“客户表达强烈不满”,但不应据此自动升级为投诉或承诺赔偿。情绪判断只作为提示,由人决定。

假设分类表

类别

定义

边界例子

反例

默认处理组

人工确认

产品咨询

售前了解功能、价格、适配

问某型号是否支持某接口

已购买后的故障

售前

低置信时

订单物流

查询订单状态、发货、地址变更

问发货时间、改收货地址

商品损坏要求退款

订单组

低置信时

退款退货

提出退款、退货、换货

机器故障申请退款

仅询问退款政策

售后组

建议全部确认

投诉建议

对服务、人员或流程表达不满

投诉安装延迟

单纯询问进度

客服主管

建议全部确认

表格不是分类模型的训练数据,而是人与 AI 共用的判断依据。类别变化时,表要跟着更新,历史工单的类别不必重写,但要记录规则从何时改变。

把分错与拿不准的工单留给复核

【AI 工单分类核对清单】

一、类别
- 每个类别是否有定义、边界例子和反例:
- 类别是否对应明确的处理组和时限:
- 没有处理去向的类别是否必要:

二、不确定
- 低置信度工单是否进入人工队列:
- 多标签是否有主类别决定路由:
- 人工界面是否显示原话与候选理由:

三、纠正与反馈
- 重新分类是否记录原分类、新分类、人和原因:
- 错误样本是否定期回流评估:
- 类别或规则变化是否有版本记录:

四、优先级
- 紧急程度是否与类别分开判断:
- 安全、投诉、退款是否有独立升级规则:
- 客户情绪是否只作提示,不自动承诺:

先拿过去一周被人工改过分类的工单,看看错误集中在哪些类别边界。如果同一个边界反复出错,先改定义,不要先换模型。分类之后什么时候该转人工,是另一项判断;本文只处理分类与路由。分派规则与响应时限的设计,见咨询怎么自动分派到对的人。客服自动应答的链路,见客服高频问题自动应答。工单分类与人工复核工作流的具体范围,可以在AI 应用与流程里讨论。

类别确定后,还要定义何时转人工,并用异常验收题验证错误会进入可处理的队列。

资料来源

聊聊你的项目

网站 / 业务系统 / AI 应用

企业微信咨询