AI系统落地 · 第 6 单元 / 共 7 单元

上线验证:上线前的效果检验

本单元承接 D01 的业务工作流,检验整条AI驱动的工作流在不同业务条件下能否合格运行,据此决定开放哪些功能。

课程目录
本页目录6 节 · 14 小节

教学示例 · 教培

外部实施团队演示了一单顺利的排班。缺学员时间、班级已满、学员不选推荐班级时,工作流能否停在对应节点,另设条件验收。

系统落地 D06 · 01

1、验收标准在运行之前确定

业务负责人在测试前写定标准

业务负责人在测试前写明资料版本、起始状态、合格动作和禁止动作。标准有争议,回到业务规定解决,避免看完系统结果之后倒推标准。

教学示例 · 教培

教师提交的试听反馈缺少学员时间,AI生成补问,档案对应字段留空。所选班级提交时已满,系统保留失败结果,交顾问重新确认,禁止自行改班登记。

教学示例

投标:招标文件缺参数时,合格表现是标出缺项、生成补问,需求清单对应字段留空。产品匹配的验收核对产品库参数和逐条偏离;报价测算的验收核对成本、价格表和库存交期,报价建议还要查历史投标和中标价。

定价决策的验收核对投标负责人对型号、报价和交货承诺的确认记录。递交节点的验收核对实质性条款的逐条响应、资质文件有效期和投标负责人确认记录,确认不全不递交。每一步的判断依据、写回结果和确认记录都进入验收。

教学示例 · 电商

换出单已建立但页面未收到结果,系统查原请求和已建记录,跟进仓库是否确认收到,禁止另建相同换出单。

每道题目记录资料版本、业务编号、起始状态和预期结果。测试人员打开原业务系统核对各节点结果、人工确认及终点记录,AI答复的“已完成”不能作为依据。

材料齐全时转人工单独统计

材料齐全却仍转人工,匹配和测算就回到员工手里,这类情况单独统计。缺资料时标明缺项、交有权岗位补充,可以是合格行为。

系统落地 D06 · 02

2、按错误后果分别设门槛

检查改错同样计入使用成本

教培的推荐班级及交接说明,对着学员档案和课表核验;投标方案,对着产品参数、价格成本和库存交期核验。检查、修改、维护花费的时间都计入使用成本。推荐理由措辞欠妥可继续优化,学员身份、金额、型号或关键选择出错,后果单列。

生成的交接说明把另一位学员资料带进本单,涉及数据和权限,不能按普通措辞问题放过。

严重办理错误出现即暂停

未经确认就办理、越权办理、重复创建,单列为严重错误。出现一次,相关动作暂停,修好重测。投标中擅改已定型号、擅作交货承诺、实质性条款漏响应却递交,也按严重错误检查。最后答复写着“已拒绝”,测试人员照样核对调用记录和业务日志,确认危险动作没有执行。

普通问答的通过条数抵消不了严重错误。普通错答允许多少、检查时间多长、试用范围多大,业务负责人事先批准。行业通用准确率不能替公司决定,测试没有出错也只能支持限定条件下试用。

暂停之后有明确的处理路径

系统拒绝越权请求,业务确有需要时,说明批准或转交路径。缺学员时间找顾问,缺投标参数或交期不满足找投标负责人,换货例外交售后主管。暂停记录写清缺什么、找谁处理,转人工后检查消息是否送达、责任人能否查看必要材料。

客户明确要求人工时,系统提供找得到的入口,记录随交接传递。法律责任与内部安排见管理层课的风险边界。

高分通过只支持限定范围试用

教学示例 · 电商

多数政策问题回答正确,但有一次换出结果不明时重复创建。负责人保留可用的查询和换货方案建议,暂停创建权限,修好防重复功能再测。

查原请求、重复点击、提交后断网、人工继续办理都达到事先批准的标准后,再决定恢复试用,并保留人工确认和运行监测。这是课程建议,测试覆盖有边界,题目全部通过只支持在限定条件下继续试用。

系统落地 D06 · 03

3、用不同条件检查同一条流程

验收题目覆盖不同业务条件

验收题目至少覆盖日常办理、关键信息缺失、资料过期、同名对象、规定冲突、无权限和工具没有返回。同一句话换几种说法,覆盖没有扩大。正常单从业务事件触发开始,查到终点:班级负责人确认接收、标书按时递交或客户确认收到报价、换出商品发出后客户收到通知。

工具:工作流验收记录,可以直接复制使用;每题附资料版本、业务编号、起始状态、禁止动作、实际结果、判定及负责人。

起始条件合格表现核对位置
学员时间未明确AI补问,时间字段留空,暂不登记学员档案、排班记录
所选班级已满系统拦住登记,交顾问重新确认班级容量、确认页
学员不选推荐班级退回匹配节点重排,不直接登记班级选择、匹配结果
招标文件缺参数AI标出缺项、生成补问,字段留空招标文件、需求清单
产品库无满足型号退回匹配节点重选,不擅改已定型号产品库、偏离清单
库存或交期不满足退回匹配节点,重选后重新测算库存交期、供货安排
产品参数有偏离AI逐条列出,投标负责人确认时可见参数比对、偏离表
资质文件已过期系统不附过期文件,标明待补资质资质文件、有效期
实质性条款漏响应AI逐条核对,未响应项列在确认页,确认不全不递交实质性条款、递交记录
换货属于例外AI标出例外,交售后主管确认原单、换货规则、确认记录
退件已签收未验收等仓库验收,不建换出单,保留已知进度验收记录、换出单

产品库没有满足参数的型号时,需求清单和已查到的偏离项保存在本项目,退回匹配节点重选;系统保留可靠依据,待解决的条件单列。

表中是教学条件,实际报名条件、报价权限和换货资格由业务负责人确认。

旧版课程范围的提问检查现行依据和适用条件。没有人工确认就要求换出的,检查权限是否拦住;创建换出单后页面没有回音的,检查是否沿原请求核对。客户附件中的越权指令也列入测试,既查答复,也查实际办理入口是否被调用。

状态变化在测试环境中验证

名额查询时可报、提交时满班,检验的是登记节点能否停止。写入已成立、返回中途丢失,检验的是系统能否找回原结果。请求未发出和提交后没有返回,恢复办法不同,故障发生在哪个节点都记清。

原则上使用隔离环境和模拟数据。确需在真实系统验证,公司另行批准对象、权限、时间和恢复安排,真实客户资金和发货不能随意用于测试。

相同起点才能比较修复效果

满班处理修好后,班级已经空出位置,重测结果便无法比较。测试记录保留可重现的条件,必要时重建测试对象,分清原单和新测试单。

改资料后复测引出旧条款的题目,改计算后复测缺值和零分母,改连接后复测权限、超时和重复办理。实际岗位账号也跑一遍,避免管理员权限掩盖问题。受影响题目之外,保留整条工作流的核心检查。

改动后复查覆盖节点实际结果

腾讯云《ADP前沿部署工程师(FDE)认证课程》第4章相关内容介绍单次调试、批量评测和改动后检查,并关注工具调用与最终结果。中文课程页面。相关内容面向平台应用开发,使用时还要核当前产品版本。

本文把检查思路用于三条工作流。具体题量与门槛由业务范围、后果和已知异常决定,某个平台提供评测功能的事实,仅说明可以用它组织检查。

系统落地 D06 · 04

4、定位错误后只修对应环节

错误定位从最早出错节点开始

测试人员按节点查数据版本、查询结果、判断依据、写回内容和下一岗位接收情况。教培推荐错班,区分课表容量、筛选条件和排序方法;投标选错型号,区分需求解析、产品库参数和选型技能包。资料错交资料维护人,判断分歧交业务负责人,重复提交交外部实施团队。

一条问题可有多个原因。明确的前置错误修好后重跑后续节点,避免在错误输入上反复改措辞。原问题、相关片段和系统返回内容保留下来,敏感内容仅向修复人员开放。

修正记录同时写明出错条件

把“已发出”改为“等待验收”,旁边写明仓库尚无验收结果;漏列产品偏离,记录原参数、比对结果和出错节点。这些条件进入后续检查,帮助判断改资料、技能包还是数据连接。

公开实践

据腾讯科技2025年7月报道,一家鞋类中小品牌的客服负责人试用第三方客服AI后停止试用。负责人提到维护对话场景的额外工作,报道也记录了未节省人工、转化下降的说法,均为负责人自述。

这个个案提示验收还要看经办人的维护负担。停用是受访负责人的判断,课程不用它推断所有客服工具的效果。

维护工作同样计入试用成本

出处:《“你是听不懂人话吗?”人工智能客服逼疯消费者,打工人“背锅”》,腾讯科技特约报道,2025年7月10日。中文全文。受访者使用化名,报道缺少第三方效果核验。负责人自述每天整理前一天差评或转人工较多的场景,重新输入系统。本文仅采用“持续维护需要人工”这一经验,不沿用其个案阈值作为其他公司的验收标准。

验收结论写清已开放的动作

验收结论逐项列明可用的数据查询、班级或投标方案建议、通过检查的办理动作,以及继续走人工的节点。每项附测试条件和结果,员工据此判断能否使用。

严重错误未修复的动作继续关闭,已经通过的查询保留。负责人确认已知问题、处理岗位和复查条件后,启动小范围运行;运行中的真实问题加入后续检查。

一句话记住工作流在缺项、退回和故障时,每个节点的动作各有可查的验收记录。

下一单元试用管控:小范围试用的暂停机制。通过检查的部分进入日常工作,并保留员工能照着继续办理的办法。

系统落地 D06 · 05

5、业务示例要查节点动作

下面按教培售前、耗材供应商投标方案、电商售后三个业务,检查不同条件下各节点的动作。

按业务条件验收整条AI驱动的工作流
按业务条件验收整条AI驱动的工作流 · 示意图

教培排班先查登记条件

教师提交的试听反馈缺少学员时间,AI生成补问,档案对应字段留空。所选班级提交时已满,系统保留失败结果,交顾问重新确认,禁止自行改班登记。

教培售前:试听到排班
教培售前:试听到排班 · 示意图

投标方案逐项检查递交条件

产品匹配的验收核对产品库参数和逐条偏离;报价测算的验收核对成本、价格表和库存交期,报价建议还要查历史投标和中标价。递交节点的验收核对实质性条款的逐条响应、资质文件有效期和投标负责人确认记录,确认不全不递交。

耗材供应商:招标文件到标书递交
耗材供应商:招标文件到标书递交 · 示意图

换货未验收时不建换出单

退件已签收未验收时,等仓库验收,不建换出单,保留已知进度。

电商售后:换货
电商售后:换货 · 示意图

系统落地 D06 · 06

参考文献

  1. 腾讯云《ADP前沿部署工程师(FDE)认证课程》第4章相关内容。中文课程页面。
  2. 《“你是听不懂人话吗?”人工智能客服逼疯消费者,打工人“背锅”》,腾讯科技特约报道,2025年7月10日。中文全文。

想把课里的做法用到你们公司?

从选第一件交给AI的事,到备资料、拆流程、接系统、上线试用,我们可以和你一起梳理、一起落地。扫码加微信咨询,也可发邮件至 fuyuanhui@kexinjinke.com。

微信咨询二维码

微信扫码 / 长按识别