工程师
其他
软件测试
RAG
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

破局“黑盒”:Agent业务效果评估与迭代实战

现任国内某头部互联⽹⼤⼚(BAT)AI ⼯程负责⼈。
作为国内⾸批深耕⼤模型基模与 AI 应⽤领域的先⾏者,拥有多年的⼈⼯智能从业经验。不仅在学术
层⾯有着深厚的积淀,更在⼯程实践领域具备极⾼的造诣,精通从底层算法精调到上层业务逻辑编排的
全链路技术架构。
致⼒于将最前沿的 AI 技术转化为可落地的企业⽣产⼒,主导并参与了多项影响⾏业的 AI 战略级项
⽬。其授课⻛格以“实战性强、技术维度⾼、⾏业洞察深”著称,已为多家⼤型国企、⾦融机构及科技⻰
头提供深度 AI 赋能培训,是国内少有的兼具⼤⼚⼯程管理经验与⾏业级实战视野的复合型 AI 专家。

现任国内某头部互联⽹⼤⼚(BAT)AI ⼯程负责⼈。 作为国内⾸批深耕⼤模型基模与 AI 应⽤领域的先⾏者,拥有多年的⼈⼯智能从业经验。不仅在学术 层⾯有着深厚的积淀,更在⼯程实践领域具备极⾼的造诣,精通从底层算法精调到上层业务逻辑编排的 全链路技术架构。 致⼒于将最前沿的 AI 技术转化为可落地的企业⽣产⼒,主导并参与了多项影响⾏业的 AI 战略级项 ⽬。其授课⻛格以“实战性强、技术维度⾼、⾏业洞察深”著称,已为多家⼤型国企、⾦融机构及科技⻰ 头提供深度 AI 赋能培训,是国内少有的兼具⼤⼚⼯程管理经验与⾏业级实战视野的复合型 AI 专家。

课程费用

7800.00 /人

课程时长

3小时

课程排期

 
2026.12.05 -2026.12.05
线上

成为教练

课程简介

面对Agent行为的不确定性,传统软件测试方法正在失效。本课程直击行业痛点,系统讲授如何建立一套以“业务目标”为导向的评估体系。课程深度解析评估“三支柱”(准确性、过程合理性、成本效益),针对RAG、DeepSearch及Multi-Agent系统给出可落地的评估方案,并手把手教学员构建高质量的评测数据集。通过客服Agent从“答非所问”到真正“解决问题”的真实案例,帮助学员掌握从评估框架设计、过程归因到持续迭代的全链路能力,让Agent效果可度量、可回溯、可优化

目标收益

培训对象

课程大纲

Agent评估的困境与破局 1.1“黑盒”的挑战:为什么传统软件测试方法不适用于Agent?
1.2当前评估方法的局限性:从学术Benchmark到业务价值的鸿沟
1.3破局之道:建立以“业务目标”为导向的评估体系
1.4案例引入:一个客服Agent从“答非所问”到“解决问题”的评估迭代之路
Agent评估框架与核心指标 2.1评估框架“三支柱”
结果准确性(Accuracy):任务完成度、信息准确率、最终状态是否满足业务验收条件。
过程合理性(Reasoning):工具选择、参数正确性、步骤规划逻辑、异常恢复与循环控制。
成本效益(Efficiency):Token消耗、响应时间、调用次数、解决轮数与用户满意度。
2.2 RAG / DeepSearch类Agent评估
核心指标:知识检索准确率、答案忠实度、信息全面性、引用证据一致性。
评估实践:将“检索—推理—回答”拆层评估,结合规则校验、LLM裁判与专家抽检。
2.3 DeepSeek DSH / Harness落地评估
核心认知:Agent效果不只取决于模型,还取决于Harness、工具、插件、权限、工作区与运行环境。
评估实践:固化“任务版本—环境快照—Harness配置—运行轨迹—结果证据”,支持回放、归因与回归测试。
2.4多智能体(Multi-Agent)系统评估
评估复杂性:角色分工、任务分发、协同效率、子任务验证与最终目标达成率。
评估实践:设计工具失效、信息冲突、权限受限等对抗性测试场景,评估协同与恢复能力。
场景数据集建设实战 3.1数据集的重要性:为什么说高质量数据是Agent迭代的“燃料”?
3.2数据集建设流程
场景定义:从业务流程中挖掘核心、高频、高价值、高风险场景,并明确成功条件与禁止动作。
数据采集:真实脱敏用户日志、业务专家知识、历史Badcase、测试环境样本与数据合成。
数据标注:构建包含“问题—初始环境—关键步骤—工具调用—结果证据—答案—归因标签”的黄金数据集。
3.3案例分享:客服场景数据集构建
如何从零开始,构建覆盖业务咨询、交易查询、异常处理、工单创建与人工升级的评测数据集。
3.4总结与Q&A:如何启动你公司的第一个Agent评估项目
Agent评估的困境与破局
1.1“黑盒”的挑战:为什么传统软件测试方法不适用于Agent?
1.2当前评估方法的局限性:从学术Benchmark到业务价值的鸿沟
1.3破局之道:建立以“业务目标”为导向的评估体系
1.4案例引入:一个客服Agent从“答非所问”到“解决问题”的评估迭代之路
Agent评估框架与核心指标
2.1评估框架“三支柱”
结果准确性(Accuracy):任务完成度、信息准确率、最终状态是否满足业务验收条件。
过程合理性(Reasoning):工具选择、参数正确性、步骤规划逻辑、异常恢复与循环控制。
成本效益(Efficiency):Token消耗、响应时间、调用次数、解决轮数与用户满意度。
2.2 RAG / DeepSearch类Agent评估
核心指标:知识检索准确率、答案忠实度、信息全面性、引用证据一致性。
评估实践:将“检索—推理—回答”拆层评估,结合规则校验、LLM裁判与专家抽检。
2.3 DeepSeek DSH / Harness落地评估
核心认知:Agent效果不只取决于模型,还取决于Harness、工具、插件、权限、工作区与运行环境。
评估实践:固化“任务版本—环境快照—Harness配置—运行轨迹—结果证据”,支持回放、归因与回归测试。
2.4多智能体(Multi-Agent)系统评估
评估复杂性:角色分工、任务分发、协同效率、子任务验证与最终目标达成率。
评估实践:设计工具失效、信息冲突、权限受限等对抗性测试场景,评估协同与恢复能力。
场景数据集建设实战
3.1数据集的重要性:为什么说高质量数据是Agent迭代的“燃料”?
3.2数据集建设流程
场景定义:从业务流程中挖掘核心、高频、高价值、高风险场景,并明确成功条件与禁止动作。
数据采集:真实脱敏用户日志、业务专家知识、历史Badcase、测试环境样本与数据合成。
数据标注:构建包含“问题—初始环境—关键步骤—工具调用—结果证据—答案—归因标签”的黄金数据集。
3.3案例分享:客服场景数据集构建
如何从零开始,构建覆盖业务咨询、交易查询、异常处理、工单创建与人工升级的评测数据集。
3.4总结与Q&A:如何启动你公司的第一个Agent评估项目

课程费用

7800.00 /人

课程时长

3小时

课程排期 (更新日期:2026.11.16)

scheduling->endTime - $model->scheduling->startTime) / 86400 ) ?>
2026.12.05 -2026.12.05
线上

预约体验票 我要分享

近期公开课推荐

近期公开课推荐

关闭

活动详情

提交需求