课程简介
面对Agent行为的不确定性,传统软件测试方法正在失效。本课程直击行业痛点,系统讲授如何建立一套以“业务目标”为导向的评估体系。课程深度解析评估“三支柱”(准确性、过程合理性、成本效益),针对RAG、DeepSearch及Multi-Agent系统给出可落地的评估方案,并手把手教学员构建高质量的评测数据集。通过客服Agent从“答非所问”到真正“解决问题”的真实案例,帮助学员掌握从评估框架设计、过程归因到持续迭代的全链路能力,让Agent效果可度量、可回溯、可优化
目标收益
培训对象
课程大纲
| Agent评估的困境与破局 |
1.1“黑盒”的挑战:为什么传统软件测试方法不适用于Agent? 1.2当前评估方法的局限性:从学术Benchmark到业务价值的鸿沟 1.3破局之道:建立以“业务目标”为导向的评估体系 1.4案例引入:一个客服Agent从“答非所问”到“解决问题”的评估迭代之路 |
| Agent评估框架与核心指标 |
2.1评估框架“三支柱” 结果准确性(Accuracy):任务完成度、信息准确率、最终状态是否满足业务验收条件。 过程合理性(Reasoning):工具选择、参数正确性、步骤规划逻辑、异常恢复与循环控制。 成本效益(Efficiency):Token消耗、响应时间、调用次数、解决轮数与用户满意度。 2.2 RAG / DeepSearch类Agent评估 核心指标:知识检索准确率、答案忠实度、信息全面性、引用证据一致性。 评估实践:将“检索—推理—回答”拆层评估,结合规则校验、LLM裁判与专家抽检。 2.3 DeepSeek DSH / Harness落地评估 核心认知:Agent效果不只取决于模型,还取决于Harness、工具、插件、权限、工作区与运行环境。 评估实践:固化“任务版本—环境快照—Harness配置—运行轨迹—结果证据”,支持回放、归因与回归测试。 2.4多智能体(Multi-Agent)系统评估 评估复杂性:角色分工、任务分发、协同效率、子任务验证与最终目标达成率。 评估实践:设计工具失效、信息冲突、权限受限等对抗性测试场景,评估协同与恢复能力。 |
| 场景数据集建设实战 |
3.1数据集的重要性:为什么说高质量数据是Agent迭代的“燃料”? 3.2数据集建设流程 场景定义:从业务流程中挖掘核心、高频、高价值、高风险场景,并明确成功条件与禁止动作。 数据采集:真实脱敏用户日志、业务专家知识、历史Badcase、测试环境样本与数据合成。 数据标注:构建包含“问题—初始环境—关键步骤—工具调用—结果证据—答案—归因标签”的黄金数据集。 3.3案例分享:客服场景数据集构建 如何从零开始,构建覆盖业务咨询、交易查询、异常处理、工单创建与人工升级的评测数据集。 3.4总结与Q&A:如何启动你公司的第一个Agent评估项目 |
|
Agent评估的困境与破局 1.1“黑盒”的挑战:为什么传统软件测试方法不适用于Agent? 1.2当前评估方法的局限性:从学术Benchmark到业务价值的鸿沟 1.3破局之道:建立以“业务目标”为导向的评估体系 1.4案例引入:一个客服Agent从“答非所问”到“解决问题”的评估迭代之路 |
|
Agent评估框架与核心指标 2.1评估框架“三支柱” 结果准确性(Accuracy):任务完成度、信息准确率、最终状态是否满足业务验收条件。 过程合理性(Reasoning):工具选择、参数正确性、步骤规划逻辑、异常恢复与循环控制。 成本效益(Efficiency):Token消耗、响应时间、调用次数、解决轮数与用户满意度。 2.2 RAG / DeepSearch类Agent评估 核心指标:知识检索准确率、答案忠实度、信息全面性、引用证据一致性。 评估实践:将“检索—推理—回答”拆层评估,结合规则校验、LLM裁判与专家抽检。 2.3 DeepSeek DSH / Harness落地评估 核心认知:Agent效果不只取决于模型,还取决于Harness、工具、插件、权限、工作区与运行环境。 评估实践:固化“任务版本—环境快照—Harness配置—运行轨迹—结果证据”,支持回放、归因与回归测试。 2.4多智能体(Multi-Agent)系统评估 评估复杂性:角色分工、任务分发、协同效率、子任务验证与最终目标达成率。 评估实践:设计工具失效、信息冲突、权限受限等对抗性测试场景,评估协同与恢复能力。 |
|
场景数据集建设实战 3.1数据集的重要性:为什么说高质量数据是Agent迭代的“燃料”? 3.2数据集建设流程 场景定义:从业务流程中挖掘核心、高频、高价值、高风险场景,并明确成功条件与禁止动作。 数据采集:真实脱敏用户日志、业务专家知识、历史Badcase、测试环境样本与数据合成。 数据标注:构建包含“问题—初始环境—关键步骤—工具调用—结果证据—答案—归因标签”的黄金数据集。 3.3案例分享:客服场景数据集构建 如何从零开始,构建覆盖业务咨询、交易查询、异常处理、工单创建与人工升级的评测数据集。 3.4总结与Q&A:如何启动你公司的第一个Agent评估项目 |
近期公开课推荐