课程简介
本课程从流行的AI大模型技术架构出发,解析了在AI大模型时代的性能工程理论知识,分析了AI大模型时代的性能项目实施流程和性能分析决策树的创建思路及具体操作,同时也给出了性能瓶颈证据链的创建过程。
从AI大模型应用的性能需求、性能环境、性能执行、性能监控、性能分析、性能报告等七个角度详细拆解大模型应用的性能评估流程。
分析了大模型应用的性能参数和性能指标,并结合AI编程工具展示性能分析的思路。
结合AI大模型技术,在本课程中给出了企业级AI大模型性能压测平台的架构设计思路及功能列表。
结合AI大模型微调技术,展示如何微调出企业级性能分析的自有大模型,以提供针对业务特征的企业性能分析思路。
目标收益
通过本课程的学习,使用AI大模型的技术栈带领学员具体操作,让学员掌握AI大模型时代的性能分析技术
培训对象
此课程适合于IT项目经理、AI应用开发工程师、AI应用架构工程师、AI应用性能分析工程师、AI应用性能测试工程师、AI应用运维人员
课程大纲
| 概述 |
1.大模型与性能工程的关系 2.大模型是否改变了性能分析逻辑? 3.RAG、agent、fine-tuning该如何选择 |
| AI大模型应用的常见技术架构 |
1.软件部分 2.硬件部分 3.大模型应用的分类 4.常见AI大模型技术架构 4.1.1.RAG技术架构 4.1.2.Agent技术架构 4.1.3.微调大模型技术架构 5.MCP协议 6.AI大模型应用架构选型 |
| AI大模型软硬件选型 |
1.AI芯片选型 2.显卡选型 |
| 大模型训练成本计算公式 |
1.计算资源计算公式 2.显存资源计算公式 3.存储资源计算公式 4.综合成本计算公式 |
| 大模型内部逻辑分析 |
1.模型权重文件参数分析 2.神经网络可视化 3.模型权重文件结构分析 4.模型权重神经元激活分析 |
| 性能容量的分析逻辑 |
1.压力场景分析 2.系统架构分析 3.响应时间拆分 4.全局监控分析 5.定向监控分析 6.判断性能瓶颈 7.提出解决方案 |
| 容量峰值评估 |
1.关键名词解析 1.1.并发用户 1.2.在线用户 1.3.TPS 2.在线用户和TPS之间的关系 3.并发用户和TPS之间的关系 4.公式总结 |
| 性能分析决策树的创建方法 |
1.性能分析决策树创建方法 1.1.系统分析 1.2.架构分析 1.3.模块分析 1.4.计数器分析 2.性能分析决策树的输入输出 2.1.操作系统性能分析决策树 2.2.应用性能分析决策树 2.3.数据库性能分析决策树 2.4.缓存服务性能分析决策树 2.5.队列服务性能分析决策树 |
| 测试AI大模型应用的性能 |
1.AI大模型应用性能需求分析 1.1.1.硬件资源评估 1.1.2.软件配置评估 1.1.3.数据量级评估 2.AI大模型应用性能场景设计 3.AI大模型应用性能监控设计(细化性能指标) 4.AI大模型应用性能场景执行 4.1.1.性能脚本 4.1.2.性能场景 4.1.3.测试策略 4.1.4.测试数据 4.1.5.测试工具 5.AI大模型应用性能瓶颈分析 6.AI大模型应用性能测试报告 |
| 微调性能分析AI大模型 |
1.明确训练目标 2.基础大模型选型 3.配置参数 4.准备数据集 5.开始训练 6.训练过程记录 7.验证训练结果 |
| 总结 | AI大模型在性能工程领域的展望 |
|
概述 1.大模型与性能工程的关系 2.大模型是否改变了性能分析逻辑? 3.RAG、agent、fine-tuning该如何选择 |
|
AI大模型应用的常见技术架构 1.软件部分 2.硬件部分 3.大模型应用的分类 4.常见AI大模型技术架构 4.1.1.RAG技术架构 4.1.2.Agent技术架构 4.1.3.微调大模型技术架构 5.MCP协议 6.AI大模型应用架构选型 |
|
AI大模型软硬件选型 1.AI芯片选型 2.显卡选型 |
|
大模型训练成本计算公式 1.计算资源计算公式 2.显存资源计算公式 3.存储资源计算公式 4.综合成本计算公式 |
|
大模型内部逻辑分析 1.模型权重文件参数分析 2.神经网络可视化 3.模型权重文件结构分析 4.模型权重神经元激活分析 |
|
性能容量的分析逻辑 1.压力场景分析 2.系统架构分析 3.响应时间拆分 4.全局监控分析 5.定向监控分析 6.判断性能瓶颈 7.提出解决方案 |
|
容量峰值评估 1.关键名词解析 1.1.并发用户 1.2.在线用户 1.3.TPS 2.在线用户和TPS之间的关系 3.并发用户和TPS之间的关系 4.公式总结 |
|
性能分析决策树的创建方法 1.性能分析决策树创建方法 1.1.系统分析 1.2.架构分析 1.3.模块分析 1.4.计数器分析 2.性能分析决策树的输入输出 2.1.操作系统性能分析决策树 2.2.应用性能分析决策树 2.3.数据库性能分析决策树 2.4.缓存服务性能分析决策树 2.5.队列服务性能分析决策树 |
|
测试AI大模型应用的性能 1.AI大模型应用性能需求分析 1.1.1.硬件资源评估 1.1.2.软件配置评估 1.1.3.数据量级评估 2.AI大模型应用性能场景设计 3.AI大模型应用性能监控设计(细化性能指标) 4.AI大模型应用性能场景执行 4.1.1.性能脚本 4.1.2.性能场景 4.1.3.测试策略 4.1.4.测试数据 4.1.5.测试工具 5.AI大模型应用性能瓶颈分析 6.AI大模型应用性能测试报告 |
|
微调性能分析AI大模型 1.明确训练目标 2.基础大模型选型 3.配置参数 4.准备数据集 5.开始训练 6.训练过程记录 7.验证训练结果 |
|
总结 AI大模型在性能工程领域的展望 |
近期公开课推荐