课程简介
学员要求：本课程面向有一定经验的数据分析师、AI工程师或业务建模专家。因为涉及NLP、CV、大模型三个方面的原理和代码，建议有一定的IT基础，具备基础的Python知识。
目标收益
培训对象
课程大纲
| 第一节：大模型的提示工程与智能软件组合应用 |
1.文件分类与检索优化 2.利用 DeepSeek 的语义分析能力，对文件进行智能分类 3.构建高效的文件检索系统，通过关键词和语义搜索快速定位文件 4.文件内容提取与分析 5.从各类文档中提取关键信息，如合同中的条款、报告中的数据等 6.运用 DeepSeek 进行文本数据分析，生成可视化报告 7.不同岗位文件处理重点应用 8.自动化报告生成：整合多平台数据生成日报/周报 9.DeepSeek在Excel中的应用 10.DeepSeek在数据分析实战演练 11.DeepSeek在Excel问题解决、思路构建等方面的应用方法 12.DeepSeek生成Excel函数的用法 13.使用DeepSeek大模型辅助数据分析 14.利用 DeepSeek 生成 PPT 大纲和PPT精修 15.与DeepSeek对话，获取讲故事和写作技巧 16.根据大纲，使用 DeepSeek 获取相关图片、案例等素材 17.AI做海报、banner、详情图、做场景广告图 18.视频素材智能检索：通过语义标签快速匹配历史素材库（如节日营销内容复用）。 19.视频质量优化：自动检测画质、音效问题并修复（如直播回放优化）。 20.企业服务视频智能化 |
| 第二节：本地大模型私有化部署实操 |
1 Deepseek-R1蒸馏版的部署实操 1.模型获取： o通过HuggingFace官方仓库申请权限 o下载deepseek-r1-7B、8B、32B、70B的safetensors格式权重 2.推理服务启动 o关键参数trust_remote_code、max_model_len等的讲解 o解释器多种启动服务方式对比 3.服务验证 o代码调用 o服务API的参数设置 2 Qwen-3(刚刚发布1个月)部署 1.量化加速 oFP8的特点 o对比Deepseek原论文中量化章节的解读 2.REST API调用： o深度学习系统部署的常用方式 o针对AI算法的部署框架 |
| 第三节：银行数据的大模型微调、数据准备、模型训练 |
1 Deepseek-R1领域数据微调 1.数据准备： o格式：JSONL文件，每条含instruction/input/output o数据源：财报、券商研报、金融问答对、意图识别数据 o关键处理：使用SentencePiece重组专业术语tokenization 2.QLoRA训练配置 o微调在大模型中的常用方法 o多种LoRA方式的对别 3.启动训练 o显存优化 oGPU并行 2 探讨适合微调的业务场景 o阐述项目中RAG模式和LoRA模式的选择 o探讨微调方案的优势，分析不适合微调的场景 |
| 第四节：知识库建设与自定义知识问答RAG（重点讲解，提供多场景实例） |
1私有数据的文档生成系统全流程实操 架构设计： 1.数据层：Wind API实时获取宏观指标 + PDF解析模块 2.推理层： oDeepseek-R1作为生成核心 oMistral-8x7B进行事实核查 3.评估层： oRouge-L评估内容一致性 oFinBERT检测财务数据矛盾 以部署拓扑理清整体脉络 常规分析、复杂计算、数据采集、向量数据库、路由决策、Deepseek-R1/Mistral-8x7B、合规审查、PDF输出 2 基于知识库的问答系统实操 关键技术点： 1.RAG增强： o使用LlamaIndex构建行业知识图谱 oFAISS向量库实现百万级文档秒级检索 2.记忆管理： o缓存最近轮次的对话摘要 o采用CoT（Chain-of-Thought）提示工程技术 3.风控拦截： o关键词过滤（如“保证收益”、“100%”等违规表述） o置信度阈值设定（softmax概率<0.7时触发人工接管） |
| 第五节：vLLM部署与实操 |
vLLM的快速实操体验 （1）从Demo到生产：先通过examples/中的脚本运行基础推理，再逐步添加分布式、量化等高级特性。 （2）性能调优闭环：使用benchmark工具量化指标 → 修改配置/代码 → 再次压测 → 分析优化效果。 （3）故障注入测试：主动模拟GPU故障、网络抖动等异常场景，验证系统的容错与恢复能力。 核心架构与关键技术 PagedAttention 内存管理v 分页机制动态管理注意力机制的键值（KV）缓存、16K+上下文长度 隔离式EngineCore，分离调度与模型执行，通过ZeroMQ实现多进程深度整合 统一调度器，动态分配请求资源，分块预填充chunked-prefill、前缀缓存prefix caching 零开销前缀缓存，优化哈希算法与数据结构 异步执行与流水线优化 tokenization、多模态预处理等任务与核心推理重叠执行 |
| 第六节：MCP协议的代码实战 |
协议架构与设计原理 客户端-服务器模型：MCP Host、Client、Server的交互逻辑 上下文感知与多步骤任务 任务链式调用，通过多次工具调用完成复杂推理 关键技术特性：介绍 JSON-RPC 2.0 安全机制：沙盒隔离、零信任架构、敏感数据本地化处理 协议架构与协作机制 任务状态管理：任务提交、处理中和完成/失败的全生命周期管理 关键技术特性：安全设计、高并发支持、多Agent协同 复杂任务分解 代码实战：完成基于MCP的内置工具调用 代码实战：MCP自定义工具的实现 代码实战：生成二维码、基于本地知识的检索和互联网检索能力的结合 |
| 第七节：基于COZE开发Agent 智能体 |
零基础开发AI Agent 智能体 为什么要学习AI Agent 初步认识Agent Agent的概念与发展 Agent是高层级的AI技术应用 Agent的特点与能力 Agent开发平台的演进 基于字节扣子code平台开发Agent 开发Agent的流程与策略 Agent开发的功能模块详解——插件、工作流、图像流 Agent开发的功能模块详解——知识库、记忆与对话体验 实战篇——5大场景、11个Agent案例 |
| 第八节：基于Dify平台Agent智能体开发 |
1. 平台核心能力解析 架构特性：可视化编排 vs 代码深度定制 能力矩阵 知识库管理：支持PDF/CSV/Markdown多格式 对话引擎：基于LLM的意图识别准确率 复杂业务流：需通过API扩展 高级功能拓展 自定义插件开发 多轮对话策略设计 Agent 测试与优化 2. 快速搭建基金查询Agent 创建应用、知识库配置、对话流程设计、调试技巧 3. Agent开发 自定义插件开发实战 开发收益率计算插件 创建Python插件脚手架 实现核心逻辑 复杂对话策略设计 多轮状态管理方案 4. Agent优化 性能调优方案 缓存策略：为高频查询添加Redis缓存层 负载均衡：配置Nginx反向代理实现多实例分发 敏感信息过滤：正则表达式拦截敏感信息 |
|
第一节：大模型的提示工程与智能软件组合应用 1.文件分类与检索优化 2.利用 DeepSeek 的语义分析能力，对文件进行智能分类 3.构建高效的文件检索系统，通过关键词和语义搜索快速定位文件 4.文件内容提取与分析 5.从各类文档中提取关键信息，如合同中的条款、报告中的数据等 6.运用 DeepSeek 进行文本数据分析，生成可视化报告 7.不同岗位文件处理重点应用 8.自动化报告生成：整合多平台数据生成日报/周报 9.DeepSeek在Excel中的应用 10.DeepSeek在数据分析实战演练 11.DeepSeek在Excel问题解决、思路构建等方面的应用方法 12.DeepSeek生成Excel函数的用法 13.使用DeepSeek大模型辅助数据分析 14.利用 DeepSeek 生成 PPT 大纲和PPT精修 15.与DeepSeek对话，获取讲故事和写作技巧 16.根据大纲，使用 DeepSeek 获取相关图片、案例等素材 17.AI做海报、banner、详情图、做场景广告图 18.视频素材智能检索：通过语义标签快速匹配历史素材库（如节日营销内容复用）。 19.视频质量优化：自动检测画质、音效问题并修复（如直播回放优化）。 20.企业服务视频智能化 |
|
第二节：本地大模型私有化部署实操 1 Deepseek-R1蒸馏版的部署实操 1.模型获取： o通过HuggingFace官方仓库申请权限 o下载deepseek-r1-7B、8B、32B、70B的safetensors格式权重 2.推理服务启动 o关键参数trust_remote_code、max_model_len等的讲解 o解释器多种启动服务方式对比 3.服务验证 o代码调用 o服务API的参数设置 2 Qwen-3(刚刚发布1个月)部署 1.量化加速 oFP8的特点 o对比Deepseek原论文中量化章节的解读 2.REST API调用： o深度学习系统部署的常用方式 o针对AI算法的部署框架 |
|
第三节：银行数据的大模型微调、数据准备、模型训练 1 Deepseek-R1领域数据微调 1.数据准备： o格式：JSONL文件，每条含instruction/input/output o数据源：财报、券商研报、金融问答对、意图识别数据 o关键处理：使用SentencePiece重组专业术语tokenization 2.QLoRA训练配置 o微调在大模型中的常用方法 o多种LoRA方式的对别 3.启动训练 o显存优化 oGPU并行 2 探讨适合微调的业务场景 o阐述项目中RAG模式和LoRA模式的选择 o探讨微调方案的优势，分析不适合微调的场景 |
|
第四节：知识库建设与自定义知识问答RAG（重点讲解，提供多场景实例） 1私有数据的文档生成系统全流程实操 架构设计： 1.数据层：Wind API实时获取宏观指标 + PDF解析模块 2.推理层： oDeepseek-R1作为生成核心 oMistral-8x7B进行事实核查 3.评估层： oRouge-L评估内容一致性 oFinBERT检测财务数据矛盾 以部署拓扑理清整体脉络 常规分析、复杂计算、数据采集、向量数据库、路由决策、Deepseek-R1/Mistral-8x7B、合规审查、PDF输出 2 基于知识库的问答系统实操 关键技术点： 1.RAG增强： o使用LlamaIndex构建行业知识图谱 oFAISS向量库实现百万级文档秒级检索 2.记忆管理： o缓存最近轮次的对话摘要 o采用CoT（Chain-of-Thought）提示工程技术 3.风控拦截： o关键词过滤（如“保证收益”、“100%”等违规表述） o置信度阈值设定（softmax概率<0.7时触发人工接管） |
|
第五节：vLLM部署与实操 vLLM的快速实操体验 （1）从Demo到生产：先通过examples/中的脚本运行基础推理，再逐步添加分布式、量化等高级特性。 （2）性能调优闭环：使用benchmark工具量化指标 → 修改配置/代码 → 再次压测 → 分析优化效果。 （3）故障注入测试：主动模拟GPU故障、网络抖动等异常场景，验证系统的容错与恢复能力。 核心架构与关键技术 PagedAttention 内存管理v 分页机制动态管理注意力机制的键值（KV）缓存、16K+上下文长度 隔离式EngineCore，分离调度与模型执行，通过ZeroMQ实现多进程深度整合 统一调度器，动态分配请求资源，分块预填充chunked-prefill、前缀缓存prefix caching 零开销前缀缓存，优化哈希算法与数据结构 异步执行与流水线优化 tokenization、多模态预处理等任务与核心推理重叠执行 |
|
第六节：MCP协议的代码实战 协议架构与设计原理 客户端-服务器模型：MCP Host、Client、Server的交互逻辑 上下文感知与多步骤任务 任务链式调用，通过多次工具调用完成复杂推理 关键技术特性：介绍 JSON-RPC 2.0 安全机制：沙盒隔离、零信任架构、敏感数据本地化处理 协议架构与协作机制 任务状态管理：任务提交、处理中和完成/失败的全生命周期管理 关键技术特性：安全设计、高并发支持、多Agent协同 复杂任务分解 代码实战：完成基于MCP的内置工具调用 代码实战：MCP自定义工具的实现 代码实战：生成二维码、基于本地知识的检索和互联网检索能力的结合 |
|
第七节：基于COZE开发Agent 智能体 零基础开发AI Agent 智能体 为什么要学习AI Agent 初步认识Agent Agent的概念与发展 Agent是高层级的AI技术应用 Agent的特点与能力 Agent开发平台的演进 基于字节扣子code平台开发Agent 开发Agent的流程与策略 Agent开发的功能模块详解——插件、工作流、图像流 Agent开发的功能模块详解——知识库、记忆与对话体验 实战篇——5大场景、11个Agent案例 |
|
第八节：基于Dify平台Agent智能体开发 1. 平台核心能力解析 架构特性：可视化编排 vs 代码深度定制 能力矩阵 知识库管理：支持PDF/CSV/Markdown多格式 对话引擎：基于LLM的意图识别准确率 复杂业务流：需通过API扩展 高级功能拓展 自定义插件开发 多轮对话策略设计 Agent 测试与优化 2. 快速搭建基金查询Agent 创建应用、知识库配置、对话流程设计、调试技巧 3. Agent开发 自定义插件开发实战 开发收益率计算插件 创建Python插件脚手架 实现核心逻辑 复杂对话策略设计 多轮状态管理方案 4. Agent优化 性能调优方案 缓存策略：为高频查询添加Redis缓存层 负载均衡：配置Nginx反向代理实现多实例分发 敏感信息过滤：正则表达式拦截敏感信息 |
近期公开课推荐
