课程简介

在深度学习和自然语言处理的快速发展中，大模型技术，已经在许多应用中展现出了显著的性能。然而，理解这些模型的运作原理，以及如何有效地利用和调整这些模型，对于许多组织和个人来说，仍然是一项挑战。如果您或您的组织正在面临以下问题，那么这个课程将为您提供深入的解决方案：
- 对深度学习和NLP的基本概念理解不够
- 不清楚如何利用现有的大模型进行项目开发
- 对于如何微调大模型以适应特定任务的知识有限
- 对于如何实现多模态的理解和实践经验不足
- 对于如何使用新兴的大模型技术，如Stable Diffusion和Segment Anything Model，缺乏实践经验
通过这个课程，您将获得深度学习、NLP和大模型技术的深入理解，以及实践这些技术的经验，从而为您的项目或研究提供强大的支持。

目标收益

1、掌握人工智能的基本概念和原理:通过学习人工智能的基本概念和原理学员可以更好地理解人工智能的应用场景和优势。
2、掌握人工智能的实践技能:学员需要掌握人工智能的实践技能，包括使用工具和框架进行开发、调试和测试等。
3、了解人工智能的应用场景:学员需要了解人工智能的应用场景。
4、提高人工智能的创新能力:学员需要通过学习人工智能的创新能力，提高自己的创新能力，以便在未来的工作中更好地应用人工智能
5、掌握人工智能的最新发展趋势:学员需要了解人工智能的最新发展趋势以便更好地把握未来的发展方向

培训对象

本课程适用于具备一定编程基础和对深度学习感兴趣的学员，包括开发者、数据科学家等。要求学员具备Python编程经验。

课程内容

第一天
一，深度学习、大模型基础、预训练、微调与prompt案例
（一）深度学习基础、chatGPT基础知识（1小时）
1.深度学习基本概念和常见应用（互动，收集学员的水平，适度调节后边难度）
1.1.神经网络的基本结构和工作原理
1.2.深度学习的常见应用场景
2.CNN、RNN和LSTM
2.1.卷积神经网络（CNN）的原理，卷积层、池化层和全连接层
2.2.循环神经网络（RNN）
2.3.LSTM单元的结构和功能
3.强化学习介绍（互动：奖励机制）
3.1.强化学习基本概念和原理
3.2.Agent、环境和奖励信号的概念
3.3.Markov决策过程和值函数
3.4.强化学习算法的分类和应用
4.课上实战：Jupyter环境学习，使用CNN开发一个手写识别程序
4.1.Jupyter Notebook的基本操作和环境设置
4.2.MNIST手写数字数据集的介绍和加载
4.3.使用CNN模型对手写数字进行分类任务的实现
5.模型训练、评估和预测结果的展示
6.NLP与大模型
6.1.NLP常见任务
6.2.大模型解决思路
7.预训练模型技术基础
7.1.Transformer
7.2.BERT实现特点
7.3.GPT实现特点
8.GPT详解
8.1.GPT三兄弟
8.2.GPT预训练模型训练步骤
8.3.Zero-shot
few-shot技术
（二）大模型基础知识（1小时）
1.大模型行业：
1.1.算法、算力、数据
1.2.技术门槛
2.底层技术原理
3.Prompt技巧：
4.互动游戏：折纸游戏
4.1.在GPT中使用Prompt技巧的原理和效果
4.2.如何设计和优化Prompt来引导GPT生成特定类型的文本
4.3.Prompt工具介绍
4.4.通过案例展示如何使用大模型prompt技术生成“好标题”
5.Prompt-NL2SQL
5.1.初级构建
5.2.进阶技巧
5.3.优化4个层次
6.被低估的prompt
6.1.查答案
6.2.进阶方法论：元问题
6.3.利用GPT找到自己的阶段
6.3.1.沟通模板
6.3.2.如何快速了解一个行业
6.3.3.如何快速了解一项新技术
7.其他：不同大模型需要的prompt需要不同吗？
8.如何利用开源模型或者openai接口部署一套使用工具
9.实操：动手搭建一套本地开源大模型+访问界面
实操：给出一个prompt题目，学员完成。
（三）预训练技术与训练一个小型预训练流程（1小时）
1.目标和复现步骤的介绍
2.第一阶段 - 数据准备：
2.1.数据收集和清洗
2.1.1.数据收集的方法和来源。
2.1.2.数据清洗的重要性，包括去除噪声、处理异常值和数据预处理等
2.2.数据预处理
2.2.1.介绍数据预处理的目的和常见方法
2.3.构建训练集和验证集
2.3.1.如何划分数据集为训练集和验证集
2.3.2.交叉验证和数据集平衡
3.第二阶段 - 环境准备：
3.1.硬件和软件环境要求
3.1.1.进行深度学习任务所需的硬件要求，例如GPU和内存等
3.2.所需的深度学习框架和库、环境创建
4.第三阶段 - 关键算法和实战：
4.1.字典训练
4.2.世界知识VS行业知识
5.实战演练：使用提供的代码和数据进行微型GPT的复现
5.1.使用西游记小说训练一个预训练模型
6.模型评估方法
7.优化方向
8.常见踩坑与解决思路
总结
（四）微调技术与微调，API搭建（1小时）
1.模型微调的方法和实践：
1.1.介绍模型微调的概念和原理
1.2.常用的微调策略和技巧
1.3.数据集选择和准备
1.4.微调过程中的超参数调整
1.5.模型微调的评估和验证方法
2.指令微调
2.1.Self-instruction方法
2.2.Instruction-folowing
2.3.Ptuning-V2
2.4.Lora
2.5.QLora
3.开源免费可商用大模型Baichuan13B微调实践：
3.1.常见的Baichuan13B模型微调方法介绍
3.2.数据准备、环境搭建
3.3.代码编写、运行代码、获取结果
3.4.如何微调数学计算
3.5.如何微调选择题
3.6.如何过滤有害言论
3.7.如何微调理解能力
3.8.其他微调常见坑与优化思路
3.8.1.通用知识遗忘
3.8.2.loss不下降
3.8.3用开源数据微调效果差
（五）API服务与应用实操（1小时）
1.介绍将微调后的模型部署为API服务的方法和代码
1.1.使用FastAPI框架搭建API服务
1.2.将微调后的LLama模型加载到API服务中
2.前端调用：
2.1.介绍前端调用API服务的方法
2.2.前端调用的常见场景
2.3.实现与用户的交互和展示生成的文本结果
3.流式读取：
3.1.介绍流式读取数据的概念和优势
3.2.如何实现流式读取数据的方法（后端）
3.3.如何实现流式读取数据的方法（前端）
4.统一API接口，简化开发流程，缩短开发时间
5.多轮对话机器人
6.实操练习：编写一个订餐机器人
（六）Langchain技术（1小时）
1.Langchain技术介绍
1.1.Langchain要解决的问题
1.2.Lanchain的优势和劣势
1.3.Langchain有哪些关键组件
2.使用Langchain搭建一个chatPDF系统
2.1.整体流程
2.2.PDF读取
2.3.文件分割
2.4.向量化（Emmbeddings）
2.5.向量数据库
2.5.1.向量计算的方法
2.5.2.向量计算的难点
2.5.3.向量数据库如何加速
LLM融合结果，实操：使用LangChain+开源大模型完成小作业
第二天 langchain技术，Agents技术与两个案例分享
（一）金融智能知识库案例介绍与初步实现（1小时）
1.项目介绍
1.1.数据介绍
1.2.问题介绍
1.3.难点
2.离线处理：
2.1.数据提取
2.2.数值计算
2.3.结构分析
3.存数据库
（二）金融知识库比赛前九名经验&kaggle大模型比赛RAG经验详解--精华（2小时）
1.包含：利用ES等工具结合RAG应用，3种典型RAG方案。如何屏蔽幻觉、如何提升稳定性。
2.在线查询：
2.1.问题分析（问题分级、要素提取
2.2.答案召回（正则匹配、ES检索、NL2SQL）
2.3.LLM拼装
2.4.答案格式化（后处理）
3.其他环节优化经验
3.1.数据召回
3.2.数值计算
3.3.答案融合
3.4.微调意图识别
3.5.微调NL2SQL
4.实操练习
（三）Agents技术与智能BI案例、智能水务案例（1小时）
1.大模型Agents技术的概述
1.1.介绍大模型Agents技术的定义和应用领域。
1.2.解释大模型Agents技术与传统人工智能方法的区别。
2.大模型Agents技术的原理和模型
2.1.解释大模型Agents技术的基本原理，为什么说是下一代技术。
2.2.介绍常见的大模型Agents实现方式
2.3.Agents实现代码
3.智能BI案例
3.1.需要实现的基本功能
3.2.高级功能
3.3.挑战
3.4.方案选型
3.5.最终效果
4.智能水务案例介绍
4.1.需要实现的基本功能
4.2.高级功能
4.3.挑战
5.方案选型
5.1.Tool select + function调用方式
5.2.Agents方式
6.实操练习
（四）多模态技术与案例（1小时）
1.多模态领域的前沿进展介绍
2.多模态经典模型讲解
3.多模态实操练习（搭建SD以及生成生日贺卡案例）
（五）互动与总结
1.互动
1.1.收集实际案例问题
1.2.分组讨论与分享思路
2.总结
2.1.回顾课程内容和学员的收获
3.总结与鼓励