大模型技术的发展和迭代2024年已经可以按天来计算了，几乎每天都有新的大模型和技术登场，从基座模型Mamba2，Jamaba，到Dora，LoftQ，GaLore等最新的微调技术；KTO，IPO，SimPO等微调技术；再到GPTQ，SmoothQuant，AWQ，GGUF等量化技术。大模型全链路的技术的迭代日新月异。
您是否有感觉自己的技术能力以及学习步伐有点跟不上技术的发展？或者对这些新兴技术的理解仅仅停留在应用层面上，实际上并没有对背后的算法原理深入剖析过？ 如果您希望快速适应大模型时代的发展，而不致于在海量的论文和技术文献中挣扎和迷茫；如果你希望在大模型赛道上持续巩固竞争壁垒，而不至于因为技术到达瓶颈而导致项目停滞不前。对技术本身的深入理解、对前沿技术的深入洞察一定是个必选项！
基于此类痛点，并紧密贴合llm前沿技术发展，贪心科技联合数位业内顶级专家共同打造了**《大模型高级研修班》。通过2个半月的时间，全面掌握近半年最火热前沿的大模型知识技术以及背后的精髓，帮大家大大节省学习成本、提高技术竞争力**。
学习收获：
掌握前沿的大模型技术，包括新基座模型、新微调算法、新推理方法、新多模态技术、新图算法和大模型的结合等
掌握每一种前沿算法背后的理论知识、以及应用场景，部分算法的讲解涉及到代码解读、从零算法实现、实战案例等
全面掌握2024上半年，新出的前沿大模型技术
下面是7个模块的学习安排，感兴趣的朋友们欢迎扫码咨询。
扫描二维码，添加顾问老师咨询~
详细大纲
模块一：基座模型
1、Transformer架构与机制
多头自注意力机制：Query, Key, Value机制
Multi-query attention
位置编码技术
层归一化与残差连接
案例：剖析LLama3模型结构
2、大模型训练与优化
预训练、微调与对齐过程
SFT与LoRA微调
对齐与DPO
处理长距离依赖
处理更长的上下文
梯度下降变体
3、Mamba介绍
Transformer与Seq2Seq各自有缺点
Differential Equation基础
选择性状态空间模型（SSMs）
Discretization, Recurrent计算
The HIPPO矩阵
基于Pytorch实现一个基本的Mamba块
4、Mamba核心组建与优化
局部卷积宽度及其重要性
Selective Scan
整体模型架构
Mamba的优化策略
与Transformer优化的比较分析
5、Mamba2
Mamba与Mamba2的区别
Mamba2中的高级SSMs
结构状态空间对偶性
SSMs和Transformers之间的等价性
块分解技术
面向硬件的实现
高效投影和归一化
实践：在Mamba2中实现高维SSMs
6、Mamba的应用
文本生成与文本摘要生成
机器翻译与情感分析
基于Mamba构造大模型
基于Mamba构造多模态大模型
医疗、金融领域的应用
7、Jamba模型
混合架构设计基础
SSMs与Transformer注意机制的集成
结合Mamba和Transformer方法的优点
Jamba模型剖析
多模态注意力和状态空间集成
跨模态嵌入对齐
8、KANs
KANs vs MLPs
Kolmogorov-Arnold representation theorem
基础架构
Convolutional KANs (CKANs)
训练KANs
实践：从零实现KANs
模块二：指令微调技术
9、LoRA微调技术
必要的数学知识 - 低秩分解
LoRA的核心原理
LoRA中的各类参数设置
优化并获得LoRA参数
LoRA源码解读
基于开源模型实现LoRA微调
10、DoRA微调技术
从LoRA到DoRA
DoRA解决的核心问题
权重分解的低秩适应
DoRA的梯度分析
DoRA的源码分析
基于开源模型实现DoRA微调
11、LoftQ微调技术
量化技术基础
不同的量化技术
传统方法与基于LoRA的量化
LoftQ算法的详细介绍
背后的理论分析
12、GaLore微调技术
Weight Gradient的low rank特性
GaLore模型详解
低秩子空间的组成
内存高效优化
超参数的调整
背后的一些理论分析
13、Mixture of LoRAs
Routing策略设计
MoA架构设计
模型的详解
模型源码分析
基于开源模型实现模型微调
模块三：对齐技术
14、DPO对齐技术
偏好优化基础
Bradley-Terry model
推导DPO的目标
详解DPO的训练
DPO背后的理论分析
基于开源模型实现DPO对齐
15、KTO对齐技术
HALOs介绍
KTO的推导过程
KL的估计
理解超参数
KTO与DPO
16、IPO对齐技术
序列似然校准
算法详解
online IPO
背后的理论分析
基于开源模型实现IPO对齐
17、SimPO对齐技术
DPO与SimPO主要区别
推导SimPO的目标
SimPO的参数设置
SimPO源码分析
对齐技术的未来发展
模块四：模型量化技术
18、GPTQ量化技术
量化技术基础
OBQ介绍
GPTQ算法详解
背后理论分析
基于LLama大模型进行GPTQ量化
19、SmoothQuant量化技术
数据分布对量化的影响
SmoothQuant核心思想
SmoothQuant算法详解
算法源码分析
基于LLama大模型进行SmoothQuant量化
20、AWQ量化技术
AWQ核心思想
分析量化导致的误差
选取最有价值的1%权重
AWQ算法详解
基于LLama大模型进行AWQ量化
21、GGUF量化技术
从GPU到CPU使用
GGUF核心思想
GGUF算法详解
基于LLama大模型+GGUF
模块五：多模态技术
22、MoE-LLaVA
视觉大模型基础
训练多模态大模型的Scaling挑战
Hard Routers和Soft Routers
MoE总体结构
MoE三阶段训练
模型源码解读
微调一个MoE-LLaVA模型
23、Mini-Gemini
模型背后核心思想
Dual Vision Encoders
Patch Info Mining
模型详解
模型源码解读
24、VideoLLaMA2
模型背后核心思想
模型总体结构
模型算法解析
多任务微调
微调一个VideoLLaMA2模型
模块六：图与大模型
25、图与大模型基础
图、知识图谱基础
图和大模型结合三种常见方法
利用图来增强大模型推理
利用大模型来增强图模型
两者的直接结合
大模型对图的推理
26、推荐系统与大模型
推荐系统设计
推荐系统中使用大模型
Prompt的设计
微调推荐大模型思路
微调一个推荐领域大模型
27、GraphGPT: Graph的指令微调
Graph的推理能力分析
图结构的编码
Self- supervised微调
基于任务的微调
CoT蒸馏
GraphGPT的应用场景
28、知识图谱与LLM的结合
知识图谱背景介绍
知识图谱与LLM结合的几种方式
训练能够理解知识图谱的LLM基座模型
知识图谱与LLM对推荐系统的价值
模块七：具身智能
29、具身AI简介
历史背景和关键里程碑
应用和未来趋势
具身智能和大模型的结合
具AI的理论
具身AI的认知架构
30、大型语言模型、感知器
LLM在具身AI中的角色
将LLM与具身系统集成的技术
具身AI中的自然语言理解和生成
机器人学简介和机器人类型
传感器技术和数据采集
执行器和控制系统
案例：使用LLM的机器人系统
31、具身AI系统设计
具身AI的设计原则
人机交互（HRI）
多模态界面
具身AI中的强化学习
实时决策
32、评估与测试
评估具身AI系统的指标
性能测试和基准测试
用户研究和反馈收集
迭代设计和改进
类别
说明
课****程形式
线上直播+课程学习群答疑
课程安排
9次直播授课
每周1次，每次3-3.5小时
课程服务
30人以内学习群，助教答疑
专属咨询顾问与班主任老师全程伴学
全程直播讲解与演示
可反复观看课程视频
课程PPT举例
课程学习群答疑举例
课程主讲
Max老师
大模型专家
某头部互联网公司AIGC相关技术负责人
UC Cruze博士后，香港大学博士
主要从事大模型训练，AIGC，机器学习，图卷积，图嵌入的研究
先后在ACL, EMNLP, ECCV, Trans on Cybernetics, Trans on NSE等国际顶会及期刊发表高水平论文十余篇
Shine老师
大模型开发与微调领域专家
中科院博士
头部金融科技公司资深算法专家
曾任埃森哲人工智能实验室数据科学家
拥有丰富的大模型微调/情感分析/博文品牌识别/问答系统等各类项目经验
张老师
人工智能、大模型领域专家
互联网大厂资深算法工程师，清华大学博士后
拥有丰富的大模型预训练、微调和部署优化经验
曾负责大规模对话系统的开发和落地上线工作
先后在AAAI，NeurIPS，ACL，EMNLP等国际顶会及期刊发表高水平论文十余篇
报名咨询
扫描二维码，添加顾问老师咨询~
