长亭百川云 - 文章详情

与全参数微调相比,LoRA微调的性能到底如何?

PaperWeekly

103

2024-07-13

大模型技术的发展和迭代2024年已经可以按天来计算了,几乎每天都有新的大模型和技术登场,从基座模型Mamba2Jamaba,到DoraLoftQGaLore等最新的微调技术;KTOIPOSimPO等微调技术;再到GPTQSmoothQuantAWQGGUF等量化技术。大模型全链路的技术的迭代日新月异。

您是否有感觉自己的技术能力以及学习步伐有点跟不上技术的发展?或者对这些新兴技术的理解仅仅停留在应用层面上,实际上并没有对背后的算法原理深入剖析过? 如果您希望快速适应大模型时代的发展,而不致于在海量的论文和技术文献中挣扎和迷茫;如果你希望在大模型赛道上持续巩固竞争壁垒,而不至于因为技术到达瓶颈而导致项目停滞不前。对技术本身的深入理解、对前沿技术的深入洞察一定是个必选项! 

基于此类痛点,并紧密贴合llm前沿技术发展,贪心科技联合数位业内顶级专家共同打造了**《大模型高级研修班》。通过2个半月的时间,全面掌握近半年最火热前沿的大模型知识技术以及背后的精髓,帮大家大大节省学习成本、提高技术竞争力**。

学习收获:

  • 掌握前沿的大模型技术,包括新基座模型、新微调算法、新推理方法、新多模态技术、新图算法和大模型的结合等

  • 掌握每一种前沿算法背后的理论知识、以及应用场景,部分算法的讲解涉及到代码解读、从零算法实现、实战案例等

  • 全面掌握2024上半年,新出的前沿大模型技术

下面是7个模块的学习安排,感兴趣的朋友们欢迎扫码咨询。  

扫描二维码,添加顾问老师咨询~


详细大纲

模块一:基座模型

1、Transformer架构与机制

  • 多头自注意力机制:Query, Key, Value机制

  • Multi-query attention

  • 位置编码技术

  • 层归一化与残差连接

  • 案例:剖析LLama3模型结构

2、大模型训练与优化

  • 预训练、微调与对齐过程

  • SFT与LoRA微调

  • 对齐与DPO

  • 处理长距离依赖

  • 处理更长的上下文

  • 梯度下降变体

3、Mamba介绍

  • Transformer与Seq2Seq各自有缺点

  • Differential Equation基础

  • 选择性状态空间模型(SSMs)

  • Discretization, Recurrent计算

  • The HIPPO矩阵

  • 基于Pytorch实现一个基本的Mamba块

4、Mamba核心组建与优化

  • 局部卷积宽度及其重要性

  • Selective Scan

  • 整体模型架构

  • Mamba的优化策略

  • 与Transformer优化的比较分析

5、Mamba2

  • Mamba与Mamba2的区别

  • Mamba2中的高级SSMs

  • 结构状态空间对偶性

  • SSMs和Transformers之间的等价性

  • 块分解技术

  • 面向硬件的实现

  • 高效投影和归一化

  • 实践:在Mamba2中实现高维SSMs

6、Mamba的应用

  • 文本生成与文本摘要生成

  • 机器翻译与情感分析

  • 基于Mamba构造大模型

  • 基于Mamba构造多模态大模型

  • 医疗、金融领域的应用

7、Jamba模型

  • 混合架构设计基础

  • SSMs与Transformer注意机制的集成

  • 结合Mamba和Transformer方法的优点

  • Jamba模型剖析

  • 多模态注意力和状态空间集成

  • 跨模态嵌入对齐

8、KANs

  • KANs vs MLPs

  • Kolmogorov-Arnold representation theorem

  • 基础架构

  • Convolutional KANs (CKANs)

  • 训练KANs

  • 实践:从零实现KANs

模块二:指令微调技术

9、LoRA微调技术

  • 必要的数学知识 - 低秩分解

  • LoRA的核心原理

  • LoRA中的各类参数设置

  • 优化并获得LoRA参数

  • LoRA源码解读

  • 基于开源模型实现LoRA微调

10、DoRA微调技术

  • 从LoRA到DoRA

  • DoRA解决的核心问题

  • 权重分解的低秩适应

  • DoRA的梯度分析

  • DoRA的源码分析

  • 基于开源模型实现DoRA微调

11、LoftQ微调技术

  • 量化技术基础

  • 不同的量化技术

  • 传统方法与基于LoRA的量化

  • LoftQ算法的详细介绍

  • 背后的理论分析

12、GaLore微调技术

  • Weight Gradient的low rank特性

  • GaLore模型详解

  • 低秩子空间的组成

  • 内存高效优化

  • 超参数的调整

  • 背后的一些理论分析

13、Mixture of LoRAs

  • Routing策略设计

  • MoA架构设计

  • 模型的详解

  • 模型源码分析

  • 基于开源模型实现模型微调

模块三:对齐技术

14、DPO对齐技术

  • 偏好优化基础

  • Bradley-Terry model

  • 推导DPO的目标

  • 详解DPO的训练

  • DPO背后的理论分析

  • 基于开源模型实现DPO对齐

15、KTO对齐技术

  • HALOs介绍

  • KTO的推导过程

  • KL的估计

  • 理解超参数

  • KTO与DPO 

16、IPO对齐技术

  • 序列似然校准

  • 算法详解

  • online IPO

  • 背后的理论分析

  • 基于开源模型实现IPO对齐

17、SimPO对齐技术

  • DPO与SimPO主要区别

  • 推导SimPO的目标

  • SimPO的参数设置

  • SimPO源码分析

  • 对齐技术的未来发展

模块四:模型量化技术

18、GPTQ量化技术

  • 量化技术基础

  • OBQ介绍

  • GPTQ算法详解

  • 背后理论分析

  • 基于LLama大模型进行GPTQ量化

19、SmoothQuant量化技术

  • 数据分布对量化的影响

  • SmoothQuant核心思想

  • SmoothQuant算法详解

  • 算法源码分析

  • 基于LLama大模型进行SmoothQuant量化

20、AWQ量化技术

  • AWQ核心思想

  • 分析量化导致的误差

  • 选取最有价值的1%权重

  • AWQ算法详解

  • 基于LLama大模型进行AWQ量化

21、GGUF量化技术

  • 从GPU到CPU使用

  • GGUF核心思想

  • GGUF算法详解

  • 基于LLama大模型+GGUF

模块五:多模态技术

22、MoE-LLaVA

  • 视觉大模型基础

  • 训练多模态大模型的Scaling挑战

  • Hard Routers和Soft Routers

  • MoE总体结构

  • MoE三阶段训练

  • 模型源码解读

  • 微调一个MoE-LLaVA模型

23、Mini-Gemini

  • 模型背后核心思想

  • Dual Vision Encoders

  • Patch Info Mining

  • 模型详解

  • 模型源码解读

24、VideoLLaMA2

  • 模型背后核心思想

  • 模型总体结构

  • 模型算法解析

  • 多任务微调

  • 微调一个VideoLLaMA2模型

模块六:图与大模型

25、图与大模型基础

  • 图、知识图谱基础

  • 图和大模型结合三种常见方法

  • 利用图来增强大模型推理

  • 利用大模型来增强图模型

  • 两者的直接结合

  • 大模型对图的推理

26、推荐系统与大模型

  • 推荐系统设计

  • 推荐系统中使用大模型

  • Prompt的设计

  • 微调推荐大模型思路

  • 微调一个推荐领域大模型

27、GraphGPT: Graph的指令微调

  • Graph的推理能力分析

  • 图结构的编码

  • Self- supervised微调

  • 基于任务的微调

  • CoT蒸馏

  • GraphGPT的应用场景

28、知识图谱与LLM的结合

  • 知识图谱背景介绍

  • 知识图谱与LLM结合的几种方式

  • 训练能够理解知识图谱的LLM基座模型

  • 知识图谱与LLM对推荐系统的价值

模块七:具身智能

29、具身AI简介

  • 历史背景和关键里程碑

  • 应用和未来趋势

  • 具身智能和大模型的结合

  • 具AI的理论

  • 具身AI的认知架构

30、大型语言模型、感知器

  • LLM在具身AI中的角色

  • 将LLM与具身系统集成的技术

  • 具身AI中的自然语言理解和生成

  • 机器人学简介和机器人类型

  • 传感器技术和数据采集

  • 执行器和控制系统

  • 案例:使用LLM的机器人系统

31、具身AI系统设计

  • 具身AI的设计原则

  • 人机交互(HRI)

  • 多模态界面

  • 具身AI中的强化学习

  • 实时决策

32、评估与测试

  • 评估具身AI系统的指标

  • 性能测试和基准测试

  • 用户研究和反馈收集

  • 迭代设计和改进

类别

说明

课****程形式

线上直播+课程学习群答疑

课程安排

9次直播授课

每周1次,每次3-3.5小时

课程服务

30人以内学习群,助教答疑

专属咨询顾问与班主任老师全程伴学

全程直播讲解与演示

可反复观看课程视频

课程PPT举例

课程学习群答疑举例


课程主讲

Max老师

大模型专家

  • 某头部互联网公司AIGC相关技术负责人

  • UC Cruze博士后,香港大学博士

  • 主要从事大模型训练,AIGC,机器学习,图卷积,图嵌入的研究

  • 先后在ACL, EMNLP, ECCV, Trans on Cybernetics, Trans on NSE等国际顶会及期刊发表高水平论文十余篇

Shine老师

大模型开发与微调领域专家

  • 中科院博士

  • 头部金融科技公司资深算法专家

  • 曾任埃森哲人工智能实验室数据科学家

  • 拥有丰富的大模型微调/情感分析/博文品牌识别/问答系统等各类项目经验

张老师

人工智能、大模型领域专家

  • 互联网大厂资深算法工程师,清华大学博士后

  • 拥有丰富的大模型预训练、微调和部署优化经验

  • 曾负责大规模对话系统的开发和落地上线工作

  • 先后在AAAI,NeurIPS,ACL,EMNLP等国际顶会及期刊发表高水平论文十余篇

报名咨询

扫描二维码,添加顾问老师咨询~

相关推荐
关注或联系我们
添加百川云公众号,移动管理云安全产品
咨询热线:
4000-327-707
百川公众号
百川公众号
百川云客服
百川云客服

Copyright ©2024 北京长亭科技有限公司
icon
京ICP备 2024055124号-2