公告
🔥提供代码、复杂推理、多模态与智能体任务等领域的高质量原创任务数据,可添加:aiFreeCode 咨询
  1. 首页
  2. 青稞Talk
  3. 大模型训练流水线并行四部曲:吞吐、内存、负载均衡与线性扩展

大模型训练流水线并行四部曲:吞吐、内存、负载均衡与线性扩展

  • 452 次阅读
  • 0 条评论
直播回放 即将开始

相关资源

演示文稿 (PPT)

直播配套幻灯片

下载

直播平台

点击播放 回放
加载中...
视频号直播二维码

打开微信扫一扫,即可观看回放

无法播放?

Canvas – 803.png

8月5日晚8点,青稞Talk 第67期,Sea AI Lab(新加坡)算法工程师,新加坡国立大学博士生万信逸,将直播分享《大模型训练流水线并行四部曲:吞吐、内存、负载均衡与线性扩展》。

分享嘉宾

万信逸,Sea AI Lab(新加坡)算法工程师,新加坡国立大学博士生,专注机器学习系统领域的创新与突破,主要研究方向包括预训练系统、后训练系统以及算法与系统协同设计。

主题提纲

大模型训练流水线并行四部曲:吞吐、内存、负载均衡与线性扩展

1、大模型训练瓶颈与流水线并行概述
2、Zero Bubble:将气泡几乎降到零的流水线并行算法
3、Vocabulary Parallelism:平衡流水线并行与词汇表并行
4、显存感知的流水线并行:Controllable Memory & PipeOffload
5、关于流水线并行的未来研究探讨

成果链接

论文:Zero Bubble Pipeline Parallelism(ICLR 2024)
链接:https://arxiv.org/pdf/2401.10241
代码:https://github.com/sail-sg/zero-bubble-pipeline-parallelism

论文:Pipeline Parallelism with Controllable Memory(NeurlPS 2024)
链接:https://arxiv.org/pdf/2405.15362

论文:Balancing Pipeline Parallelism with Vocabulary Parallelism(MLSys 2025)
链接:https://arxiv.org/pdf/2411.05288
代码:https://github.com/sail-sg/VocabularyParallelism

论文:PipeOffload: Improving Scalability of Pipeline Parallelismwith Memory Optimization(ICML 2025)
链接:https://arxiv.org/pdf/2503.01328

直播时间

8月5日20:00 - 21:00

参与方式

Talk 将在青稞社区上进行,扫码对暗号:" 0805 ",报名进群!

阅读 -- 次

讨论

0 条评论

登录后即可参与讨论、向作者提问

目录
正在直播 B 站

视频号直播二维码

用微信扫一扫,在视频号观看直播