公告
🔥提供代码、复杂推理、多模态与智能体任务等领域的高质量原创任务数据,可添加:aiFreeCode 咨询
  1. 首页
  2. 青稞Talk
  3. PiSSA:收敛快、误差小的大模型参数高效微调方法

PiSSA:收敛快、误差小的大模型参数高效微调方法

  • 182 次阅读
  • 0 条评论
直播回放 即将开始

相关资源

演示文稿 (PPT)

直播配套幻灯片

暂未提供

直播平台

点击播放 回放
加载中...
视频号直播二维码

打开微信扫一扫,即可观看回放

无法播放?

6月13日晚7点,青稞社区组织【青稞Talk】第十期,北京大学人工智能研究院孟繁续博士,将直播分享《PiSSA:收敛快、误差小的大模型参数高效微调方法》。

分享嘉宾

孟繁续,北京大学人工智能研究院在读博士;师从张牧涵教授。曾获哈尔滨工业大学优秀毕业生,师从卢光明教授。曾就职于腾讯优图实验室任研究员,mentor:孙星、程昊、李珂。研究方向为模型压缩与高效模型训练。曾以第一作者身份于CVPR,NeurIPS发表两篇论文。

主题提纲

PiSSA:收敛快、误差小的大模型参数高效微调方法

  • 1、参数高效微调方法 LoRA 和 QLoRA
  • 2、继承 LoRA 优势的微调方法 PiSSA
  • 3、在 LLaMA-3 等10余种主流大模型上的实验效果
  • 4、PiSSA + LLaMA-3 微调实践

成果链接

直播时间

6月13日(周四)19:00 - 20:00

阅读 -- 次

讨论

0 条评论

登录后即可参与讨论、向作者提问

目录
正在直播 B 站

视频号直播二维码

用微信扫一扫,在视频号观看直播