公告
🔥提供代码、复杂推理、多模态与智能体任务等领域的高质量原创任务数据,可添加:aiFreeCode 咨询

Tag

视觉语言大模型

共 14 篇文章

直播预告!GroundingPI & GroundAnything:从精准定位到高速感知,具身基模该怎么进化

直播预告!GroundingPI & GroundAnything:从精准定位到高速感知,具身基模该怎么进化

先说个场景。 你让机器人去桌上拿那个蓝色杯子,它答得挺快:好,蓝色杯子。 然后手伸过去,抓了个空。 不是它不认识。它认识,甚至能告诉你杯子里有没有水。但它指不准——杯柄在左边还是右边,杯口离桌沿还有几厘米。就差这么一点,手就空了。 第一反应往往是“手”的问题:控制不够精细、动作不够稳。但把这两篇论文
0
0
79
表格转成文本,丢掉了什么?人大联合贝壳提出 MERIT,让 8B 模型从原图中找证据、做推理

表格转成文本,丢掉了什么?人大联合贝壳提出 MERIT,让 8B 模型从原图中找证据、做推理

一张表格,经过 OCR 和结构解析,变成了整齐的 Markdown。数字看起来齐全,语法也没有问题,但模型仍可能算出一个错误答案:它用到的数字,属于另一组表头;问题限定的高亮单元格,在转换后已经失去了颜色;决定数值含义的单位和脚注,也可能没有进入输入。 当证据在转成文本的过程中发生了变化,后续推理再
0
0
50
大模型画框总翻车?给 9B 视觉模型装上“进度条”与“撤回键”

大模型画框总翻车?给 9B 视觉模型装上“进度条”与“撤回键”

详细的语言描述,并不等于准确的视觉定位。 让模型框出“餐盘右上角的西兰花”,它可能完整描述了食物类别和相对位置,却仍把相邻的一簇圈进目标框。视觉指代定位要求将语言理解落实到具体区域与精确边界;流畅的解释本身,并不能保证中间空间判断可检查、最终坐标可纠正。 这一落差也要求重新审视后训练的终点。对于已经
0
0
52
本地千问就能跑!具身 Agent 只纠错就够了:Spotter 用并行结构让 VLM 只在出错时出手,又快又准

本地千问就能跑!具身 Agent 只纠错就够了:Spotter 用并行结构让 VLM 只在出错时出手,又快又准

简介 具身模型(VLA)失手后很难自己改错,而让 VLM 每一步都当指挥又太慢。Spotter 反过来:具身模型一直执行,本地 Qwen 并行盯着,确认出错时才由 VLM 出手修复并反思,修完交还控制。同样步数下成功率更高,成功的回合只多十几秒,本地一个千问就能跑。 论文:Spotter: Let
0
0
116
Puffin: 统一多模态空间智能大模型——从任意视角理解和生成世界

Puffin: 统一多模态空间智能大模型——从任意视角理解和生成世界

多模态空间智能不仅要求机器理解任意相机视角下的现实世界,更要求其具备从任意相机方位创造世界的能力。然而,当前的视觉与生成模型大多仅隐式地感知相机几何,或将理解与生成任务割裂开来。 新加坡南洋理工大学、商汤科技、密西根大学和马普所的研究者们联手提出了一种全新的范式——将“相机几何”破译为一种“语言”,
0
0
390
SimpleVLA-RL:简单可拓展的VLA强化学习训练

SimpleVLA-RL:简单可拓展的VLA强化学习训练

VLA模型已成为使机器人在真实环境中解决各类复杂操作任务极具前景的新范式,其发展仍受限于数据稀缺与泛化能力不足等问题,而强化学习能缓解数据依赖并显著提升模型性能与泛化性,正受到广泛关注。 本次报告将解读所提出的专为VLA模型设计的高效强化学习框架SimpleVLA-RL,内容主要分为三部分: • 首
0
0
375
VILA^2 :视觉语言模型能力的自我提升

VILA^2 :视觉语言模型能力的自我提升

主讲嘉宾 方云浩,本科毕业于浙江大学,硕士毕业于UCSD(苏昊教授),自24年2月起在Nvidia VILA团队实习(陆垚博士、韩松教授)。主要科研方向是大模型相关的1. 推理能力(通过探索提升推理上限: Unleashing the Creative Mind;通过演绎验证获得可靠思维链: Ded
0
0
158
MiniCPM-V:端侧可用的GPT-4V级多模态大模型

MiniCPM-V:端侧可用的GPT-4V级多模态大模型

7月15日晚7点,青稞Talk第15期,清华大学自然语言处理实验室博士生余天予,将直播分享《MiniCPM-V:端侧可用的 GPT-4V 级多模态大模型》。 分享嘉宾 余天予,清华大学自然语言处理实验室博士生,发表AAAI、CVPR 等人工智能顶会论文多篇,主要研究方向为多模态大模型。 主题提纲 M
0
0
264
3D-VLA:构建生成式三维具身世界模型

3D-VLA:构建生成式三维具身世界模型

5月10日晚7点,青稞社区组织【青稞Talk】第五期,邀请到 3D-VLA 一作甄昊宇参与,分享《3D-VLA:构建生成式三维具身世界模型》。 分享嘉宾 甄昊宇,上海交通大学大四,麻省理工学院访问学生,在ICML、NeurIPS、ICCV等会议上发表多篇论文。 主题提纲 3D-VLA:构建生成式三维
0
0
217
从 3D LLM 到 MultiPLY ,3D 具身基础模型的构建

从 3D LLM 到 MultiPLY ,3D 具身基础模型的构建

4月19日早9点,青稞社区组织【青稞Talk】第三期,邀请到 3D-LLM 和 MultiPLY 一作、加州大学洛杉矶分校在读博士洪逸宁参与,分享《从 3D LLM 到 MultiPLY ,3D 具身基础模型的构建》。 分享嘉宾 洪逸宁,加州大学洛杉矶分校在读博士,MIT-IBM沃森人工智能实验室研
0
0
258
正在直播 B 站

视频号直播二维码

用微信扫一扫,在视频号观看直播