StableVLA入选ICML顶会,全球首个「信息瓶颈适配器」VLA鲁棒性架构开源、机器人再不怕「眼花」

人看过

2026-07-06

星尘智能、北大和清华等联合研发的StableVLA——全球首个「信息瓶颈适配器」VLA鲁棒性架构,已入选AI顶会ICML,并正式开源。ICML(International Conference on Machin

星尘智能、北大和清华等联合研发的StableVLA——全球首个「信息瓶颈适配器」VLA鲁棒性架构,已入选AI顶会ICML,并正式开源。ICML(International Conference on Machine Learning)是机器学习领域最具影响力的顶级学术会议之一,它也是中国计算机学会(CCF)推荐的 A 类国际学术会议。第 43 届 ICML将于 2026 年 7 月 6 至11 日在韩国首尔举行,此次会议主题“Machine Learning for the Real World”,强调机器学习在真实场景中的落地,正与此项研究契合。
 
在具身智能领域,大家已经习惯用 LIBERO、CALVIN 这样的基准来评价VLA(视觉-语言-动作)模型的实力。但现实世界中的机器人不可避免会遇到模糊、反光、油污和遮挡等训练数据中未曾出现的视觉干扰。研究发现,即使是当前最先进的VLA模型,在这些场景下性能也会显著下降。
 
为解决这一问题,星尘智能、北大和清华等联合发布并开源全球首个「信息瓶颈适配器」VLA鲁棒性架构,提出基于信息论的轻量化双流模块IB-Adapter,兼顾空间细节保留和频谱噪声抑制,让机器人聚焦于真正重要的目标信息,在各种合成视觉干扰条件下实现了平均35.2%的性能提升。
 

更重要的是,研究发现鲁棒性的提升并不完全依赖于更大的模型和更多的数据,即使在仅使用5亿参数模型(主干网络规模缩小 14 倍)、且未采用 Open X-Embodiment  预训练数据的条件下,StableVLA 依然实现了与70亿参数SOTA VLA接近的鲁棒性,并在模拟和真实视觉干扰环境下,超越 OpenPi,说明合理的架构设计能有效弥补规模扩张带来的部分优势。
 
在LIBERO、CALVIN 及真实机器人测试(Real-Robot Evaluations)等多个基准测试平台的大规模实验表明,StableVLA在保持显著更小的模型规模下,能持续稳定优于所选的多个强大的基线模型,包括 VLA-Adapter、OpenVLA、OpenVLA-OFT 和 π(Pi)等。
 
作为一种轻量、高效且具有广泛适配潜力的模块,IB-Adapter 为 VLA 投影器设计提供了新的思路,也为构建更可靠、更具泛化能力的下一代具身智能系统提供了有价值的架构范式。

StableVLA 鲁棒性概述(a) 在 LIBERO 基准测试中的鲁棒性比较中,三角形标记和柱状图分别表示在干净数据和损坏数据(不同严重程度的平均值)上的性能。StableVLA 实现了目前最先进的SOTA模型的零样本鲁棒性。(b) 在视觉损坏的情况下,打包玩具任务上的实际机器人部署StableVLA (0.5B参数) 达到了 50% 的成功率,优于同参数的 VLA-Adapter (0.5B, 20%) 、参数远高于其的OpenPI 0.5 (3B, 40%)。

如果给机器人戴上一副沾满油污的眼镜,它还能正常工作吗?
 
对于人类来说,这似乎不是一个困难的问题。当镜头有些模糊、光线变暗,或者桌面出现反光时,我们依然能认出杯子、篮球和玩偶的位置。
 
但对于今天最先进的机器人AI模型而言,答案并没有那么乐观。
 
星尘智能与北京大学、清华大学等最新联合研究发现,即便是当前最先进的Vision-Language-Action(VLA,视觉-语言-动作)模型,一旦遭遇训练过程中从未见过的视觉干扰,其性能往往会大幅下降。而更令人意外的是——问题可能并不出在机器人的“大脑”。
 
近年来,VLA模型逐渐成为具身智能领域最重要的技术路线之一。简单来说,这类模型的工作方式类似于:看见(Vision)→ 理解(Language)→ 行动(Action)机器人通过摄像头观察环境,通过大模型理解任务,再输出具体动作。然而现实世界远比训练数据复杂。
 
真实世界中,机器人可能遇到:摄像头模糊、镜头油污、光照变化、反光、遮挡、数字噪声等,且理论上,没有任何训练集能够覆盖所有可能情况。
 
机器人真正的考场,不是在实验室,而是在充满干扰的现实世界。研究团队提出了一个关键问题:当机器人遭遇从未见过的视觉干扰时,究竟是哪里出了问题?

论文重要发现:脆弱的不是模型,而是中间“翻译官”

 通过系统分析多个SOTA(State-of-the-Art)VLA模型后,研究人员发现:视觉编码器(Vision Encoder)并非主要问题。大语言模型(LLM)也并非主要问题。真正的薄弱环节,是连接两者之间的一个模块:Projector(投影器)
 
如果把机器人系统比作一个跨国团队:Vision Encoder负责说“图像语言”,LLM负责说“语言模型语言”,Projector则是中间的翻译官
 
问题在于:当前主流Projector大多采用MLP结构。而这种结构几乎像一个“全通滤波器”。它不会区分:哪些是目标物体信息,还是哪些只是镜头污渍、反光或噪声,于是所有信息都会被一股脑送入决策系统。
 
研究团队认为:这正是VLA模型在真实环境下鲁棒性不足的重要根源。

基于信息论的解决方案:给机器人加“智能降噪器”

 为了解决这一问题,研究团队提出:Information Bottleneck Adapter(IB-Adapter)即“信息瓶颈适配器”。它的核心思想来自信息论中的经典理论:信息不是越多越好。关键是保留最有价值的信息。


IB-Adapter和StableVLA架构:通过“关联分析+智能门控+特征重构”三重机制,在视觉信息进入决策系统前分析不同特征之间的关联,区分真实信息和噪声;借助Sigmoid门控,给每个特征通道安装独立开关,保留重要信息,给噪声降权甚至屏蔽;最后对视觉特征进行非线性变换后重建,增强信息表达力。
 
在传统VLA中:摄像头捕获的所有内容都会被送往后续网络。而IB-Adapter会先进行一次筛选:保留物体轮廓、空间结构、操作相关的有用特征。同时压制:噪点、模糊、反光、随机干扰等用不上的噪声。
 
换句话说,它相当于给机器人增加了一层“视觉降噪系统”。在机器人做决策之前,先过滤掉可能误导它的信息。

为什么它能识别噪声?效果如何?

有趣的技术洞察是:传统视觉模型通常关注:图像的空间位置(Spatial Attention)即:“哪里重要?”。而IB-Adapter关注的是:特征通道(Channel Dimension)
即:“哪些特征重要?”。
 
研究团队发现:不同通道中存储的信息并不相同。有些通道主要记录跟任务语义强相关的:物体边缘、几何结构、形状特征。另一些通道则:噪声、模糊、随机扰动,相关性更弱。
 
因此IB-Adapter可以为每个通道设置独立门控(Sigmoid Gate):重要通道保持开启、噪声通道自动关闭,最终让机器人看到一个更加“干净”的世界
 
在一些需要长时间序列保持空间精度的长程任务中,只靠 IB Adapter 可能会让动作轨迹变得不够精准。StableVLA 给出了务实解法:双路并行,解耦融合
 
比如对需要极高空间精度的拾取和放置任务,系统会近乎完整保留 MLP 通路,IB Adapter 仅作为鲁棒性残差补充进来。对于需要长期语义规划的目标识别类任务,系统则会适度增加 Dropout,迫使策略网络更依赖鲁棒特征路径。这种特定任务驱动的动态平衡,让 StableVLA 在不同操作场景中始终能找到最好的鲁棒性切面。

SOTA对比效果

 效果有多明显?答案是:远超预期。在不增加额外训练数据、不引入额外数据增强、不重新构建训练流程的情况下,IB-Adapter平均带来约30%的性能提升
 
在LIBERO的四个标准任务套件上,StableVLA 在多数子任务中取得了最优或次优成功率。对比与自身结构类似的 VLA-Adapter,在严重腐蚀程度 5 的设置下,StableVLA 的性能提升幅度从 40.2% 一路飙升到 139.6%。而在CALVIN基准上的平均完成任务数,也全面领先。不是小数点后几位的胶着战,而是直接甩开了断层式的差距。

图注:LIBERO和CALVIN基准对比
 
更重要的是:整个模块新增参数不足1000万。对于动辄数十亿参数的大模型而言,几乎可以忽略不计。


图注:在损毁严重性最高的Level-5压力测试下,StableVLA保持稳健,OpenVLA等基线模型性能则显著下降

 5亿参数模型,挑战70亿参数模型

 论文中最引人注目的结果之一是:搭载IB-Adapter的StableVLA,即便仅使用:0.5B(5亿)参数模型仍然能够达到接近:7B(70亿)参数级VLA模型的鲁棒性表现。两者规模相差14倍。
 
这意味着:过去行业解决鲁棒性问题的方法往往是:模型不够强?那就做得更大。
 
而这项工作给出了另一种答案:与其让机器人更聪明,不如先让机器人少被噪声欺骗。

在真实机器人上验证

 为了验证方法是否真正有效,研究团队在 Astribot S1 平台上进行了真实世界测试。
测试任务包括:抓取与放置(Pick & Place)、迷你投篮(Throw Basketball)、倒水(Pour Water)、玩偶装箱(Pack the Doll)等。同时人为制造:图像噪声、模糊、镜头油污、物体遮挡。
 
结果显示:在严重视觉干扰下,StableVLA依然能够保持较高操作成功率,而多个现有方案则出现明显退化。
 StableVLA 鲁棒性概述:(a) 在 LIBERO 基准测试中的鲁棒性比较中,三角形标记和柱状图分别表示在干净数据和损坏数据(不同严重程度的平均值)上的性能。StableVLA 实现了目前最先进的SOTA零样本鲁棒性。(b) 在视觉损坏的情况下,打包玩具任务上的实际机器人部署StableVLA (0.5B参数) 达到了 50% 的成功率,优于同参数的 VLA-Adapter (0.5B, 20%) 、参数远高于其的OpenPI 0.5 (3B, 40%)
 
从学术角度看,这是一项关于VLA鲁棒性的研究。但从产业角度看,它回答的是一个更现实的问题:机器人如何离开实验室,进入真实世界。
 
现实中的工厂、商场、家庭和餐厅,永远不会拥有完美的光照、干净的镜头、标准化的场景。未来机器人能否大规模部署,很大程度上取决于:当环境开始变脏、变乱、变复杂时,它是否依然能够完成任务。
 
而这项工作给出的答案是:机器人未必需要更大的模型,但一定需要更稳定的视觉理解能力。这或许也是具身智能从“能工作”迈向“可靠工作”的关键一步。

 关于星尘智能

星尘智能(Astribot)成立于 2022 年,是一家以 AI 为核心的具身智能引领企业,也是全球首家实现绳驱人形 AI 机器人量产的企业。在 AI 方面,公司自研 Lumo 基座模型与 DuoCore 商业化部署框架,通过快慢系统协同,兼顾复杂任务理解与实时动作控制;在本体方面,其模仿人类肌腱运动机制的绳驱本体,使机器人兼具高灵巧操作能力、高拟人表现力与更高的人机交互安全性。基于「Design for AI」核心理念,公司构建了「AI 模型—具身 OS—绳驱本体」三位一体的全栈自研体系,并已在科研、商业服务、文娱演出和工业等多个领域实现规模化落地。
 
 
 
 

 

关键字:
下一篇
63家养老机器人企业大汇总,“超级风口”智能养老赛道离爆发还有多远?

63家养老机器人企业大汇总,“超级风口

热门品牌