题目:
姚俊杰:面向动作精度的视觉-语言-动作模型量化(QVLA)
邹皓帆:ASPIRE——面向机器人的自主技能发现与持续改进
本次学术分享围绕具身智能大模型的轻量化部署与智能体自主进化展开。会议首先探讨了如何解决视觉-语言-动作(VLA)模型在边缘设备部署时显存占用过大、传统量化易导致动作畸变的问题,重点介绍了基于动作误差敏感度的QVLA量化方案。随后,会议分享了ASPIRE框架的最新研究:一是如何通过细粒度执行反馈定位程序失败的根本原因;二是如何结合进化搜索与技能库,让机器人在无需更新大模型权重的情况下,实现从单任务调试到跨任务经验积累的持续学习。报告探讨了从“模型压缩”到“策略进化”的完整链路,并对低比特量化的边界、真实世界终身学习的挑战等核心问题进行了深入交流。
由姚俊杰汇报的“模型轻量化设计与高效部署(含QVLA工作)”,基于ICLR 2026论文《Not All Channels Are Equal in Vision-Language-Action Model's Quantization》。针对7B级VLA模型(约15GB)难以在机器人平台上部署,且统一低比特量化会破坏敏感模块(如Projector和Action Head)导致动作误差累积的问题,报告提出:同样的位宽预算,应当优先保护对动作影响最大的通道。该研究定义了“动作敏感度”,通过测量通道降位后的动作偏差及局部增益,建立敏感度表,并在全局位宽约束下执行贪心分配,对关键通道保留16bit/8bit,不敏感通道降至2-4bit甚至剪枝。实验表明,该方法在OpenVLA、UniVLA及真实世界双臂任务中,实现了优于统一量化的成功率(如OpenVLA-OFT W4A4下成功率达96.0%,显存降至4.5GB,加速1.49倍),真正做到了在资源受限下保住动作精度。
由邹皓帆分享的“ASPIRE:面向机器人的自主技能发现与持续改进”,基于NVIDIA等机构的最新预印本论文。针对大模型虽然能生成可执行程序(Code-as-Policy),但面临“失败难定位、经验难积累、策略易固化”的三大挑战,研究提出了闭环的ASPIRE框架。该框架包含四大核心机制:1. Execution Engine:记录多模态轨迹,将失败拆解为API级证据(精准定位是感知还是规划报错);2. Skill Library:提炼并验证修复模式(如“多角度接近”),作为上下文指导(in-context)复用;3. Evolutionary Search:生成多种可执行候选程序,用历史最佳与失败反馈推动策略探索,跳出局部修补;4. Coordinator:实现任务的前向迁移与反向回溯。实验表明,该框架在LIBERO-Pro等基准上大幅提升了成功率(如将包含20个长序列任务的 LIBERO-Pro Long 提升至 82.2%),并在真实双臂机器人(YAM)上显著降低了调试Token消耗与操作耗时,展示了不更新底层模型权重的“持续自我改进”潜力。
交流环节中,与会人员围绕低比特量化在极端动态任务中的稳定性、进化搜索的计算成本代价,以及大模型“外挂”技能库与端到端网络权重更新之间的优劣等问题进行了讨论。会议认为,从算法层面的极致压缩(保证跑得动),到智能体层面的持续进化(保证学得会),是推动具身智能走向真实复杂场景的必由之路。


联系电话028-61830850
邮箱:
zjlhbj@uestc.edu.cn
地址:
四川省成都市高新西区西源大道2006号
电子科技大学清水河校区创新中心
版权所有©2020 人机智能技术与系统教育部工程研究中心 蜀ICP备2022017640号-1 公网安备 52032102000193号
