正规炒股在线配资网 刚刚，首个空间原生的具身视觉基模开源！机器人更会看真实世界了

金磊 发自 凹非寺

量子位 | 公众号 QbitAI

这一次，机器人更能看懂我们的真实世界了。

能看懂到什么程度？

我们直接来看一个效果：

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

视频中最左侧的是我们真实世界的画面效果；中间的视频是未经算法美化的原始深度图，很明显，杯子的轮廓是破碎，部分杯壁和背景是混在一起的，香槟塔也像是被挖掉了不少空洞，几乎看不出形状轮廓……

但现在机器人看世界就不一样了，从最右侧的视频中我们能看到，杯子的边界、层级和整体结构更完整，顶部杯子、酒瓶、杯塔之间的空间关系变得更加清楚，甚至连很细的透明水柱都清晰可见。

或许有小伙伴要问了，看得差不多不就行了？

非也，非也。

这类差异放到机器人身上，如果它要去抓一个杯子，边界看不准，就可能抓偏；如果它要在家庭、商场、工厂里持续移动，深度结果一直破碎，后面的规划和控制都会跟着抖。

而这，便是蚂蚁灵波刚刚发布LingBot-Vision和LingBot-Depth2.0的核心原因：

LingBot-Vision：是面向机器人真实任务的空间原生视觉基模，负责给机器人打一个更懂物理世界的视觉底座；LingBot-Depth 2.0 则是基于LingBot-Vision做出的空间感知模型，把这个视觉底座进一步转化为更稳定的深度结果。

研究一出，也是引发了不少网友的关注，他们纷纷直呼：

玻璃、透明物体才是机器人视觉的噩梦；这是重要的里程碑。

一言蔽之，对于具身视觉来说，看得见还只是第一步；看得准，才有机会真正行动起来。

机器人看世界，最怕“差一点”

虽然具身智能这几年确实很火，但真把它们丢进真实场景的时候，我们往往会发现很多问题会迅速回到最基础的一层：

视觉感知稳不稳。

第一类老大难的问题，就是透明和反光材质。

刚才的香槟塔就是典型例子，透明杯壁在RGB画面里能看到，但深度传感器和深度模型常常会在这里不稳定：有的地方补不上、有的边缘粘在一起、有的区域直接空掉。

LingBot-Depth 2.0的输出更像是在帮机器人补上一层稳定的空间骨架，是尽量在把杯口、杯壁、杯身之间的几何关系保持住。

这对于机器人的抓取任务来说，可以说是非常关键的。

因为机械臂要抓杯子，并不只需要知道“这是杯子”。它还要知道杯子的边界、开口方向、可接近位置，以及手爪靠近时会不会碰到旁边那一层杯子。

就像昨天蚂蚁灵波提前放出的预告片里，机器人首先看到带有透明水柱的清晰深度图，知道水在哪里，才能准确将水壶推到水柱下，继而接满一壶水。

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

第二类难点，是小目标和远距离目标。

在下面这个例子里，原始视频是一只狗狗在户外追逐一个网球，远处的狗狗已经算是不大的目标了，网球在整个画面里更是显小：

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

从效果上来看，中间的raw depth基本是糊得一塌糊涂，完全分不清任何主体，跟别提小如网球的目标了。

反观LingBot-Depth 2.0这边的结果，地面、远处墙体、网球、树木和狗的位置关系更清楚。

这个能力放到移动机器人、巡检机器人、人形机器人身上，价值会更直接。

移动机器人往前走时，不能等到障碍物贴脸了才反应。它需要提前看到远处的人、宠物、路障、货架边缘，然后把这些信息交给导航和规划系统。

如果远距离深度一直不稳定，机器人就很容易一会儿误以为前方没东西，一会儿又突然发现障碍物，动作自然也会变得迟疑甚至危险。

第三类难点，是室内复杂场景。

比如家里的玻璃门、窗帘、电视柜、阳台杂物，光照还会随着镜头移动不断变化。以往视觉模型的结果经常会在玻璃、强光、阴影、边缘交界处出现大片破碎和空洞：

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

而LingBot-Depth 2.0的结果则是更连续，墙面、玻璃门、窗帘、地面和近处物体之间的空间层次保留得更完整。

这类任务对于家庭服务机器人来说是比较重要的，毕竟家庭环境中的东西往往摆放很随意，机器人如果要在这种环境里送水、拿东西、避让人和家具，就需要一个足够稳定的空间输入。

第四类难点，是弱光、遮挡和杂乱。

在下面这个室内走廊和房间视频里，门框、墙角、窗帘、桌面、电视等结构交错出现。传统视觉模型的效果，边缘位置容易冒出噪点和缺口；而LingBot-Depth 2.0结果则更稳定，墙面、门框、桌面边缘更连续。

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

这些案例合在一起，其实指向的是同一个问题，即机器人看世界，不能只靠语义理解。

它需要的视觉能力更接近一种空间常识，比如哪里是边界、哪里是空的、哪里能走，哪个物体还离我很远等等。

这也是LingBot-Depth 2.0要体现的几个重点：

边缘更清晰、物体轮廓更完整、细小目标更稳定、远距离目标更可靠，在复杂材质和复杂光照下，深度图破碎和缺失更少。

视频地址：https://mp.weixin.qq.com/s/z1iVG8ZKv3Rj8TOMB6eezQ

但更关键的问题来了，为什么这些提升会发生？

答案要回到LingBot-Vision。

空间原生视觉，为什么要从“边界”学起？

传统视觉基础模型的发展，过去很长时间都在围绕让模型更好地理解图像内容这个目标。

但也正如我们刚才提到的，机器人眼里的世界是不太一样的。

一只猫不只是“猫”这个类别，机器人还要知道猫离自己多远，身体边界在哪里，会不会突然移动，桌子边缘和猫之间有没有安全距离。

所以，具身智能需要的视觉底座，必须更重视几何结构。

而几何结构里，一个很重要的入口，就是边界。

边界不只是物体轮廓，它往往同时意味着深度突变、遮挡关系、空间分割和可交互区域。比如杯口的边缘、门框的边线、桌面的轮廓、行人和背景之间的分界，都会影响机器人后续的移动、避障和抓取。

LingBot-Vision的核心思路，就是把边界和空间结构放到预训练目标里。

为此，团队专门提出了masked boundary modeling，可以理解成一种让模型专门学习难点的自监督训练方式。

普通的Mask modeling更像是随机遮住图像中的一块，让模型猜回来。问题在于，随机遮住的地方可能只是墙面、天空、地板这类信息密度不高的区域。模型猜对了，也未必真正学到了空间结构。

LingBot-Vision的做法更有针对性。

它会让教师模型在线发现图像里的边界token，再把这些边界token强制加入学生模型的mask里。换句话说，模型不能只在容易的平坦区域刷题，而要去学习那些更难、更有空间信息量的边界区域。

这就是boundary-forcing。

更细一点看，边界token还会被分配几何目标。模型不只学习语义，也学习边界场，也就是那些能描述边界位置、方向和几何关系的信号。

为了让这种训练更稳定，团队还引入了分类化的边界场表示，以及a-contrario检验，减少把噪声误当成真实结构的情况。

说白了，LingBot-Vision是在预训练阶段就告诉模型别只盯着“这是什么”，也要学会“它的边界在哪、形状如何、和周围空间是什么关系”。

这也是它和DINOv3这类通用视觉基础模型的关键差异之一。

虽然LingBot-Vision也建立在DINO自蒸馏范式的基础上，但LingBot-Vision额外引入了Boundary forcing机制，让模型在掩码建模过程中更关注形状和物体边界相关结构。

从结果来看，LingBot-Vision是一个约10亿参数级的ViT，通过纯自监督训练，在密集空间任务上可以匹敌或超过参数量最多大约7倍的视觉基础模型；在NYU-Depth v2上，取得所有对比模型中的最佳精度，包括7B DINOv3在内。

更有意思的是，它的蒸馏学生模型也很能打。

论文显示，0.3B学生模型在NYU-Depth v2上能达到与7B DINOv3相当的精度，参数量大约少23倍。对机器人来说，这一点很现实——不是所有机器人都能背着一个巨大的模型到处跑，端侧部署、算力成本、延迟，都得算账。

LingBot-Depth 2.0则是这条技术路线的一个直接验证。

它基于LingBot-Vision升级，在12个深度补全benchmark上取得领先结果。更重要的是，论文里提到，随着下游训练数据增加，LingBot-Vision编码器带来的优势会进一步扩大。

换言之，底座如果更懂空间，后面的深度模型吃更多数据时，优势不会被冲淡，反而可能越训练越明显。

所以LingBot-Vision和LingBot-Depth 2.0的关系，不能简单理解成“一个视觉模型加一个深度模型”。

前者是空间原生视觉底座，后者是空间感知能力的落地验证。Depth2.0之所以能在透明、反光、远距离、小目标、复杂室内场景里表现更稳，背后支撑它的，是LingBot-Vision在预训练阶段就更重视边界和几何结构。

具身要真正上岗，视觉感知很重要

或许提到具身智能，最容易被我们get到的技术是大模型接入机器人，让它们能听懂指令、规划任务，并且和人对话。

但有一说一，当他们真进到工厂、仓库、商场、家庭这些环境里，视觉亦然是非常重要的一个环节。

因为视觉一旦不稳，后面的链条都会受影响。

移动机器人可能绕不开障碍物，机械臂可能抓偏，服务机器人可能误判门、墙、玻璃和人之间的位置，人形机器人也很难在复杂环境中稳定行动。

所以，具身智能真正落地，也需要视觉底座、空间感知、运动控制、硬件传感器一起往前走。

这也是此次蚂蚁灵波开源LingBot-Vision和发布LingBot-Depth 2.0的意义所在。

他们把机器人需要的视觉和空间感知能力，做成一个更容易复用的底座。对机器人企业、开发者和研究机构来说，这有助于降低使用门槛，也能让下游团队更快验证移动、避障、抓取等真实任务。

从场景看，这类能力可以服务移动机器人、机械臂、仓储物流、工业巡检、服务机器人、人形机器人、3D视觉设备和空间计算等方向。

此外，LingBot-Depth 2.0已通过奥比中光深度视觉实验室认证。双方也围绕EGO-RGBD数采设备、SDK和后续一体化相机产品展开合作，说明这套能力正在从论文，继续走向硬件与产品集成。

当然，视觉底座升级不会让机器人一夜之间无所不能。传感器差异、算力限制、场景泛化、控制精度和成本，都还需要继续打磨。

但趋势已经很清楚：具身智能的竞争，正在往更底层走。毕竟，机器人要进入真实世界，第一步就是看准。

当机器人开始更好地理解空间，具身智能离真正上岗，也就更近了一步。

模型权重：

https://huggingface.co/collections/robbyant/lingbot-vision

https://www.modelscope.cn/collections/Robbyant/LingBot-Vision

代码：

https://github.com/robbyant/lingbot-vision

技术报告：

https://arxiv.org/abs/2607.05247

项目主页：

https://technology.robbyant.com/lingbot-vision

— 完 —

量子位 QbitAI · 头条号

关注我们正规炒股在线配资网，第一时间获知前沿科技动态

美港通配资提示：文章来自网络，不代表本站观点。