科技有「联想」圆桌实录 | 从卷模型到拼数据，聊透具身Infra的「真问题」

　6月30日，由联想控股微空间、联想之星及融科资讯中心联合发起的“科技有「联想」·硅基进化论”线下沙龙在京举行。在沙龙圆桌对话环节，智在无界BeingBeyond合伙人郑思鹏、无问智科创始人刘盛翔、幂特科技联合创始人&CTO王志成及云松鼠智能创始人黄骏达4位身处具身智能一线的决策者，围绕当下最为火热的模型、数据、场景等话题进行深度探讨，提出了各自所思考的一些“共识”与“非共识”。

　　本场圆桌对话由《晚点late post》科技作者、AI分析师申远主持。以下为实录内容，略有删减，enjoy：

　　01 人类视频数据：从非共识到共识

　　主持人：去年行业还在讨论仿真数据、真机数据、人类视频数据哪个更重要，今年大家普遍开始说“人类视频数据”是必须的。这个共识真的达成了吗？路线稳了吗？

　　郑思鹏：去年大家主要聚焦在真机数据上，但我们提前意识到，真机数据适配的是VLA那套监督学习范式。监督学习得到的模型只有背板的能力，泛化能力很差，很难在一些out-of-distribution的场景或任务上得到令人满意的效果。原因在于我们拥有的真机数据相比机器人的整个可行动作空间，只占很小的一部分。假设所有的可行动作散布于一个广泛的空间，真机数据只能填满这个空间中很小的一部分。对于预训练来说，我们更希望把可行空间上的所有点用我们的数据均匀填满。对大语言模型来说，互联网语料天然能让训练数据填满所有可行空间，但具身智能真机数据稀缺，做不到这一点。我觉得这也是大家逐渐的关注到人类视频重要性的原因。人类视频一定是跟模型泛化性强耦合的，这个共识会在以后得到越来越多论证。

△图：智在无界合伙人郑思鹏

　　刘盛翔：从更大的维度看，关键是数据量能不能规模化。自动驾驶有天然的数据获取便利性——车已经在路上跑了，还有标准道路。但具身智能是在三维空间里做智能，自动驾驶只是在二维空间，数据需求可能远比自动驾驶大。我们认为，第一人称视角的人类数据是最有可能scaling up的，因为在有具身智能之前，人已经在物理世界里大规模存在了。但只采集人类数据跟物理世界的分布还有偏差，需要仿真合成数据来补充。

　　黄骏达：人类数据很重要，百分百会留存下来，但现在还缺一些Duty Pose信息。现状是大家至少在操作层面，依然还不是很能用好纯人手视频数据，这里面有很多open question。

　　王志成：俊达说的两点非常好，这也是我们幂特科技正致力于去帮助行业解决的事情。我自己本身是做人体姿态识别大概有十年了，在这个领域上做到了国际领先，现在我们公司做的事情是Human-centric具身数据的基础设施，比如Ego，Ego-exo、Wholebody人类视频中的6D pose精准分析。我们也跟国内一些行业巨头合作，共同推动行业发展。说回具身智能的发展，我觉得还是要遵循AI整个发展的逻辑。从AI底层逻辑来看，需要大规模可scale的数据，我觉得人类视频数据就目前来看是非常接近于具身终态这种数据需求的类型。这就需要让全世界70亿人可以为具身数据做贡献——所有需要额外购买设备（进行采集）的可能都只是过渡，我们要让智能手机、监控相机拍到的人类视频为具身智能做贡献。

　　02 数据基础设施：从采集到处理，还有多少路要走？

　　主持人：数据种类有了共识，那下一步还缺什么？数据基础设施还有哪些问题？

　　王志成：目前人类视频采集设备从硬件上分为多种，有头戴的，颈戴，胸戴的。有复杂的、有简单的。我觉得终局应该是以更低成本、更快速可规模化的方式来获取，会逐步收敛到这种类型。去年起已经有很多家公司在使用人类视频做VLM预训练，但只是作为pixel信息被使用，学习的是纹理和亮度等信息。今年初英伟达推出了Ego Scale后，用手势跟踪做预训练被验证更有效率。幂特科技支持所有拍摄设备（包括GoPro，Iphone，头环，单目，多目等）精准解析手势6D pose，设备位姿跟踪、环境点云和全场景语义信息。下游具身模型的公司，可以做预训练，可以做Mid Train，也可以用姿态去做retarget去做后训练。我们的目标是做到数十万小时数据不用人工干预。

△图：幂特科技联合创始人&CTO王志成

　　刘盛翔：在数据方面，目前具身智能领域的头部玩家基本都跟我们有合作。从验证来看，6D pose精度是可用的，但整个训练过程中可能需要精度更高的数据——这就衍生出“Ego加手套”的方案。手套分带触觉和不带触觉两种：不带触觉的，通过腕部摄像头加IMU能把手部姿态估计得非常准确；带触觉的，大家认为可能是终局形态，但触觉到底用视触觉还是压力传感器、力臂力矩等，其实还没有达到共识。这是因为相对视觉来说，触觉的数据格式都还没统一，还在观察和探索中。我们认为触觉一定是需要的，尤其是在复杂操作时，涉及到一些柔体、一些变形操作的时候，力反馈是很重要的。

　　黄骏达：人类数据采集分Locomotion和Manipulation两块。Locomotion基本定了，就是绑带设备之类；Manipulation这块，手套不管是有触觉还是没有触觉的，都还没收敛，产品也很不成熟。头戴的相对成熟，因为VR已经做了很多年。手套在技术路线、触觉分辨率密度、成本等方面都还没定论，这是很大的问题。

　　郑思鹏：智在无界的通用灵巧操作模型从Being-H0到H0.5再到H0.7，已经把数据从千小时迭代到超过20万小时，我们目前也积累了国内当前使用人类视频数据预训练的最大规模。在这个过程中，我们积累了丰富的处理人类数据的经验。比如过程中我们发现，现存人类视频最大的缺陷是“太脏了”，它像黄河里面的泥沙一样。举个例子，Ego4D已经是学术界公认质量最高的数据集之一，但经过我们的数据管线处理，依然有超过三分之二的数据无法使用。但具身领域大部分现有模型都忽略了这点，选择一股脑地把这些脏数据混杂在模型训练当中，这显然会对预训练造成非常负面的影响。数据从“铁矿石”变成“钢铁制品”需要很多工序，需要整个行业一起努力。

　　03 多少数据才够？Scaling的拐点在哪？

　　主持人：多少小时的数据才算够？

　　郑思鹏：这里有个参照物，Meta的V-JEPA 2.1用了一百万小时数据，还远达不到预期效果。智在无界在H0.7上用了20万小时，也还没观察到Scaling拐点出现。当然，训练过程中数据规模和配比是不断变化的，对于不同的场景、任务的数据配比要做一些平衡。在这个情况下，数据处理一直是扩张-压缩-扩张-压缩的过程。按我们的估计，有效训练时长要到百万甚至千万小时。

　　刘盛翔：做自动驾驶端到端模型需要千万Clips，也就是几百万小时。在更复杂的3D空间里要做到好的预训练模型，至少是千万小时起步。这么大规模的数据，成本非常大，所以在预训练阶段需要仿真token数据。未来大规模预训练时，仿真合成数据的占比可能会比真机数据更多，关键是怎么解决Sim2Real的Gap。因此我们无问智科提出由采集世界到生成世界到模拟世界相应的闭环，通过不断去采集真实世界的数据，然后用我们相应的Model去学习到真实世界的数据之后，去生成出来更大规模的相应的仿真合成数据，再通过我们的世界模拟器不断的去跟真实世界进行对齐。通过这样的一个飞轮，我认为就能够更好的去解决或者缩小我们Sim2Real相应的一个Gap。仿真合成数据也好，真机数据也好，我们也不是一竿子打死，而是真正的要利用技术的杠杆，如何不断的去驱动解决Sim2Real的Gap问题。

△图：无问智科创始人刘盛翔

　　04 模型范式之争：VLA还是世界模型？

　　主持人：去年大家都在说VLA，今年上半年又快速转到“世界模型”。这个范式是终局答案吗？还会再变吗？

　　刘盛翔：自动驾驶基本上每两到三年就有一个新范式——从模块化到端到端到VLA，现在到VAM，下一个可能是WAM。世界模型这条路线肯定会有持续突破，但VLA也不是完全不可用，要结合场景。世界模型融合VLA的优点，可能是突破的方向。

　　黄骏达：技术范式肯定还会迭代，世界模型内部的技术参数也说不定会迭代。但方向应该是端到端，具体哪个模型好用就用哪个。VLA和世界模型并不排斥，比如π0.7里就有融合。

△图：云松鼠智能创始人黄骏达

　　王志成：世界模型这个词涵盖很多——文本大模型也是世界模型，是语言世界模型。物理世界模型更复杂，因为我们没有能包含整个世界的Codebook。各条技术路径其实都在往统一的物理规律上努力，会逐步趋近统一。

　　郑思鹏：我觉得无论是VLA还是世界模型，背后是深度学习从监督学习到自监督学习的演变逻辑。至于说世界模型有好多种范式，比如说现在显式和隐式。从智在无界来讲，我们会觉得，隐式可能会比显式更优。其中一个原因是Scaling的难度。这里可以给大家一组数字，50小时的数据，显式大概要用4000小时的GPUs来进行训练，这是显式的成本，对比的话隐式的成本大概是50小时，所以说大概是一个80倍的差距，也就是说如果是把它扩展到20万小时，训一次模型要几千万上亿的投入。对于具身来说，无论是对于训练，还是对于Inference，对于成本和效率的考量，是要放在第一位的。所以这也是我们为什么会选择隐式而非显式的一个主要原因。

　　05 商业化落地：2B先行，2C还要等多久？

　　主持人：刘老师在白板上写“2B率先实现，2C慢三到五年”，这个判断怎么来的？

　　刘盛翔：自动驾驶最重要的就是安全性。模型训出来之后，怎么证明它行不行、怎么测评，比训练本身更难。进家庭不只是证明行不行的问题，是怎么保证安全。L4自动驾驶放开的过程一直在证明安全性。机器人进工厂、进商业服务场景，大不了是财产损失；进家庭可能造成生命安全。机器人应该在工业制造、商业服务这些相对封闭可控的环境里充分验证后，才会真正进入家庭。

　　主持人：具身大脑公司怎么说服客户采购通用大脑，而不是为特定本体设计的模型？另外模型又是如何打造泛化能力？

　　郑思鹏：训练模型动辄数百万、数千万甚至上亿，门槛很高。而对于具身初创企业来说，要把有限的资源去投入聚焦到基础模型的突破上面。这带来的好处，就是在模型算法上的迭代就能更快。智在无界在过去的一年将自己的基础模型迭代了三到四次，是国内迭代速度最快的具身基础模型公司。同样的，很多本体厂商也选择把自己大部分资源投入到硬件上面，因此急需算法模型层面的辅助。对于这些客户来说很多时候大家都是一拍即合式的合作，整个行业都在一起去搭建生态，一家公司很难去把所有事情都做到最好。

　　关于泛化的问题，我觉得人类视频是解决本体异构性的一个很有效的方法。因为人类视频的数量几乎无限，通过大量使用人类视频和人手Motion进行训练，我们能给下游各种各样的本体提供一个训练模板，使得我们的模型能更好地适配下游跨本体。当然我们自己也有在跨本体上做很多相应的适配，包括各种动作空间的统一。我们目前整合了超过30家本体不同的数据，大概有数万小时的规模。（来源：联想控股微空间）