语言模型的训练靠的是互联网留下的万亿级免费语料,机器人没有这种运气。没有人在网上随手拍下过"手指施加多大力气才能拧开瓶盖"这种数据,也没有人记录过抓鸡蛋时该用多少牛顿的力量。这正是 Josh Gao 和他的公司 Mecka AI 要解决的问题——他们不是在训练模型,而是在制造模型所需要的原材料。
Josh 是 Mecka AI 的创始人兼 CEO,这家公司被 Sonya Huang 称为"机器人数据生态里最有意思的一个站位":既不直接做机器人,也不直接做基础模型,而是站在中间,负责创造、处理、最终授权那些喂进机器人基础模型里的数据。在 Sequoia Capital 的这场对话里,Josh 讲清楚了一件此前很少被公开拆解的事情——一个"机器人数据工厂"到底是怎么运转的。
出处很简单:Josh Gao 做客 Sequoia Capital 的播客,由 Sonya Huang 主持,谈的是机器人数据这个行业里少有人愿意细讲的脏活累活。
1. 机器人数据是三件事:像素、动作和逻辑
Mecka 的定位是"物理 AI 的数据与部署公司"。Josh 把这件事拆得很具体:今天训练机器人基础模型,需要的是像素、动作和逻辑,而这三样东西恰恰是机器人行业从未拥有过的。
语言模型有网络爬虫留下的冷启动红利,机器人没有。行业里不存在一个现成的、干净的、可以直接拿来用的数据集,所以 Mecka 的核心工作变成了三段式的:开发给人类穿戴的传感硬件,组织跨行业跨场景的个人和企业去采集数据,,最后自己把控质量关卡,把这些原始素材变成真正能喂给模型的东西。
2. 没有互联网红利,这件事还经济可行吗
Josh 并不认为机器人数据行业是从零开始的。他把预训练数据的历史拿来做参照:在 LLM 领域,预训练数据长期是实验室自己用网络爬虫来解决的事,从未真正变成一个独立的大市场。而在机器人领域,情况正好相反——预训练数据本身已经是一个相当大的市场,而且形式更多元,比如训练视频模型去生成更符合物理规律的世界模拟。
至于规模能不能撐到足够训练出通用模型,Josh 给出的答案是:这取决于在每个数据规模节点上能解锁哪些商业场景。他的判断是,早期能解锁的是简单的"拣选放置"类任务,而随着数据规模继续扩大几个数量级,,长尾任务才会慢慢被打开。
3. "教机器人认识碳基生命":一个科幻式的隐喻
Mecka 的官网上有一句很怪的话——"教机器人认识碳基生命"。Josh 承认这是他自己在第一次发推特公告的前一晚临时写的。
这句话背后是一个科幻叙事里反复出现的母题:当机器人和 AI 最终完全泛化、解决了人类能做的一切任务,最后的边界会是生物本身。阿西莫夫写过,《安德的游戏》写过,《银河系漫游指南》的结尾甚至让一整颗星球变成了一台巨大的有机计算机,试图搞清楚生命的意义到底是什么。
Josh 把这个隐喻落到了具体的物理参数上:人脑只用 20 瓦就能运转,而且具备自我修复能力。 在教会机器人完全泛化的路上,,他们打算一步步把"碳基生命到底是怎么构成的"展示给机器人。
4. 从云厨房 POS 机到稳定币,两个加拿大人为什么选了机器人
Josh 的背景跟机器人行业的传统路径完全不搭。创业之前,他在做一款给云厨房用的 POS 系统,干的是后厨订单管理这类脏活——大四那年甚至经常跳课,跑去纽约罗切斯特的乡下给餐馆装自助点餐机,通宵替换前台系统。他的联合创始人更极端,此前做过一个稳定币项目,最后卖给了 Coinbase,业余时间还是《英雄联盟》等多款竞技游戏的全球千强玩家。
两人走到一起,一是都是加拿大人,二是都有很深的科幻情结。他们的判断很直接:支付是个难而无趣的问题,下一件事无论是什么,都该是让人觉得兴奋、让人觉得未来会很精彩的领域。机器人正好符合这个标准。
5. 用一张 Ego4D 论文,从零开始建立行业判断
没有机器人背景反而成了 Mecka 的优势。Josh 说,他们进入这个领域时被迫走了一遍完整的"发现流程"——联系了数百位行业里被他们尊重的人,把能找到的论文都读了一遍,去拜访不同的机器人实验室。
那是 2024 年末,GPT 正在起飞,传统机器人学还在从旧范式里转型。Josh 和团队当时的判断是,数据和算力会在这个行业变得极其重要。带着这个"第一性原理"视角,他们重新去看 Ego4D 这类论文——里面大约有 4000 小时的人类第一视角演示数据,内容五花八门,甚至包括有人打保龄球的日常片段。用一个全新的眼光去看待这些已经存在的数据集,反而让他们比行业老手更早看清了未来的训练配方该往哪个方向走。
6. 把人类变成机器人的"车队学习"样本
第一视角数据,指的就是人类用第一人称视角拍摄自己完成任务的视频。Josh 解释了这个赌注背后的逻辑:机器人经验世界的方式本身就是第一人称视角,所以如果能让模型也看到人类是怎样从第一人称视角与世界互动的,就能缩小人类数据和机器人数据之间的视觉鸿沟。
当时团队观察到的另一个现实是,机器人数据的主要来源是遥操作——人类直接控制机器人完成演示——这种方式极难规模化。参照 GPT 的 scaling 逻辑,他们必须找到办法大幅扩大数据规模。人类和机器人身形相近,人形机器人刚刚开始起飞,Josh 的判断是:为什么不能把人类变成特斯拉 FSD 式的"车队学习"样本,共同为理解和建立世界的物理规律做贡献?
7. 中国阿姨大叔的厨房视频,是第一次试点
Mecka 最早的试点方式非常朴素:做一个手机 App,让中国的阿姨和大叔们录下自己做饭、打扫、干各种家务的视频。这套方法后来演变了很多——他们尝试过 Umi 风格的数据采集,把各种能想到的方式都试了一遍,最终演化成了现在一整套定制硬件和跨行业合作伙伴体系。
贯穿始终的主线没有变:Mecka 在做的事情,本质上是给人类"装传感器"。
8. 力量数据的缺口:手套比摄像头更难,也更重要
自动驾驶不太需要力量数据,但机器人操作恰恰相反——拧瓶盖用多大力,捏鸡蛋用多大力,这些信息视频根本拍不出来,最多只能近似。Josh 承认目前行业里常见的替代方案是腕部摄像头,通过观察手和物体的接触时间去反推力量大小,但这终究是一种"投机取巧"的办法,离真正测出多少牛顿还差得远。
Josh 的判断很直接:力量数据会变得极其重要。Mecka 正在开发的产品之一就是给人类佩戴的手套,专门用来采集日常生活和各类任务中实际用了多大的力。和多家机器人基础模型实验室反复迭代之后,团队意识到要补上这个缺口,第一步永远是先造出此前根本不存在的硬件。