
于虚拟Agent时代,模子依托文本、图象与视频数据实现超过式成长,语言智能、视觉智能走向成熟。 但当AI真正进入物理世界、要让呆板人像人同样灵巧干活时,需要于open-world场景、有交互的处置惩罚多样类型的使命。 以是从更底层能力来看,具身智能需要的不只video/language层面,而是于真实糊口中认知、步履、孕育发生交互,并按照物理反馈连续思索与迭代。 这就象征着具身智能需要进修的,不是一段视频,而是于真实糊口中、天然多样的Human Data。 今天,简智正式发布Gen DAS Dex(如下简称Dex)——实现人手全模态感知与举动的高精度重修,并与Ego共同,改造“Human Data”数据范式,为具身智能提供笼罩“头+手”全场景、邃密化、可直接练习的灵巧举动数据底座。 人类五指颠末数百万年进化,形成27块骨骼+ 34块肌肉+ 24个自由度的周详布局,是面临繁杂、多样灵巧操作的“通用接口”;同时实际糊口中年夜量五指操作,也为模子练习提供了富厚的样本与实例。 那末怎样将手的举动转化为可被理解、练习的数据,面对的是多维度的叠加挑战: 1.高质量、自由度的灵巧手数据极端稀缺:可能是视觉片断,缺乏枢纽关头角度、且指尖空间精度逗留于2-3cm,偏差年夜,有用数据供应远不和财产需求。 2.多模态没法兼备、对于齐:视觉、动作、触觉不完备、差别步,时序错位、空间禁绝,downstream模子难以练习、没法泛化。 3.收罗装备与天然动作冲突:粗笨、遮挡、负重感强,致使动作变形,数据掉真,没法持久年夜范围收罗。 4.头及手自力存于,而非形成“认知+举动的闭环”:仅靠头视角:看患上见,却摸禁绝,邃密操作完全掉效,或者者只有手摸患上准,却看不全,全局操作极易堕落。这些没法组成人举动的物理交互的时空闭环。 5.没法范围化,走出试验室:遥操、动捕等方式都需要巨年夜成本安插园地,没法进入糊口、进入户外。 是以已往的问题于在,上面多个维度是“trade-off”状况,而真正好用的数据需要被同时满意,这也使患上看似有“年夜量的数据、原始素材”,但现实不“好用”。 简智Dex要解决的,恰是这个断层。 Dex不只是一只“数据手套”,而是一整套把人类双手举动与感触感染,转化为呆板可理解、可练习、可泛化的收罗终端。它与Ego协同,初次实现“头+手”全链路、全模态、高精度、低延迟的数据闭环,输出可直接喂给模子的布局化数据。 1.全自由度笼罩,迫近人手心理极限的灵巧还有原 面向最繁杂的邃密操作,Dex用仿生轻量化外骨骼,完备撑持人手23个自由度检测,靠近人手心理全数自由度。不管是指尖捏取、指节弯曲、掌心开合还有是手段旋转,都能完备捕获,让呆板第一次学到人类真正的“手怎么动”。 2.行业顶级精度,为模子迭代筑牢真值根底 精度,决议数据用来练习的效率与价值。 •自研磁编码器实现0.02°枢纽关头角检测,且外骨骼布局使患上于温变与情况扰动下误差极小,无需频仍校准; •搭配高精度IMU与Ego红外+视觉多重定位,终极告竣妹妹级指尖定位。每个微操作都有真值,让模子练习离别“恍惚预计”。 3.行业最全单装备模态,补齐触觉+视觉双焦点 单一视觉永远学不会物理交互。Dex做到真正多模态合一: •指尖搭载高精度磁触觉传感,敏捷度0.05N,空间分辩率1妹妹,清楚捕获抚摩、抓取、按压的物理反馈; •手违/手下方配置150°超广视角摄像头,与Ego View互补,无死角记载抓取全历程。视觉看“怎么做”,触觉懂“用多鼎力大举”,数据价值直接翻倍。 4.头手协同1ms超低延迟,多模态信息靠得住对于齐 具身智能最痛的,是“头看的”及“手做的”对于不上。解决这一问题,不克不及只经由过程云端“拼凑”与对于齐,而是需要从硬件最先就着手解决, Dex经由过程SUB‑G无线协同,同一节制相机快门、暴光、IMU采样等全装备时钟,实现多源数据亚毫秒级对于齐。头部视角、手部动作、触觉旌旗灯号彻底同步,让“眼‑手”协同数据真正可练习、可复现。 5.无感穿着设计,让收罗像戴手套同样天然 动作天然,数据才真实。 •自研磁编码器微型化至3妹妹,整机体积与平凡滑雪手套相称; •合金+弹性聚合复合材质,重心优化,整机仅210g;永劫间佩带、持续繁杂操作、精准抓取都无承担,完全防止“为收罗而演戏”。 6.全场景范围化收罗,当地端压缩/质检,让效率晋升两个数目级 Dex从设计之初就为量产数据而生: •布局自顺应,适配差别手型; •Ego+Dex穿着即采,无需基站、无需场端装备; •语音交互节制,单次续航超3小时; •主动流式无线传输,3分钟完成收罗‑上传全链路,数据收罗效率晋升100倍。让年夜范围、低成本、全天候、真实场景的数据出产成为可能。 假如说互联网数据成绩了语言与视觉年夜模子,那末人类真什物理交互的数据,将成绩具身智能。 Dex的意义,远不止一款硬件: •它第一次用单装备实现手部全自由度+高精度+触觉+视觉+头手同步的一体化收罗; •它把“经验收罗”从试验室搬到一样平常场景,让数据可范围化、可尺度化、可互通复用; •它与Ego协同,配合界说Human Centric数据新范式,为具出身界模子提供最焦点的“头+手”举动数据源泉。 已往,呆板人靠编程与仿真模拟动作;将来,呆板人将经由过程Dex进修亿万次人类真实操作,真正理解物理世界。 写于末了 简智 Dex 的发布,是具身智能数据基建的要害一步。咱们再也不满意在让呆板人 “动起来”,而是要让呆板人学患上会、做患上稳、用患上天然。以Dex 为收罗进口,以全模态高精度数据为燃料,以头手协同为骨架,一个可连续堆集、连续迭代、连续泛化的物理智能时代,正于到来。让呆板人,从进修人类的双手最先。 雷峰网版权文章,未经授权禁止转载。详情见转载须知。


