发布日期：2026-06-20 04:15 点击次数：150
新智元报谈乐鱼三公
裁剪：裁剪部
【新智元导读】「OpenAI机器东谈主」一出世惊艳世东谈主！最近，李飞飞团队打造了一个开源便携式手部动捕系统——DexCap，本钱仅3600好意思元，就能让机械机灵手完成形貌任务。
皇冠客服飞机：@seo3687OpenAI大模子加持的机器东谈主Figure 01，昨天火爆了全网。
www.ob33666.com而今天，信得过「开源版」的擎天柱/Figure 01出身了，况且背后团队还将本钱打了下来。
本钱只好3605.59好意思元！
它领有一对机灵手，就比如沏茶，先是拧开瓶盖，再拿茶镊将茶叶挑进杯中，并放回原位。
快看，它能一手拿着剪刀，一手拿着便利签纸，试验东谈主类剪纸这一动作。（不外剪断的这个进程好难）
它还不错将胶带纸，放到收纳的纸盒中，一手拿胶带摆放，一手将盒子推近。
况且非论这个物体是什么，它都能照样完成。
与前段时间爆火的炒虾机器东谈主不同的是，「机灵手」并非通过长途操控完成任务。
是因为，凭借一副特制的手套，它不错通过多样捕捉得手部精准的通顺数据。
这恰是由Chen Wang、李飞飞和Karen Liu等东谈主淡薄的「便携式手部动作捕捉系统」——DexCap。
论文地址：https://arxiv.org/abs/2403.07788
DexCap是一套基于SLAM、电磁场，以及对环境的3D不雅察，便能及时追踪手腕和手指通顺的系统。
与传统基于视觉动捕技能不同，它不会因为视野诡秘，而无法集聚数据。
与此同期，他们还筹办了全新的效法算法DEXIL，才用了逆通顺学和基于点云的效法学习。
当手部动作数据集聚完成，DexCap就会诳骗背包中的迷你PC，通过RGB-D相机重建3D场景。
然后将通顺数据与之对都，这么，就不错取得十分精准的手部动作模子，可用于进一步的机器东谈主检修。
值得一提的是，在对具体6项操作任务评估中，DexCap展现出不凡的完成才调。
况且，它还不错从田野动捕数据中灵验学习，为未来机灵操作的数据集聚规律提供了规律。
Jim Fan合计DexCap是「低配版的Optimus」，要害只好3600好意思元，一般东谈主也能买得起。
另外，他还挑升强调，数据集聚和机器东谈主的试验是分离的。
还有网友称，「DexCap都备颤动，咱们正在插足个东谈主机器东谈主与个东谈主AI的下一阶段」。
全新手部动捕系统DexCap乐鱼三公，不怕诡秘
DexCap系统中枢筹办，就在于前向后向设置的组合。
具体来说，正面筹办的胸部相机架上，配备了一个RGB-D激光雷达录像头和三个SLAM追踪录像头。
后面的背包中，有一个迷你PC，以及电源为系统供电。纯粹可进行40分钟的数据集聚。
此外，还需要一个动捕手套，以便进行手部动作的捕捉。
追踪录像头领先舍弃在胸前机架上，进行校准。
然后在具体数据集聚进程中，将录像头从校准架上取下，装配到特制的手部支架上。
记者留意到，像周女士一样从第三方平台购买导游服务的游客不在少数，有不少人曾公开发帖或拨打上海12345市民服务热线，投诉导游服务“货不对板”。这到底是怎么回事？
这么，系统就不错不竭追踪手部的位置。
不错看到，网球被放进框里，再倒出来，所有这个词动作都明晰可见。
机器东谈主更多的检修数据，这不就来了么。
数据可视化：点云不雅测中的3D手部运捕数据
再来看数据采集糊涂量，DexCap不错兑现与东谈主类当然通顺同水平的恶果，况且是长途操作的3倍。
葡京娱乐场app
再看如下用固定的手势抓住杯子手柄的动作。
VR头显使用了基于视觉的手部追踪规律，却因严重诡秘而无法准确追踪手部动作。
皇冠信用网地址显著，DexCap无阻挠集聚了手与物体交互的数据。
从东谈主类行动效法学习
商酌东谈主员的指标是诳骗DC记载的东谈主手动作捕捉数据，来检修机灵机器东谈主战术，这个进程中会濒临3个问题：
（1）何如将东谈主手的通顺再行定位到机器东谈主手？ （2）什么算法不错学习机灵的战术，况且要顺应双手动作的高维空间？ （3）商酌成功从东谈主类动捕数据中学习的失败案例以及潜在的束缚决策。
为了应酬这些挑战，商酌东谈主员引入了DexIL，一个使用东谈主手动作捕捉数据检修机灵机器东谈主的三步框架。
第一步，将DEXCAP数据再行定位到机器东谈主实施例的动作和不雅察空间。
第二步，使用再行定位的数据检修基于点云的扩散战术。
临了一步，不错禁受东谈主机交互来进行校正，旨在束缚战术试验时间出现的意生人为。
博彩评级2017动作重定向：
LEAP手比东谈主手大了约50%乐鱼三公，这种尺寸相反使得很难将手指通顺成功转念到机器东谈主硬件上。
为了束缚这个问题，商酌东谈主员使用指尖逆向通顺学（IK）来筹画16维要津位置，并使用动捕手套追踪东谈主体手指的通顺，手套把柄电磁场（EMF）测量手指联系于手掌的3D位置。
视觉差距：
不雅察和状况示意遴荐关于检修机器东谈主战术至关蹙迫。为了进一步弥合东谈主手和机器东谈主手之间的视觉差距，商酌东谈主员使用正向通顺学生成机器东谈主手的点云网格，并将其添加到点云不雅察中。
使用相机参数将DCdata中LiDAR相机拿获的RGB-D图像调理为点云。这种稀奇的调理提供了两个权贵的刚正。
起初，由于DEXCAP允许东谈主体躯干在数据采集进程中当然移动，因此成功使用RGB-D输入需要研讨移动的相机帧。
而通过将点云不雅测调理为一致的宇宙坐标系，不错间隔并摒除躯干通顺，从而兑现雄厚的机器东谈主不雅察。
其次，点云提供了与机器东谈主操作空间对都的活泼性。由于在田野拿获的一些通顺可能超出了机器东谈主的通顺规模，是以需要诊疗点云不雅测和通顺轨迹的位置来确保操作规模的可行性。
不雅察重定向：
为了简化在东谈主和机器东谈主之间切换相机系统的进程，相机机架的后面集成了一个快速开释带扣，不错在不到20秒的时间内快速更换相机。
通过这种情势，保证机器东谈主不错使用东谈主类集聚数据时的归并台相机。
网站以其独特博彩服务理念多样化博彩游戏赛事直播，广大博彩爱好者提供最佳博彩体验最高博彩收益。
通过上述筹办，DexIL不错成功从DCdata学习复杂的机灵操作手段（比如拾取、舍弃、双手联接等），而无需机器东谈主数据。
30分钟东谈主类数据，机器东谈主「学废了」
把柄上头的分析，起初通过RGB-D不雅测构建3D点云，并调理到机器东谈主的操作空间，将DexCap数据重定位到机器东谈主实例中。
同期，手部动作捕捉数据也要重定位到带有指尖IK的机械臂。
基于这些数据，学习扩散战术，将点云动作输入，并输出一系列未来指标位置动作机器东谈主动作。
上图展示了DC以3D神情捕捉夺目手部通顺的才调，将东谈主类动作与所有视图中的对象点云对都。
黄色列示意重定位后的机器东谈主手部动作，咱们不错看到它们与蓝色列在归并3D空间中精准对都。
上图中，将DC与起初进的基于视觉的手部姿态算计规律HaMeR进行了比较，从相似的角度不雅察它们的性能。
HaMeR在严重诡秘的情况下发扬欠安，要么无法检测得手，要么无法准确算计指尖位置。比较之下，DC在这些条目下发扬出邃密的鲁棒性。
爆发力已矣演示：
皇冠体育靠谱吗下图的捡球任务，只使用30分钟的东谈主类动作捕捉数据来学习战术，无需任何长途操作。
双手操作任务：
欧博娱乐网站先集聚双手的东谈主体动捕数据，然后进行完全自主的战术部署。
用DexCap进行RLHF
DexCap系统在试验任务时提供了两种方便的东谈主在回路改良，让用户大约把柄需要活泼诊疗机器东谈主的动作：
博彩bet356手机登录1. 残差改良模式：
系统会及时捕捉用户手腕的微细位移变化，并将这些变化动作稀奇的动作请示加入到机器东谈主的动作中，从而兑现细密终局。这种模式不错兑现最小的通顺，但需要用户进行更精准地终局。
2. 遥控操作模式：
通过逆向通顺学算法，用户的手部动作会被转动为机器东谈主末端试验器的相应动作，适用于需要全面终局机器东谈主的场景，但相对而言需要用户付出更多的奋发。用户不错通过通俗地踩下脚踏板来在这两种模式之间开脱切换。
临了，这些改良动作会被记载并保存在一个新的数据蚁集，并与原始检修数据一谈进行均匀采样，从而更好地诊疗机器东谈主的行动战术。
微调后：沏茶
通过分析1小时东谈主类动捕数据并进行30次东谈主在回路改良后学到的战术：
微调后：使用剪刀
通过分析1小时东谈主类动捕数据并进行30次东谈主在回路改良后学到的战术：
硬件教程
地址：https://docs.google.com/document/d/1AN xSA_PctkqFf3xqAkyktgBgDWEbrFK7b1OnJe54ltw/edit#heading=h.t3oe3oo3ujny
CAD 模子清单 打印项目包括：
- 中心相机架和一语气板
- 两个手套相机支架（隔离为左手和右手筹办的镜像版块）
- 两个T265相机的后装板（一样需要傍边镜像）
联系的STL文献如下：
地址：https://drive.google.com/drive/folders/1pfUISMJTJU68g6HkjKkiJAOBtRBKKByx?usp= sharing
为了确保打印出的零件大约顺畅运作，建议将滑槽部分的打印角度保持在与Z轴的歪斜角度在45度以内。
作家先容
Chen Wang
论文一作Chen Wang是斯坦福大学CS的别称博士生，导师是李飞飞西席和C. Karen Liu。
在加入斯坦福大学之前，他曾在Machine Vision and Intelligence Group使命，导师是Cewu Lu西席。
参考而已：
https://dex-cap.github.io/