图为KineDex实验操作

　　近日，在同济大学、清华大学、上海交通大学及香港大学等高校科研团队的共同努力下，机器人灵巧操作技术实现重大突破。研究团队提出的KineDex创新示教与策略学习框架，以“真·手把手”的直观方式，将人类动作精准传递至机器人灵巧手，同步采集高保真触觉与力度信息，极大提升了机器人完成精细操作任务的能力。目前，搭载该系统的灵巧手已能自主完成拧瓶盖、挤牙膏等复杂日常操作，在九类测试任务中平均成功率达74.4%，数据采集效率较传统遥操作方法提升超两倍，研究成果被国际会议CoRL2025接收，为服务机器人在真实场景的应用提供关键技术支撑。
　　长期以来，机器人学习精细操作任务面临高质量“示范数据”稀缺难题。当前主流的远程操作和视频学习方法存在明显局限。远程操作缺乏真实触觉反馈，操作效率低且易失败；视频学习则因机器人与人类形态和运动方式差异，难以准确模仿，也无法获取关键触觉信息，导致机器人难以掌握需接触推理和力调节的复杂技能。
　　针对这一瓶颈，研究团队提出KineDex框架，核心思路是回归“手把手教学”。硬件上，系统配置搭载灵巧手的机械臂，利用两台RGB相机采集视觉数据，一台提供全局场景视角，另一台安装于机械腕部实现近距离感知。数据采集时，操作者通过穿戴在灵巧手指背的环形绑带带动机械手指完成任务，这种设计自然且符合人体操作习惯，还能实时反馈接触力，让操作者获得真实“手感”。
　　系统在每次演示中同步记录多模态数据，但原始数据因画面出现操作者的手，不能直接用于模型训练，否则会导致模型偏离真实分布。为此，团队引入图像修复技术，用Grounded-SAM提取人体遮挡区域掩码，再通过ProPainter模型精准剔除原始图像中人体部位，生成“纯净”视觉帧序列，解决了视觉分布不匹配问题。
　　完成数据预处理后，系统通过视觉—触觉融合策略学习，同时接收图像和触觉信息，预测灵巧手关节目标位置与接触力，借助力控模块实现稳定柔顺执行，增强了接触密集型任务的鲁棒性。
　　为验证KineDex有效性，团队设计了九项具有挑战性的日常任务。实验采用星动纪元研发的灵巧手XHAND1，其每根手指具备多个运动自由度和120个触觉传感单元，能灵敏捕捉压力变化和接触形态。实验结果显示，KineDex在多数任务中表现稳定，基础操作成功率接近100%，复杂任务成功率超50%。消融实验表明，力度控制、触觉输入和图像修复处理对任务成功率影响显著。
　　相比传统遥操作方式，KineDex在采集效率和成功率上优势明显。在注射器任务中，单次示教耗时仅为遥操作的一半，简单抓取任务中甚至缩短至三分之一。用户研究也显示，操作者认为KineDex更易上手、更适合复杂任务数据采集。
　　该研究提供了高效自然的机器人示教新范式，凸显了多模态融合尤其是触觉与视觉协同在灵巧操作中的核心价值。随着技术成熟，具备精细操作能力的机器人将在多领域发挥更大作用，成为人类生活的得力助手。 

（杜敏）