为应对人机协作(HRC)的快速发展,一个研究团队近日发表了一款全新的大型资料集。此资料集专注於人机共存环境中的人类组装与拆卸动作,包含超过 10,000 笔样本,由 33 位不同特徵的叁与者贡献。所有数据均透过多视角摄影机同步录制,提供 RGB 影片及 2D/3D 人体骨架资料。
此资料集的核心价值,在於它填补了现有研究的关键缺囗。它特别突显了真实工业场景中的挑战,例如机器人移动时对人类造成的「部分遮蔽」(Partial Occlusions)、难以区分的相似重复性动作,以及不同叁与者的多变行为模式,这些都是过去资料集所忽视的。
研究人员指出,现有的人体动作资料集多半有局限性。许多资料集(如 Kinetics)仅关注「挥手」等简单日常活动,缺乏任务顺序;而部分 HRC 相关资料集要不依赖穿戴式装置,硬体门槛高,要不就缺乏人机互动干扰(如遮蔽)的真实动态情境。
为克服这些限制,新资料集在设计上强调实用性与泛化能力。首先,它仅使用三台市售的网路摄影机(Webcams)进行非接触式拍摄,大幅降低了硬体门槛。其次,数据来自 33 位不同性别、身高、体型的叁与者,有助於训练出更稳健、泛化能力更强的模型。
在任务设计上,团队采用了一套可 3D 列印重现的齿轮组装系统,方便全球研究者重现实验。此资料集不仅反映了真实世界的不确定性(如遮蔽),更提供了原始影片、精确注释及 Python 脚本,确保了研究的透明度与可重现性。
团队利用 13 种先进的深度学习模型进行了基准测试。结果显示,模型的「离线」分析与「线上」即时推论间存在显着性能差距,这为未来研究指明了方向。此资料集的开放,预期将大力推动人体动作预测、机器人任务规划及人机协作策略的进一步发展。