第一人称视角 · Egocentric Data

从第一人称视角(Egocentric)视频中还原任务、动作与交互

第一人称视角数据(egocentric data)记录操作者看到什么、接触什么以及如何完成任务。视角变化、手部遮挡和连续动作,使egocentric数据比普通视频更难治理和标注。

KeenTruth将连续egocentric视频转化为具有任务层级、动作语义、对象关系和质量结果的训练数据。

01

可以处理什么egocentric数据

  • 头戴设备采集视频
  • 第一人称手部操作视频
  • Egocentric人类示教数据
  • 家庭、办公和工业任务视频
  • 带自然语言指令或任务元信息的视频
02

常见质量问题

视角快速变化

头部运动造成模糊、对象短暂消失和边界难判断。

手部与对象遮挡

精细操作中手、工具和目标物体频繁互相遮挡。

动作连续且边界模糊

完整任务由多个连续动作组成,需要一致的拆分层级。

执行方式存在差异

不同人员使用不同顺序、速度和习惯完成同一任务。

03

Egocentric data annotation服务

  • 任务、子任务和动作阶段划分
  • 动作语义与自然语言描述
  • 物体框、类别、属性和状态
  • 手部关键点与抓握状态
  • 手物、工具与环境交互关系
  • 成功、失败、中断和重试标注
04

适用训练任务

  • Egocentric行为理解
  • VLA模型训练
  • 长序列任务分解
  • 手物交互理解
  • 操作技能学习
  • 任务规划与过程预测

FAQ

常见问题

什么是第一人称视角(Egocentric)数据?

Egocentric data是从操作者自身视角记录任务和交互过程的数据,能够同时呈现对象、手部动作、工具使用和任务状态。

动作词表由谁提供?

客户可以提供已有词表,也可以由KeenTruth根据任务样例和模型目标协助整理。

手部遮挡严重时如何标注?

规范会明确可见、部分遮挡、完全遮挡和不可判断等情况的处理方式。

可以只做任务分解吗?

可以。标注模块可以根据模型任务和预算独立组合。

联系方式

让原始数据更快进入模型训练

如需了解具身数据治理、标注或质检方案,请通过飞书或邮件与乾衡数智联系。