Light-O1
以人类动作预训练实现全身智能的规模化
人类视频记录了人在真实世界中如何行动、如何与环境交互。这些经验的规模和多样性，是单靠机器人采集数据难以覆盖的。我们从视频中提取动作知识，通过预训练形成可迁移的人类动作先验。实验表明，随着预训练规模扩大，模型适配不同本体后的下一动作预测损失和全身姿态误差均呈幂律下降。这就是我们构建 Light-O1 的基础：通过规模化预训练，让机器人从丰富的人类经验中学习全身智能。
引言
机器人要具备物理世界中的通用智能（Physical AGI），就需要把理解与行动连起来：既能理解语言指令和眼前的空间环境，也能协调全身，做出合适的动作。行动会改变环境，新的观察又会影响下一步的推理和行动。这里所说的全身智能，正是在这样的闭环中发挥作用。要让这些能力适用于不同任务和环境，模型需要掌握丰富且可迁移的动作知识，也就是物理世界中的动作先验。
目前，机器人动作模型仍高度依赖专门采集的数据。例如，π₀ 的预训练使用了超过 1 万小时的机器人示范数据[1]；其他数据来源还包括由人操作手持设备采集的数据（UMI 类方式）[2][3]，以及第一视角人类采集数据[4]。这类数据能为模型适应具体本体和观察视角提供特定的监督。但要覆盖日常活动的各种变化，包括不常见的长尾情形，采集成本和时间投入仍然很高。已有的人类活动视频，则提供了另一种丰富的动作知识来源。 穿行于不同环境、使用工具、与物体和他人互动，视频不仅记录了人怎么动，也记录了当时的情境，以及行动带来的环境变化。问题在于，人的身体结构、观察视角和控制方式都与机器人不同。如何跨越这些差异，把视频中的动作知识迁移给机器人，是我们要解决的核心挑战。
基于压缩即智能的思想[5]，我们提出人类动作预训练来解决这个挑战。语言模型通过预测下一个词元进行预训练[6]，将语言和代码中的知识与推理方式压缩为可复用的先验。我们把这一思路用于学习人的行动经验：在什么情境下采取什么行动，行动如何改变环境，又如何根据反馈作出调整。为此，我们先从视频中还原人类动作，建立统一的人形动作表征，再用动作分词器（Action Tokenizer）进行高保真的动作离散化（Action Tokenization），将连续动作转换为离散的动作词元（Action Token）。动作、语言和视觉观察沿时间顺序交错排列，组成多模态序列。我们在这些序列上大规模预训练自回归 Transformer[7]，让模型学到可迁移的人类动作先验。随后，再用专门采集的机器人数据进行适配，让这些能力适用于具体的机器人本体和任务。
这套方法呈现出跨本体迁移的规模化定律。我们分别在三类数据上进行适配验证：公开的第一视角人类采集数据、公开的人形机器人遥操数据，以及自研人形机器人采集的移动操作数据。在我们实验覆盖的规模范围内，预训练规模越大，适配后的下一动作预测损失和全身姿态误差越低，且符合幂律关系。所有指标均使用不包含于训练数据的独立评估数据集计算，姿态预测误差采用开环评估。
基于以上基础，我们推出 Light-O1，把语言推理、视觉空间理解与全身协调结合在同一个模型中。我们展示两类相互补充的能力。一类是移动操作：指令给出要完成的任务，模型根据眼前环境决定怎么做。另一类是丰富的全身动作表现能力：指令直接描述意图、语义、不同约束，模型通过思考生成相应的全身动作。我们通过真实场景演示，以及人形机器人操作和人类动作生成的定量评估，展示预训练学到的人类动作先验如何同时支撑任务执行与动作生成。
跨本体迁移的规模化定律
实验中，我们观察到跨本体迁移的规模化定律：随着预训练规模扩大，模型适配后的下一动作词元预测损失和全身姿态预测误差呈幂律下降。预训练过程中学习到的动作先验可以迁移到不同的本体结构、相机视角和任务指令。这为以人类动作预训练实现全身智能的规模化提供了依据。
我们用 D 表示预训练处理的多模态词元总量，包括语言、视觉和离散动作词元，并以此衡量预训练规模。以一个 40 亿参数（4B）的基础模型为起点，我们分别训练六个模型，词元总量从 37.5 亿（3.75B）到 1,200 亿（120B），最大一档对应 10 万小时人类动作数据。评估时，我们使用从视频中还原、且未参与训练的人类动作，计算下一动作词元的预测损失（交叉熵）。
迁移规模化定律
扩展人类动作预训练规模，使跨本体预测误差呈幂律下降。
人类动作预训练
下一动作词元预测损失
第一视角人类采集数据
下一动作词元预测损失
身体姿态预测误差（毫米）
宇树G1 机器人
下一动作词元预测损失
身体姿态预测误差（毫米）
LightBot · 自有数据
下一动作词元预测损失
身体姿态预测误差（毫米）
D · 多模态预训练词元总量（B）
详细实验设置
预训练设置
所有模型均从 Qwen3.5-4B 开始训练。预训练的多模态词元总量 D 分为六档，从 3.75B 到 120B，每档独立训练一个模型。同一系列实验中，基础模型、动作分词器和数据配比保持一致。每次训练都走完各自的学习率调度，最终检查点先在人类动作额外评估集上接受评估，再作为后训练的起点。
后训练设置
不同预训练规模下如何比较。 我们先为每个目标数据集搜索合适的学习率，再从各个预训练检查点出发，多次进行后训练。对同一目标数据集，后训练的词元总量固定，只改变批次分配方式和随机种子；同一目标上的各次实验共用同一个额外评估集。每项指标均取本次评估的训练运行和检查点中的最佳结果，再用各档预训练规模对应的最佳值拟合迁移曲线。
开环姿态评估。 模型根据语言指令、此前的视觉观察和此前已知的真实动作前缀，预测接下来一秒的动作。评估比较的是预测动作与已记录动作之间的误差。我们用前向运动学求出关节位置，在以骨盆为中心、朝向对齐的坐标系中，计算平均关节位置误差（MPJPE）。每次生成四组候选动作，按局部姿态误差选取最好的一组。图中的姿态误差条表示所评估检查点窗口内的 ±1 个标准差。
幂律拟合
各组数据均拟合为 L(D) = L₀ + αD−η。在幂律视角中，log(L − L₀) 对 log D 的拟合斜率为 −η。
对于下一动作词元预测损失，我们通过不加权非线性最小二乘法，在原始观测值上联合拟合 L₀、α 和 η。对于全身姿态预测误差，则将 L₀ 固定为动作分词器在同一额外评估数据及评估帧上的实测重建误差，再以不加权最小二乘法拟合 log(L − L₀) 与 log D 的关系。
从人类动作到机器人全身智能
Light-O1 基于大规模人类动作预训练构建。我们利用互联网规模的视频，让模型学习全身动作知识。借助统一的人类动作表征，它可以部署到不同的人形机器人上，将人类的动作技能迁移给机器人，并利用人形身体的运动学冗余、灵巧性和适应性来协调全身。下面重点展示两类能力：移动操作，即给出任务，由策略决定具体怎么做；以及丰富的全身动作表现能力，即直接按照指令完成相应动作。
移动操作
给出一句任务指令，Light-O1 会先找到需要交互的物体，再根据眼前的环境，协调移动、身体姿态和灵巧操作来完成任务。同一个模型能驱动身体结构和手部构型不同的人形机器人，既能处理刚性物体，也能处理柔性物体。
丰富的全身动作表现能力
人类动作预训练带来的能力，也直接体现在丰富的全身动作表现能力上。无论是单膝跪地求婚，还是挥动高尔夫球杆，只需一句描述动作的指令，Light-O1 就能推理身体各部分该如何配合，生成完整动作，并在机器人上执行。下面的每个示例都包含推理过程、动作可视化和真机执行视频，可以逐一对照。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
从站立开始，逐渐降低重心，右膝着地，完成单膝跪地。随后向前伸出双臂，手持戒指，平稳地送到对方手中。全程保持上身朝向对方，动作轻柔、庄重。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
双脚分开与肩同宽，膝盖微屈，上身前倾，对准地面的高尔夫球。躯干向右旋转完成上杆，再快速向左旋转，带动双臂挥杆击球。击球后自然顺势挥杆，最后恢复稳定站姿。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
双脚并拢站立，双臂自然垂于身体两侧。随后将重心移至右脚，左脚抬至小腿高度，双臂向两侧展开以保持平衡，维持单脚站立。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
双臂向上伸展，上身前屈，双手撑地，双腿越过身体上方，完成一次侧手翻。双脚落地后稳住身体。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
转身面向黑板，拿起蓝色抹布，抬起双臂，带动抹布在黑板上大幅横向和纵向移动，擦去字迹。
推理过程查看推理收起推理
以下推理文字译自模型的英文输出。
向后迈步，身体略向右转，充分屈髋屈膝，右手向下伸出抓住物体，再将其提起。
定量评估
扩大预训练规模，究竟带来了多少能力提升？我们从两个方面进行评估：在人形机器人操作任务中，检验 Light-O1 能否完成家居任务；在人类动作生成任务中，检验生成的动作是否符合指令。两项评估都与已公开的模型进行比较。
人形机器人操作
我们在人形机器人仿真基准 RoboCasa GR-1 上评估任务完成能力。机器人配备双臂和灵巧手，需要完成 24 项厨房桌面任务，例如在台面和容器之间搬动物品，或把物品放入橱柜、抽屉、微波炉后关好。在每项任务运行 50 次的评估中，Light-O1 的平均成功率为 79.3%（对 24 项任务取宏平均），高于所有公开模型。
实验设置与结果来源
- 所有模型都使用该基准的仿真遥操作数据训练，数据包含 24 项任务，每项 1,000 条轨迹。评估时，每项任务运行 50 次，再对 24 项任务的成功率取算术平均，得到宏平均成功率。
- GR00T N1.7 和 π0.5 由我们训练：GR00T N1.7 采用 NVIDIA 官方微调方案[11]，π0.5[12]则在 OpenHLM 框架下训练[13]。
- DIAL 的结果引用自其论文[14]。
人类动作生成
我们以人工评估为主要依据，同时用自动评估作补充。人工评估是判断动作生成质量的金标准：累计超过3万次指令评估，由评审者两两比较不同模型的生成结果。Light-O1 在语义遵循、表现力和可接受性三个维度上均取得较高评分。在每个维度中，即使取 Light-O1 得分最低的动作类别，也高于两个基线模型各自得分最高的类别。拟合得到的 Elo 评分为 1472.8；HY-Motion-1.0[15]为 1078.3，相差近 400 分；Kimodo[16]固定为 1000 分，作为评分的参照。自动评估则采用 HY-Motion-Bench 的 SSAE 指标[15]，由视觉语言模型（VLM）判断生成动作是否包含指令要求的内容。它能随时用于评估新的模型检查点，并单独衡量语义遵循能力，补充人工评分的综合判断。Light-O1 在全部六类指令上均领先，总分为 78.0，两个基线分别为 74.7 和 61.4。
动作竞技场
- Light-O1（本文模型）
- HY-Motion-1.0
- Kimodo
竞技场 Elo 评分
Elo 评分通过两两比较计算，以 Kimodo 的 1,000 分为固定锚点。
按动作类别统计每条指令的平均评分，1–5 分；各模型汇总其参与标注的所有周次。
辅助评测: HY-Motion-Bench（SSAE）
HY-Motion-Bench（SSAE）[15]
由视觉语言模型评判的语义对齐得分。
从视频中的人类动作开始
从视频到机器人，需要先把人类经验变成模型可以学习的数据。我们的数据流水线先从视频中还原动作，再将动作与语言、视觉观察按时间顺序交错编排。模型通过自回归预训练，学习看到什么、理解了什么与如何行动之间的关系，以及环境反馈如何影响下一步动作。由此形成的人类动作先验，再通过后训练适配不同本体和任务。
数据流水线
数据流水线的目标，是从互联网视频中还原结构化的人类动作，并让动作、语言描述与视觉观察相互对应，供大规模预训练使用。
来自互联网的 多样人类活动
清洗与分段 人类活动视频
从视频中恢复 结构化动作
上杆
继续挥动手臂，同时将重心移向前腿...
下杆
躯干回转，同时双手一起向下挥动...
随挥
继续挥动手臂，同时将重心移向前腿...
与动作对齐的 细致描述
视频处理。 先将视频切分为片段，检测并跟踪其中的人物，再重建三维动作、添加语言标注。每一步都要尽量保留动作细节，并确保时间对齐，让画面、文字描述和身体运动对应同一时刻、同一件事。
统一的人类动作表征。 我们用三个解耦的部分来表示人类动作：根节点轨迹描述身体在空间中的整体运动，身体姿态描述各部位的姿势，手部状态则记录手的动作。三者共同描述人在三维空间中的完整动作。
交错的多模态序列。 语言、视觉观察和结构化动作沿同一时间轴交错排列。我们用不同的序列组织方式，让模型学习如何根据观察理解情境、根据指令和画面生成动作，以及如何在持续的观察与行动中利用环境反馈，完成长时间连续执行的任务。这些序列为建模人类动作与物理世界之间的因果关系提供了基础。
预训练与适配
文本、视觉和动作词元共同参与自回归预训练，让模型学到可迁移的人类动作先验。经过本体与任务适配后，模型有两条路径对接行为基础模型：直接解码为统一动作，或通过基于扩散的动作专家生成目标本体所需的动作。
高保真动作离散化。 动作分词器将连续动作表征编码为离散动作词元，再解码回连续动作表征，同时准确保留关键末端执行器的位置和朝向，例如头朝向哪里、双手放在哪里、手的朝向如何。保留这些空间细节，是完成有目的交互的必要条件。
自回归预训练。 我们在统一的自回归框架下，对观察、语言和动作交错组成的序列进行建模。训练同时涵盖人类动作预训练、语言引导的动作生成、视觉语言具身推理，并使用通用基础模型的训练数据。预训练将这些多模态经验压缩为可迁移的人类动作先验，建模观察与意图如何指导动作、动作如何改变世界，以及环境反馈如何影响后续动作。多模态上下文还起到了记忆的作用：交互过程中看过什么、说过什么、做过什么，都会成为后续推理和行动的依据。
支撑更大规模的预训练
为了持续扩大人类动作预训练的规模，我们一直在建设相应的基础设施。目前，视频处理已使用千卡规模的 GPU 集群，每周可处理 20 万小时视频，是半年前 12,500 小时的 16 倍。与此同时，我们也已建成高性能训练系统和大规模计算集群，让这些视频中的动作经验能更高效地转化为模型能力。
接下来，我们会继续拓展数据来源，改进各处理环节的数据质量，并同步扩大训练数据和模型规模。通过持续的规模化实验，我们将探索如何在数据和模型之间合理分配算力，进一步提升全身智能的能力与通用性。我们也会研究更高效的学习方法，将原始互联网数据中的知识压缩为可迁移的具身智能，并将这些能力部署到更多类型的机器人和真实场景中。
是时候进一步扩大规模了。
我们的使命，是把通用具身智能带入物理世界：让系统持续从经验中学习，再把理解转化为行动。如果你也希望参与这项工作，欢迎加入我们（https://www.lightorigins.com/en/careers）。