PNP具身智能解读：Physical Intelligence/斯坦福大学Pi0-FAST:视觉-语言-动作模型的高效动作标记化

发表时间：2025-08-24 18:27作者：PNP机器人

摘要

论文提出了一种全新的、基于压缩概念的动作 token 化方法 —— FAST（Frequency-space Action Sequence Tokenization），通过对连续机器人动作序列使用离散余弦变换（DCT）与 Byte-Pair Encoding（BPE）相结合实现高效压缩，显著提升自回归视觉—语言—动作（Vision-Language-Action, VLA）模型在高频操作任务上的训练效率与控制表现。作者还进一步推出了 FAST+，一个训练于百万级真实机器人动作轨迹上的通用 token 化器，并验证其在与 π₀ VLA 集成后在大规模（1万小时）机器人数据训练中的高效与准确性──相比扩散模型训练时间减少达 5 倍，性能可匹配扩散策略。

FAST，这是一种简单而有效的方法，通过时间序列压缩对机器人动作轨迹进行标记化。FAST 支持训练自回归 VLA，用于解决复杂的灵巧操作任务，并广泛推广到新的场景。我们用它来训练π0-FAST，一种通用机器人策略，性能与最先进的π0扩散 VLA 在灵巧和长视野操作任务上表现出色，同时训练速度提高了 5 倍

研究背景与动机

1. 自回归 VLA 与动作 token 的挑战

现代 VLA 政策，多数基于 Transformer 的自回归生成结构，能够学习复杂、多样的机器人行为，广泛应用于视觉–语言引导的机器人操控任务中。然而，这类模型的有效训练高度依赖于如何将连续动作信号转换成模型能够处理的离散 token。现有方式通常采用每时间步、每维度独立离散化（称为 naive binning），这种策略在高频动作任务中极易失败，原因包括：

高维多维度下 token 序列冗长：每个时刻多个维度分别离散化，导致 token 总量激增，不利训练效率。

时间维度相关性强：相邻 token 往往相似，模型可以简易地复制前一步 token 来降低损失，从而导致优化陷入局部差、泛化差的问题。

为此，研究者认为需要一种方式，能有效去相关、压缩连续动作数据，使 token 更加信息密集与训练友好。

2. 跨维度压缩与 token 化的启发

FAST 的核心思想受图像压缩（如 JPEG）与语言 BPE 的启发：首先基于频率域压缩去除冗余，再用 BPE 聚合常见 token 序列，进而实现高效 token 压缩。这种思路旨在打造一种简单、无需修改模型结构即可集成的 action tokenizer。

FAST 方法详解

FAST 方法流程如下所示（图示已在开头展示）：

归一化（Normalization）将动作数据每一维中训练集的第1与第99百分位数映射到 [-1, 1] 范围，以减少离群值影响并统一尺度。此步骤支持跨不同机器人平台的数据一致处理。

离散余弦变换（DCT）对每一维动作时间序列应用 DCT，将时间域信号转换至频率域。低频分量代表平滑趋势，高频分量代表细节与突变，提取高信息密度信号。

量化压缩（Quantization）对 DCT 后的系数进行 scale-and-round 操作，控制丢失率与压缩率之间的平衡；低权重系数可置零，形成稀疏频域表示。

展开（Flatten）将每个动作 “chunk” 的多个维度的稀疏频率系数展平并按低频优先排列，为下一步编码准备序列。

Byte-Pair Encoding（BPE）对展开后的频率序列应用 BPE，聚合常见的系数子序列为单一 token，大幅减少 token 数量。每个 chunk 结果在 30–60 个 token，相比 naive 方法压缩约 10 倍。

采样率对预测性能的影响。我们在一个教学插值任务上训练了一个小型自回归 Transformer 模型，其中网络必须根据四个圆圈预测黑色虚线曲线。我们发现，使用先前 VLA 中使用的分箱标记方法训练的模型由于高频下连续标记之间存在强相关性，随着底层信号的采样频率增加，预测结果会越来越差。我们基于离散余弦变换 (DCT) 的 FAST 标记化方法解决了这个问题，并在所有采样率下都能实现高质量的预测

最终，这些压缩后的 token 序列被作为自回归模型的输入 / 输出，使得高频、灵巧机器人任务的训练成为可能。

FAST+ 通用 Tokenizer

FAST+ 是训练在上百万条真实机器人动作轨迹（1M trajectories）上的通用 action tokenizer。其目标是作为黑箱工具为不同机器人动作空间与频率提供 token 化能力，无需针对每种新机器人重新训练 tokenizer，从而：

实现跨平台通用性（如 UR5、Franka、移动平台）

支持多任务大规模预训练策略（foundation models）

FAST 动作标记化流程概述。给定一组标准化的动作，我们应用离散余弦变换 (DCT) 将信号转换到频域。然后，我们对 DCT 系数进行量化，并使用字节对编码 (BPE) 将平坦化的每维 DCT 系数序列压缩为最终的动作标记序列

实验验证与性能对比

1. 与 Naive 方法对比

实验使用 π₀（pi-zero）VLA 框架与 FAST token 化器集成，在多项复杂动作任务上评估效果，包括折叠衣物、整理桌面、打包购物袋等精细任务。结果显示：

Naive binning 方法在这些任务上几乎无法成功训练及完成任务

FAST 使模型能够胜任这些高频任务，训练效率大幅提升（训练时间减少达 5 倍

2. 扩散模型（Diffusion VLA）对比

标准 π₀ VLA 使用 diffusion 或 flow-matching 来生成连续动作，训练和推理成本高。对比结果如下：

模型类型	训练效率	任务表现
Diffusion based π₀	基准	高
π₀-FAST	快约 ×5	可匹配扩散模型表现

Scaling Up

FAST token 化后的 π₀-FAST 能在大规模数据训练条件下（如 10,000 小时动作数据）达到与 diffusion 模型相当的精度，却显著节省训练时间。

3. DROID 数据集与 zero-shot 泛化

DROID 是一个公开的多任务、跨场景机器人任务数据集，涵盖从校园建筑到家庭环境的多种任务。研究者应用 FAST 训练出的 generalist 策略，结果显示在 UC Berkeley、Stanford、University of Washington 等不同环境下，可以进行 zero-shot 语言指令执行，展现了强泛化能力。