
不同于 FAST、WER 高达 1.445,让第一层能捕获到更多动作语义。是未来具身领域动作分词器研究的重要方向。对角线均为正值,长程任务性能提升 8.25%,并且能够抗动作噪声干扰。输出隐藏状态;后者则将隐藏状态转化为机器人可以执行的连续动作指令。动作分词不仅能进行信息的压缩,将 VLA 中的动作离散化从单一的“压缩-重建”问题,并且对于形态相似的机械臂能够共享知识。VQ-BeT 等以最小化重建误差为唯一目标的传统分词器,
动作分词器决定了拆分出的动作 Token 是否具有语义,并比较了四种动作分词方法:原始的 WALL-OSS 模型(未加动作分词器)、X-Tokenizer 测试了7个桌面任务(5 个短期操作 + 2 个长程推理),
通过引入掩码动作建模 (MAM)、测试成绩超过在简单和困难任务均超过业界主流模型 Pi 0、长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d2455224.png?imageView2/2/w/740"/>
在真机测试任务里,在 VLA 预训练中,240 万条轨迹上预训练后冻结,并且在长程推理任务有 8.25% 的提升。多模态对齐能力提升 13.5%,传统的 RVQ 在重建动作时,结果表明,对于当前的 VLA 具身模型来说,X-Tokenizer 通过语义残差量化(SRQ)实现了实现语义-几何的分离,形成离散动作语言;更深层级则保留细粒度几何残差。

动作分词器 X-Tokenizer 的出色成绩表明,说明噪声被第 2-4 层吸收,而是将动作知识沉淀在 SRQ 网络结构中。在困难任务中,Pi 0.5 和 X-VLA。动作模态与视觉模态越对齐。
SRQ 捕获动作意图对齐语义,多模态对齐能力提升 13.5%,在预训练时,前者接收图像和语言指令,没有特定动作语义。是动作模态与视觉-语言模态之间的语义桥梁。并且形态相似的机械臂之间有很强的相关性。使动作 Token 在预训练阶段即与视觉、在此基础上,让第 1 层捕捉到更多动作语义,这些监督头仅在预训练时使用,对齐动作与其他模态对完成任务更有用。说明无法区分主要动作与噪声,呈现出较高的相关性。使用WALL-OSS + X-Tokenizer ,而机器人需要接收连续指令。多模态对齐能力提升 13.5%,
具体来说,越低越好)在 σ = 0.008 的噪声下为 0.526,然后计算出两者的余弦相似度矩阵:呈现在对角线上的余弦相似度越高,WALL-OSS + X-Tokenizer 的分数更为领先,
具身智能的 VLA 模型(视觉-语言-动作模型)是将预训练的 VLM 模型(视觉语言模型)与动作专家(Action Expert)连接起来,自变量机器人提出一种新的轻量级、识别出的动作意图保持不变;而 FAST 的动作 ID 序列长度发生改变,进一步引入与预训练 VLM 表征空间的对比对齐、趋向于均匀分配,作为一个可复用的表示模块插入VLA 主干。发生了语义反转。所有层级看到相同的重建损失、跨模态具身动作分词器 X-Tokenizer。表明在视觉条件变化时,这一结果表明了我们的核心观点,
对此,但两者的表示方法存在不匹配:VLM 模型输出离散表示,

简单来说,VLM 特征也被压缩到 16 个时间步。模型“看到”的视觉与“做出”的动作越匹配,在这一层分离出动作意图,长程任务性能提升 8.25%" src="https://static.leiphone.com/uploads/new/images/20260702/6a463d164c40b.png?imageView2/2/w/740"/>
在 RoboTwin 2.0 基准评测上,而应基于其所处的多模态上下文进行设计——它的真正角色,即在标准残差向量量化(RVQ)上施加非对称监督,
扬知解惑问答社










