ReMix·矛盾

ReMix（Rejection Mixing） — 扩散大语言模型并行解码的「组合矛盾」，今天有答案了。

并行解码是扩散语言模型（DLLM）最大的卖点——所有 mask token 同时解开，速度应该远超自回归。但现实中，你让 token 们一起「猜」输出，它们会彼此矛盾：左边位置以为右边是 A，右边位置以为左边是 B，结果生成的内容语义上一团乱麻。论文把这个现象命名为**「组合矛盾」（combinatorial contradiction）**，并指出它是并行解码质量崩塌的根本原因。

ReMix 的解法是在离散解码过程里插入一个连续空间缓冲区：Continuous Mixing State（连续混合态）。token 不再直接从 mask 跳到最终离散值，而是先在连续空间里「摩擦协商」——哪些位置表达不确定，rejection 规则就把它们打回 mask 重新处理。这样每个 token 的最终离散化都建立在已经消化了跨位置依赖关系之后。

关键的是：ReMix 是 training-free 的方法，不动任何模型参数，直接嵌入推理流程，实现 2–8× 推理加速且不损失生成质量。

[Intro] 并行解码 听起来很快 token 全线齐发 却互相打架 semantics 打架 consistency 垮了 这叫 combinatorial contradiction 没完没了

[Verse 1] 扩散模型说我非自回归 mask 全解开 同时往外飞 可你左边的 token 不知道右边在想什么 各说各话 语义直接崩 这不是加速 这是失控 parallel decoding 暗藏的隐痛

[Pre-Chorus] 怎么破 连续空间先喂一剂中间态 让你们在里面把矛盾打完 再出来

[Chorus] ReMix 打回去 不确定的你先别急着离散 Continuous Mixing State 夹在中间 让每个位置把矛盾消化完 Rejection 挡住出口 不成熟的表达给我退回 mask 再精炼 再出发 两到八倍加速 zero training 无痛升华

[Verse 2] 以前要么质量低 要么速度慢 硬撑并行 语义全线乱 ReMix 说不 还有第三条路 continuous space 里头先磨合 inter-position dependency 保得住 discrete 的表面下 有连续的骨

[Bridge] 不是在训练你 不加一条梯度 照样收敛 training-free 方法的底气在这里 mask → 连续混合 → reject → 再混合 直到 representation 稳了 再锁死离散

[Chorus] ReMix 打回去 不确定的你先别急着离散 Continuous Mixing State 夹在中间 让每个位置把矛盾消化完 Rejection 挡住出口 不成熟的表达给我退回 mask 再精炼 再出发 两到八倍加速 zero training 无痛升华

[Outro] combinatorial contradiction 终于有人正面硬刚 不是降质量 不是降速度 是给 mask 一个缓冲地带 ReMix arXiv 2602.22868 今天发布 扩散 LLM 的矛盾 解了一半