Machine Heart Report编辑器：Chen Chen和Du Wei对良好语言模型的推理的能力不再是AR（自动估计）。扩散模型现在可以“使用它的大脑”，而新的D1大纲使他们可以理解数学，逻辑和思想。当前，强化学习（RL）方法已在识别近期模型的任务中取得了重大改进，例如DeepSeek-R1和Kimi K1.5，这表明直接在主要模型中使用RL可以实现与OpenAI O1相当的性能。但是，基于培训后的RL训练开发主要受自回归大型语言模型（LLMS）的限制，该模型由左右权利序列提供动力。同时，大语言模型（DLLM）Nagthis的离散扩散是潜在语言建模的非自动进取替代方案。与通过引起原因形成文本的自回归模型不同，DLLM通过迭代剥落过程生成文本，优化SEQ多步操作中的Uences在双向关注时利用过去和将来的环境。其中，诸如LLADA这样的开放式面具DLLM的性能与相同大小的自回旋模型相当，而封闭源DLLM（例如Mercury）进一步显示出很大的倾向延迟。但是，DLLM领先的开放资源并未为RL使用后培训，该资源仍然有足够的空间来探索这项研究的潜在方向。这种范式转变提出了重要的问题：Powor可以在非自动回归环境中进行RL后培训实施吗？ DLLM的RL算法适应口罩面临着几种独特的挑战，因为自回旋模型（例如PPO，GRPO）采用的现有方法估计并优化了该方法的分布，通过计算生成解释的对数的可能性，从而直接应用DLLM。尽管该计算可以通过事实的顺序轻松实施DLLM在自回旋模型中的陈述缺乏这种自然的分解，因为它们的发电过程的迭代性非系列。为了解决这些问题，来自UCLA和META AI的研究人员提出了两个阶段的训练后框架D1，这使得可以在蒙版的DLLM上进行预测。在第一阶段，该模型以高质量的腹部轨迹正确正确。在第二阶段，RL阶段，研究人员使用了阶跃日志的建议估计，为GRPO创建了一部针对DLLM面具的战略梯度小说。研究人员说，他们的估计使用随机提示蒙版作为接近方法的正规化，从而允许每批梯度更新数量，并减少RL培训所需的在线世代数量。这将大大减少计算时间。纸张标题：D1：缩放推理以否决大语模型，通过加固学习纸张地址：https：//arxiv.org/pdf/2504.12216项目主页：https：// dllm-chinceing.github.io/github地址：https：//github.com/dllm-usoning/d1 to to实验米型咪取型米型米离米米亚匹马米离米米离红接触米亚米极米咪取代率亚米离米亚匹马米离米亚匹马息米离米米离米亚匹马米离米亚匹马西米亚匹马西米米离米米离米米离米匹马一下极米米离米米离菌息一下，极米米米极米米极米米米端极imimimimimimimimimrimimimimimimimimimimimimimimimimi，上包括至一下至， m一下）很多多，因此mimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimimeIn一部分，研究人员将LLADA-8B结构用作D1中的主要瞬间。他们将D1-LALA的性能与仅使用SFT和DIFFU-GRPO训练的LLADA模型和LLADA模型进行了比较。结果表明，D1始终将主要模型释放为四个数学和逻辑推理基准，如下图1所示。 D1-LALA同样优于仅使用SFT和DIFFU-GRPO方法的模型。该过程的概述D1是一个两阶段的图，可以通过S来改善预训练的蒙版DLLM的感知UCCESSIVE的管理微调（SFT）和在线增强研究（RL）。其中，在线增强研究（尤其是GRPO算法）已被证明可以有效地提高离线培训中语言模型的ANG性能。但是，GRPO研究技术通常不会在DLLM中推广。 GRPO的目的（如公式3所示）需要（对数）当前方法的比率π_θ和旧方法π_θOLD与以下两个级别：令牌级别：代币级别（用于显性权重计算）；和采用水平（用于反向KL差异术语）。主要问题是，需要很好地计算研究人员来计算内容生成内容的对数和对数序列的逐阶可能性。自动回归（AR）模型（例如变压器）是每个令牌的对数可能性的直接模型，并且可以轻松地使用正向计算在订单级别上对数的可能性通过链条规则通过。同样，KL项可能在AR模型中分解不同，在AR模型中，DLLM不符合对数可能性序列的顺序分解。同时，计算每个令牌log的可能性的成本也很高，因为在解码过程中需要多次调用F_θ预测器掩码。基于此，研究表明了对数的可能性的良好估计。对于对数的序列，该研究使用现场评估的含义将其分解为每个令牌对数概率的乘积。对于每个令牌的对数的可能性，该研究仅引入了一种称为F_θ的估计方法。基于新引入的对数可能性的估计，该研究将GRPO扩展到掩盖了DLLM，从而捕获了DIFFU-GRPO函数的丧失。该算法如下图所示。实验表1基线模型LLADA-8B-8的结果与四个活动中零样本的性能相比，B教学报告的报告方式不同于后训练优化方案的采用模型。图3放置了有效令牌的平均数量：根据实验，研究完成了以下主要发现：DIFFU-GRPO在所有12个设置中继续释放基本的LLADA和SFT（管理微调）。与LLADA-8B-8B - 企业基线相比，DIFFU-GRPO和SFT都有所提高，但是Diffu-Grpo显示出更长和更高的益处。具体而言，DIFFU-GRPO在所有12个设置中都优于LLADA-8B教学和SFT，而SFT的表现优于LLADA-8B-INSTRUKTURA到7个非设置，这表明DIFFU-GRPO仅比SFT实现了更强的整体绩效。 LLADA+DIFFU-GRPO在所有设置中释放了基础LLADA-8B结构模型，而D1-LALA在每种情况下均优于Llada+SFT。它表明，即使起点是从预先训练的模型或SFT调整检查点得出的。 D1培训计划取得了最大的绩效提高。由管理的微调（SFT）生成的D1-LALADA模型，该模型首先伴随着DIFFU-GRPO训练，这使得超出了单个过程的叠加。在12个实验环境中的11个中，这种综合方法超过了纯的DIFFU-GRPO方案，表明在训练的两个阶段中的协同作用。合格的ANG MGA结果表明，顿悟的时刻发生在SFT和D1-llada Generation中。尽管SFT，DIFFU-GRPO和D1的序列长度的性能提高了128和256，但在生成的轨迹中尚未观察到显着差异。但是，当订单长度达到512时，该研究开始观察到SFT和D1-LALA模型显示了两个基本功能：自校正机制和回溯行为。