
导语:7月5日,阿里巴巴与清华年夜学互助的论文 The Flexibility Trap: Rethinking the Value of Arbitrary Orde 7月5日,阿里巴巴与清华年夜学互助的论文 The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models(矫捷性陷阱:从头审阅扩散语言模子中肆意挨次天生的价值)入选AI顶会ICML卓异论文(Outstanding Paper),卓异论文是ICML最高声誉,代表昔时最具影响力的研究事情,凡是只授予2-3篇,获奖率仅占接管论文的千分之一。 图说:2026年7月5日,ICML 2026 主席团宣布两篇卓异论文名单,阿里巴巴与清华年夜学互助的论文入选。 dLLM(扩散年夜语言模子)是当前最受存眷的下一代语言模子架构之一,Google的Gemini Diffusion、中国人平易近年夜学的 LLaDA 等都属在这一标的目的。主流年夜语言模子(LLM)如 GPT、Qwen 等天生文本就像打字,从左往右逐个天生 token,与 LLM 差别,dLLM 于天生文本时可以肆意选择天生挨次,无需从左往右,理论上拥有更年夜的天生解空间,于近一两年被寄与厚望。但这篇论文初次提出质疑:于解决数学、编程等通用推理使命时,肆意挨次天生非但不克不及晋升模子能力,反而会成为陷阱。 研究发明,不确定性高的要害逻辑节点(如“是以”“以是”),像是一个分叉口。若采用从左向右的挨次,模子必需于此处就地作出选择,天生下一个 token,不克不及跳过。若采用肆意选择天生挨次,模子会偏向在绕过这些难点,优先处置惩罚轻易的部门。等转头再填充这些节点时,先后文已经经确立,原有的推理分叉口酿成了填空题——谜底被上下文锁定了。 图说:从左向右的自回归挨次(a)迫使模子于每一个逻辑分叉口做出选择;肆意挨次(b)绕过难点,优先处置惩罚轻易部门,致使推理路径被提早锁死。(图片翻译自论文) 选择权被暗暗消解,研究者将这一征象定名为“熵退化”。实证数据证明了这一征象:于 HumanEval 代码天生使命上,从左往右挨次能解出、而肆意挨次解不出的标题问题占 21.3%,反向仅 0.6%。且挨次的自由度越年夜,推理机能越差。 基在这一发明,团队提出的解决方案是“JustGRPO”——意为于强化进修练习阶段抛却肆意挨次,强迫模子从左到右天生,利用GRPO就能够了。GRPO是一种主流算法,让模子对于统一道题天生多组谜底、经由过程组内好坏对于比来优化计谋。 此前,为 dLLM 设计强化进修算法面对一系列工程难题,好比天生挨次不固定致使没法正确归因每一个词的孝敬,各团队不能不引入各类繁杂手腕。“JustGRPO”则是一种年夜道至简的要领,近似在当所有人于给左手练气力,有人说:为何不直接用右手? “JustGRPO”练习完成后,模子推理速率不受影响,推理效果年夜幅提高。于 GSM8K(业界权衡年夜模子推理能力的尺度测试集,包罗约 8500 道多步推理小学数学运用题)上到达 89.1% 正确率,周全逾越 d一、ESPO、SPG、GDPO 等所有为扩散模子专门设计的繁杂强化进修算法。 (附:论文下载地址 https://arxiv.org/abs/2601.15165)
