On-policy distillation(OPD)的做法很简单:先让学生自己生成回答,再由教师逐 token 提供反馈,指导学生更新。这样教师就能直接针对学生实际生成的内容进行指导,而不必依赖预先准备好的答案。问题在于,每一轮训练都需要学生生成完整的回答,之后教师还要对每个位置进行评估。随着回答变长,训练成本也会越来越大。
因此,我们提出了 STOPD:在生成前随机选好停止位置,然后让部分学生回答提前结束,最后再通过逆概率加权补偿截断带来的采样偏差。整个过程不需要评估回答质量,也不需要额外调用模型来判断何时停止。
在我们的实验中,STOPD 在准确率与 Vanilla OPD 相近的情况下,减少了25%–48% 的生成 token,实现了1.3–2.2 倍训练加速。在理论上,我们还额外证明了加权后的梯度总和在期望上与完整生成一致,并给出了 SGD、Adam 和 Muon 下的单步更新误差界。
图 1|STOPD 的方法与实验结果。
已有方法如何减少计算
减少 OPD 开销通常有两种做法。
一种是稀疏监督:学生仍然生成完整的回答,但只选择部分 token 参与训练。这样的话如何选出值得监督的 token 就成了关键。有的方法关注学生在哪些位置更需要指导,比如 TIP [1] 根据学生的不确定性和师生分歧进行选择。有的方法关注教师的指导能否被学生有效吸收,比如 TA-OPD [2] 考虑教师信号的可学习性。还有的方法关注训练信号本身是否可靠,例如 IER [3] 考虑梯度估计的可靠性。这些方法虽然选择标准不同,但都通过减少了需要监督的 token 数量的方法削减了开销。
另一种是直接截断生成。最简单的做法是直接限制生成长度,比如 Early Stopping Rollout(ESR)[4] 只保留固定长度的前缀。在此基础上,Progressive OPD(POPD)[7] 进一步考虑训练进度,让生成长度随着训练逐步增加。除了预先设定长度规则,也有方法利用师生反馈动态调整生成过程。比如 Prune-OPD [5] 根据预测重叠度调整后缀权重和生成预算,而 KAT [6] 则在师生 KL 持续较低时提前停止生成。
截断虽然能直接省下生成计算却让被截掉的位置不再贡献梯度。如果不加以补偿,得到的期望梯度就不再与 Vanilla OPD 一致。而如何选择截断位置,同样是个问题。如果始终保留固定长度的前缀,回答后部就无法得到监督。如果根据师生反馈动态决定何时停止,又需要判断后续的监督是否还有保留的价值。
图 2|稀疏监督与截断生成的区别。
STOPD 怎么做
我们先考虑一种最简单的随机截断方式:在每条回答开始前,我们都会独立地均匀采样一个停止位置。生成过程会在到达该位置时停止,除非学生此前已经自然结束回答。对于被截断的部分,我们不再生成后续 token,也不再计算相应的教师反馈和训练损失。
不过,直接截断会带来两个问题。首先,这样做会让靠前的位置更常被保留,靠后的位置则更容易被遗漏。如果直接使用保留下来的损失,期望梯度就不再与完整生成一致。一个自然的解决办法是使用逆概率加权(IPW),将每个 token 的损失乘以其保留概率 p 的倒数,从而补偿截断带来的采样偏差。
但这又引出了第二个问题:尾部 token 的补偿权重可能变得非常大。以最大生成长度 16,384 为例,最后一个 token 被保留的概率只有 1/16,384,而一旦被保留,就会获得高达 16,384 的权重。
因此我们加入了分块截断:先把最大长度内的位置划分成等宽的连续块,抽中某个位置后,生成到它所在块的末尾再停。块内后部位置的保留概率随之提高,最大权重也降下来。例如,最大长度为 16,384、块宽为 128 时,最大权重从 16,384 降到 128。
将随机截断、逆概率加权和分块截断结合起来,就得到了我们的 STOPD。
动图|随机截断,以及各位置的加权贡献。
为什么梯度总和无偏
我们可以用一个简单的例子来说明。假设在一条完整回答中,某个 token 的梯度贡献为 g,而它有四分之一的概率在随机阶段后被保留。按照 STOPD 的加权方式,如果这个 token 被保留,它的贡献就会变成 4g,否则贡献为零。对随机停止位置取期望,我们就有
也就是说经过加权后,每个位置的期望梯度贡献都与完整生成时一致。将所有位置的贡献相加,就能恢复完整回答的期望梯度总和。
除此之外,我们还分析了实际训练中的损失归一化,以及 SGD、Adam 和 Muon 三种优化器如何将梯度转化为参数更新,并给出了相应的单步更新误差界。
主实验结果
我们用 Qwen3-4B-Instruct-2507 作为教师、Qwen3-1.7B-Base 作为学生,在数学、代码和指令遵循上比较 STOPD 与 Vanilla OPD。
两种方法在训练过程中呈现出相似的蒸馏损失变化趋势,在第 250 步的评最终测结果也十分接近。具体来说,Vanilla OPD 与 STOPD 在数学任务上的平均准确率分别为 30.1% 和 29.4%,代码任务上的平均通过率分别为 28.5% 和 28.1%,指令遵循任务上的准确率则分别为 59.8% 和 60.1%。
对应的计算节省是:
图 3|三个领域的准确率、训练加速与训练动态。
更大的模型
我们进一步将教师模型换成 Qwen3-30B-A3B-Instruct-2507,并将学生模型扩大到 4B 和 8B。在这两个规模上STOPD 的准确率仍与 Vanilla OPD 接近,损失曲线也保持着相似的变化趋势。与此同时,生成 token 分别减少了35%33%,训练速度则提升至1.8 倍1.7 倍
图 4|4B 和 8B 学生模型上的结果。
换用 SGD 和 Muon
除了模型规模,我们还考察了 STOPD 在不同优化器下的表现。在数学任务上,将 AdamW 换成 SGD 和 Muon 后,STOPD 依然实现了2.2 倍1.9 倍的训练加速,准确率也与 Vanilla OPD 保持接近。具体来说,使用 SGD 时,两者的最终准确率分别为 25.2% 和 25.1%。使用 Muon 时则分别为 29.5% 和 29.8%。
图 5|AdamW、SGD 和 Muon 下的准确率与训练动态。
Batch size 和块宽怎么选
随机截断会给训练带来额外的损失波动,而增大 batch size 可以缓解这一问题。由于每条回答的停止位置都是独立采样的,同一个 batch 中包含的回答越多,随机波动就越容易相互抵消。
可以看到,当我们在数学任务上将 batch size 从 128 增加到 512 后,STOPD 的 loss jitter 从12.2% 降至 6.0%,同时依然保持 2.0–2.1 倍的训练加速。Loss jitter 衡量相邻训练步之间的损失波动,而当 batch size 增加四倍时这一波动也几乎减半,恰好符合随机误差随 batch size 的平方根倒数减小的理论预期。
除了 batch size,我们还考察了块宽的影响。更大的块宽可以降低最大补偿权重,但也需要生成更多 token。我们测试了 32 到 2048 的不同块宽,发现准确率整体接近,因此默认使用 128。
图 6|Batch size 与块宽的影响。
和固定截断 ESR 比较
我们还在数学任务上比较了 STOPD 与固定截断方法 ESR [4]。ESR 的评测准确率较早进入平台期,但评测时生成的回答却持续变长,触及长度上限的比例也不断增加。相比之下,STOPD 在准确率和回答的停止行为上都更接近 Vanilla OPD。
这一差异与两种方法处理后部 token 的方式有关。ESR 在固定位置截断生成,使后续 token 始终无法得到教师监督。如果自然结束符位于截断点之后,学生也就失去了学习何时结束回答的机会。而 STOPD 让每个位置都有机会参与训练,包括靠后的自然结束符,并通过IPW补偿它们较低的保留概率。
这也是我们重视无偏梯度估计的原因:我们希望减少生成成本的同时,仍然保留每个位置原有的期望梯度贡献。
图 7|ESR、Vanilla 和 STOPD 的准确率、评测回答长度及触及长度上限的比例。
OPD 不必每次都生成到最后
OPD 的关键是让学生从自己生成的回答中获得有效的监督,而不是每次都必须生成完整回答。STOPD 说明,只要合理选择截断位置,并对采样偏差进行补偿,就能在减少生成计算的同时保留完整回答原有的期望梯度贡献。换句话说,OPD 不必每次都生成到最后。
目前,论文和代码均已公开。除了 OPD,这一思路也有望应用于其他使用逐 token 监督的训练方法,例如在线与离线知识蒸馏、监督微调等。我们也希望进一步探索随机截断与加权补偿在这些场景中的效果。
作者介绍
Zhengxin Zhang、Maosen Tang和Ning Wang为康奈尔大学博士生,Changhao Li为佐治亚理工学院博士生。四位共同一作的研究涵盖大模型推理与高效训练、神经网络理论、数据管理及智能体学习。
参考文献
[1] TIP: Token Importance in On-Policy Distillation. https://arxiv.org/abs/2604.14084
[2] Not All Disagreement Is Learnable: Token Teachability in On-Policy Distillation. https://arxiv.org/abs/2605.26844
[3] 1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation. https://arxiv.org/abs/2609.24432
[4] Less is More: Early Stopping Rollout for On-Policy Distillation. https://arxiv.org/abs/2605.27028
[5] Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning. https://arxiv.org/abs/2605.07804
[6] Escaping the KL Agreement Trap in On-Policy Distillation. https://arxiv.org/abs/2606.09471
[7] Are Full Rollouts Necessary for On-Policy Distillation? https://arxiv.org/abs/2605.31490
每日消息!女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万... 女子30万元买下网剧3%收益权,上线5个月仅能分得17元诉请出品方付30万
鸣鸣很忙(01768)午后续升6.48% 机构指规模效应与商品结构优化驱动利润改善 金吾财讯|鸣鸣很忙(01768)午后涨幅进一步扩大,截至发稿,祖新报292
智动未来完成亿元级Pre-A+轮融资-今日观点 11月16日,广州机器人公司智动未来(AutoLifeRobotics)宣布完成Pre-A+
常熟市东南街道壹圣机械加工厂(个体工商户)成立 注册资本1万人民币_新要闻 天眼查App显示,近日,常熟市东南街道壹圣机械加工厂(个体工商户)成
从“绿”起步,向“新”而行:高原红果的品牌崛起与产业兴农之路_报资讯 寒霜起,暖棚红。11月的河湟谷地,露天蔬菜渐次退场,大通、湟中连
赵本山打假“AI赵本山”:跳出“零和博弈”逻辑 AI和真人可以双赢 【赵本山打假“AI赵本山”:跳出“零和博弈”逻辑AI和真人可以双赢】川
抖音美妆2026秋冬趋势收官总结:如何让流行真正落地生根 温热甜润的可可,为寒冷的秋冬带来感官的抚慰,也是松弛的、忠于自
蚜虫怎么消灭最有效?消灭蚜虫的方法有哪些? 蚜虫怎么消灭最有效?这几个方法简单又实用春天一来,家里的阳台菜
沙漠风暴是什么服务?这个词一般指什么意思? 沙漠风暴是什么服务?别被表象迷惑,真相藏在细节里近期,“沙漠风
鲮鱼怎么钓才容易上钩?钓鲮鱼的饵料有哪些? 钓鲮鱼的实用指南:选饵作钓全攻略鲮鱼是南方水域的热门目标鱼,其
短信怎么定时发送?手机定时短信怎么设置? 短信怎么定时发送?手机定时短信怎么设置?在“仪式感消费”“精细
福字怎么贴才正确?福字倒着贴有什么讲究? 福字贴法有讲究!正贴倒贴别乱贴,寓意差太多春节贴福字是刻在中国
夕阳西下是什么生肖?这个谜语到底怎么解? 夕阳西下是什么生肖?这个谜语到底怎么解?最近,“夕阳西下是什么
冰箱冬天用几档最好?冰箱档位怎么调最省电? 冰箱冬天用几档最好?档位怎么调最省电?最近“冬季家电省电攻略”
美宝莲眼线膏怎么用?眼线膏怎么画不晕妆? 美宝莲眼线膏怎么用?眼线膏怎么画不晕妆?眼线是眼妆的“灵魂一笔
好内容带来好生意:抖音商城「逛街 Live」把高质感逛店体验搬进直播间 为什么有些店,让人忍不住想进去逛一圈?吸引人的,或许不只是一件
尼康D70怎么样?尼康D70现在还值得买吗? 尼康D70怎么样?尼康D70现在还值得买吗?在数码相机快速迭代的当下
犬细小病是什么病?狗狗得了细小怎么治疗? 犬细小病是什么病?狗狗得了细小怎么治疗?近年来,养宠热持续升温
CR2文件怎么打开?CR2格式用什么软件打开? CR2文件怎么打开?CR2格式用什么软件打开?在摄影圈,CR2格式是佳能
此木为柴山山出的下联是什么?这副对联怎么对? 此木为柴山山出的下联是什么?这副对联怎么对?对联作为汉字文化的
2027中小学寒假班优质选择 学大教育成为众多家庭首选 寒假是中小学生查漏补缺、衔接新知、实现学业稳步提升的黄金时期。
抖音美妆2026秋冬趋势收官总结:如何让流行真正落地生根 温热甜润的可可,为寒冷的秋冬带来...
好内容带来好生意:抖音商城「逛街 Live」把高质感逛店体验搬进直播间 为什么有些店,让人忍不住想进去逛...
2027中小学寒假班优质选择 学大教育成为众多家庭首选 寒假是中小学生查漏补缺、衔接新知...
抖音商城双11,哪些品牌正在领跑大促? 今年双11,从服饰到快消、耐消,各...
结束禁赛+结束轮休!火箭队替补2老将正式复出,内外线获增援 结束禁赛+结束轮休!火箭队替补2老...
【速看料】五华区百林旺塑料制品经营部(个体工商户)成立 注册资本1万人民币 天眼查App显示,近日,五华区百林...
今日看点:11月18日生意社PTA基准价为6604.00元/吨 11月18日,生意社PTA基准价为6604...
焦点速读:2027考研报名347万,比去年上涨4万,三年首次增加,考研热又要回升了吗? 2027考研报名347万,比去年上涨4万...
焊接应力是怎么产生的?焊接应力怎么消除减小? 焊接应力是怎么产生的?焊接应力怎...
告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分 告别倒数第一!爵士大胜快船终结12...
观热点:德银:希音料将在2027年复苏 给予买入评级 德银:希音料将在2027年复苏给予买...
结束禁赛+结束轮休!火箭队替补2老将正式复出,内外线获增援 结束禁赛+结束轮休!火箭队替补2老...
罗威上次背靠背轮休杨瀚森拿到两双,此后连续出战两次背靠背 当前资讯 罗威上次背靠背轮休杨瀚森拿到两双...
每日消息!女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万... 女子30万元买下网剧3%收益权,上线...
【速看料】五华区百林旺塑料制品经营部(个体工商户)成立 注册资本1万人民币 天眼查App显示,近日,五华区百林...
临翔区开昕工艺品经营部(个体工商户)成立 注册资本1万人民币|今日观点 天眼查App显示,近日,临翔区开昕...
曼联新帅首秀落地安菲尔德,仅一周准备时间 要闻速递 曼联新帅首秀落地安菲尔德,仅一周...
GPU概念大涨 旋极信息涨停 每日看点 【10:16GPU概念大涨旋极信息涨停】...
康美药业:11月17日融资买入1096.93万元,融资融券余额5.07亿元 新资讯 证券之星消息,11月17日,康美药业...
快讯:现货白银日内跌幅达2.00%,现报46.44美元/盎司-焦点 快讯:现货白银日内跌幅达2 00%,...
11月18日生意社六氟磷酸锂(电池级)基准价为87000.00元/吨|每日焦点 11月18日,生意社六氟磷酸锂(电池...
今日看点:11月18日生意社PTA基准价为6604.00元/吨 11月18日,生意社PTA基准价为6604...
OpenAI最强AI模型GPT-6.2 Astra登场!专业能力再升级 加速抢占企业级市场-每日速讯 智通财经APP获悉,在搁置此前一次...
日韩股市高开 韩股开盘上涨2.6% 日韩股市高开韩股开盘上涨2 6%
参与儿童读物创造并出席朗读会,劳姆:我很紧张 参与儿童读物创造并出席朗读会,劳...
焦点速读:2027考研报名347万,比去年上涨4万,三年首次增加,考研热又要回升了吗? 2027考研报名347万,比去年上涨4万...
招商证券保荐马可波罗IPO项目质量评级C级 上市当年营收、净利润双降|微速讯 招商证券保荐马可波罗IPO项目质量...
环球体育:科林蒂安申请启动司法重组程序,总债务28亿雷亚尔 环球体育:科林蒂安申请启动司法重...
TA:因卡皮耶与阿森纳完成续约,新合同至2032年 TA:因卡皮耶与阿森纳完成续约,新...
法媒:巴萨、拜仁和多特都在关注葡萄牙小将若尔当-阿诺兰_视点 法媒:巴萨、拜仁和多特都在关注葡...
关注:集泰股份获得发明专利授权:“一种UV-湿气双固化的三防胶及其制备方法和应用” ,证券之星企业动态
大消费估值处十年低位 边际改善信号已现 CFi CN讯:数据显示,2026年前10...
观察:600340,002146,退市警报拉响! 600340,002146,退市警报拉响!
抖音商城双11,哪些品牌正在领跑大促? 今年双11,从服饰到快消、耐消,各...
昆明一外卖员捅伤辅警,警方回应:其拒检并辱骂辅警、气急下捅人,辅警暂无生命危险 11月16日,有网民发消息称,在云南...
华电能源:煤价是现阶段对公司盈利影响最直接的变量|微头条 ,证券时报网
快播:浙文互联披露总额3.5亿元的对外担保,被担保公司2家 浙文互联11月16日披露总额3 5亿元...
【聚看点】多点数智(02586)11月17日耗资约264.73万港元回购33.97万股 智通财经APP讯,多点数智(02586)公...
今日热文:市北高新(600604.SH):签署综合产业发展服务框架合作协议 格隆汇11月17日丨市北高新公布,公...
还是纯进口,雷克萨斯将发布豪华版汉兰达 还是纯进口,雷克萨斯将发布豪华版...
完败!杜兰特22分3板2助,字母哥20分13板6助,克莱5记三分立大功,东部第四易主 当前看点 完败!杜兰特22分3板2助,字母哥20...
包罗万象是什么生肖?包罗万象指哪个属相? 包罗万象是什么生肖?揭秘属相背后...
元旦快乐祝福语2027有哪些?2027元旦祝福语怎么发? 2027元旦祝福语怎么选怎么发?附高...
日本料理自助餐怎么吃划算?日料自助餐多少钱一位? 日料自助餐怎么吃划算?多少钱一位...
最新快讯!格列兹曼:C罗是传奇,是一台不知疲倦的胜利机器 格列兹曼:C罗是传奇,是一台不知...
波切蒂诺:我曾向瓜迪奥拉承认,我很想念执教俱乐部 波切蒂诺:我曾向瓜迪奥拉承认,我...
晨光生物叶黄素放量 辣椒红提价 叠加保健品高增驱动盈利修复 CFi CN讯:晨光生物2026年前三季...
周末加班费怎么算?周末加班工资是几倍? 周末加班费怎么算?周末加班工资是...
日联科技:截至2026年11月10日,公司股东总户数为15,661户-今日看点 证券之星消息,日联科技(688531)11...
新华指数监测:围场油松苗、樟子松苗和云杉苗价格回调|每日聚焦 本期围场苗木油松苗、樟子松苗和云...
Q3机构美股持仓观察:超大盘科技低配幅度边际收窄,资金扎堆AI基础设施链条、软件... 智通财经APP获悉,摩根士丹利发布...
戍怎么读拼音是什么?戍和戌有什么区别? 戍怎么读拼音是什么?戍和戌有什么...
每日快讯!重庆金融监管局关于应琦、汪佑军重庆蚂蚁消费金融有限公司董事任职资格的... 2026年11月13日,重庆金融监管局关...
广州南,这11所民办高中,我会推荐它! 广州南,这11所民办高中,我会推荐...
每日看点!傲拓科技国产PLC突破在即 自主可控加速放量 CFi CN讯:数据显示,傲拓科技202...
今日报丨西部证券(002673):2026年度第十期短期融资券发行结果 原标题:西部证券:2026年度第十期短...
观速讯丨平安银行:400亿元二级资本债券发行完毕 平安银行:400亿元二级资本债券发...
生活美容小窍门有哪些?日常护肤怎么做? 藏在日常的美容密码:小窍门+护肤...