犀牛鳥前沿 | 犀牛鳥精英人才 ICML 2026 入選論文解讀

該論文由騰訊犀牛鳥精英人才朱文紅同學在上海交通大學王瑞副教授、劉鵬飛副教授和騰訊混元團隊企業(yè)導師的聯(lián)合指導下完成。

摘要：知識蒸餾（Knowledge Distillation，KD）是一種用于壓縮大語言模型（LLM）的強大范例，但其有效性取決于幾個緊密耦合的設計選擇，包括發(fā)散方向、優(yōu)化策略和數(shù)據(jù)制度。我們系統(tǒng)地分解了現(xiàn)有的KD方法，并提出了一個統(tǒng)一的觀點，揭示了它們之間的潛在聯(lián)系，將KD重新表述為一個令牌級別的重加權對數(shù)似然目標。基于這一觀點，我們提出了混合策略蒸餾（HPD），它結合了正向和反向KL的互補優(yōu)勢，以平衡模式覆蓋和模式搜索，同時將非策略數(shù)據(jù)與輕量級的近似策略抽樣集成在一起。我們在長形式數(shù)學推理以及短形式對話和代碼生成上評估了HPD，并表明它在不同的模型族和規(guī)模上始終提高了優(yōu)化穩(wěn)定性、計算效率和最終性能。

?完整解讀：犀牛鳥前沿｜ICML 2026：騰訊混元-上海交大高效模型蒸餾最新成果解讀

?論文鏈接：https://arxiv.org/pdf/2604.20244

該論文由騰訊犀牛鳥精英人才鍾芷婷同學在香港科技大學楊瓞仁教授和騰訊微信團隊企業(yè)導師的聯(lián)合指導下完成。

摘要：上下文學習（In-context Learning, ICL）通過提示詞示例適配LLM而無需更新參數(shù)。多示例ICL可媲美微調(diào)，但現(xiàn)有擴展規(guī)律認識僅源于非推理任務。本文研究推理任務的多示例CoT-ICL，發(fā)現(xiàn)標準擴展規(guī)律不適用：通過廣泛實驗，(i) 擴展效應具任務依賴性，增CoT示例主要利好推理型LLM；(ii) 相似度檢索在推理任務失效，因語義相似度難預測CoT兼容性；(iii) CoT示例增多時性能方差顯著增大。我們將其解釋為多示例CoT-ICL本質是上下文測試時學習而非模式匹配，據(jù)此提出示例應易被模型理解且按概念遞進排列兩項原則，并基于此提出CDS方法優(yōu)化示例排序，在數(shù)學與敘事推理上實現(xiàn)平均3.81%提升。本研究將長上下文窗口從"檢索緩存"重定義為"上下文測試時學習的結構化課程"。

?完整解讀：犀牛鳥前沿｜ICML 2026：騰訊微信-港科大長上下文推理最新成果解讀

?論文鏈接：https://arxiv.org/pdf/2605.13511

該論文由騰訊犀牛鳥精英人才劉烜奕同學在北京大學馬思偉教授和騰訊營銷團隊企業(yè)導師的聯(lián)合指導下完成。

摘要：基于稀疏相機約束的圖像到視頻生成面臨著一個關鍵挑戰(zhàn)：如何僅憑最少的姿態(tài)線索合成幾何上一致的3D運動。現(xiàn)有方法主要依賴于密集監(jiān)督或簡單的插值，由于缺乏魯棒的3D先驗知識，往往會出現(xiàn)嚴重的姿態(tài)漂移和運動不連續(xù)性。本文提出 CamGeo，這是一個創(chuàng)新框架，能夠將預訓練的視頻到3D模型（VGGT）中的豐富3D幾何知識直接蒸餾到擴散骨干網(wǎng)絡中。為在不增加推理延遲的前提下實現(xiàn)這一目標，我們提出了一種僅在訓練階段進行的蒸餾策略。具體而言，CamGeo 包含：(1) 關鍵幀軌跡蒸餾，通過稀疏輸入姿態(tài)確保周期一致性；(2) 跨幀一致性蒸餾，結合攝像機軌跡與深度約束，在無監(jiān)督幀之間生成一致的結構；(3) 三階段從粗到細的課程學習，逐步提升幾何復雜度，從全局結構連貫性到細粒度優(yōu)化，從而實現(xiàn)穩(wěn)定的優(yōu)化。大量實驗表明，CamGeo 在各種稀疏度下均能實現(xiàn)穩(wěn)定的性能提升。

?完整解讀：犀牛鳥前沿 | ICML 2026：騰訊營銷-北大稀疏視角視頻生成最新成果解讀

?論文鏈接：https://icml.cc/virtual/2026/poster/63132

原文作者：公眾號“騰訊高校合作”

原文鏈接：https://mp.weixin.qq.com/s/O0A7Zpy8joCGk0s4EJ58AQ

雷峰網(wǎng)(公眾號：雷峰網(wǎng))