ICML 2026：從輸入輸出樣例中自動生成程序——強化學習為大模型Programming-By-Example任務提供推理過程監督

Programming-by-Example的核心目標，是從少量輸入輸出樣例中推斷用戶真正想要的程序邏輯。傳統PBE系統通常依賴預定義DSL，通過符號搜索、遞歸分解或神經網絡引導搜索完成程序合成。隨著大語言模型的發展，PBE不再必須受限于特定DSL，模型可以直接基于自然語言提示、輸入輸出樣例和推理鏈生成通用語言程序。

然而，論文指出，當前LLM-based PBE方法仍存在一個關鍵缺陷：模型主要學習輸入與輸出之間的表層映射，而缺少對中間歸納過程的監督。對于復雜PBE任務，僅憑樣例進行端到端生成容易產生兩類錯誤。一類是模型推斷出完全錯誤的邏輯，例如把“多個列表相同位置元素相等的索引”錯誤理解為簡單集合交集。另一類是模型生成只覆蓋部分樣例的程序，例如任務要求降序排序，模型卻只執行反轉操作，從而在部分樣例上看似正確，但無法表達真實規則。

這些失敗說明，PBE的難點并不只是最終代碼是否通過測試，而在于模型是否能夠在推理過程中逐步接近樣例背后的潛在意圖。若缺少對推理步驟的顯式監督，模型很容易沿著錯誤歸納方向繼續生成，并最終得到看似合理但邏輯不完整的程序。

針對PBE中間推理過程難以監督的問題，論文提出反饋引導的推理樹構建方法。推理樹中的每個節點表示一個自然語言形式的中間推理步驟，模型從輸入輸出樣例出發，逐步采樣后繼推理節點，直到形成完整推理路徑。由于這些中間節點本身不能直接執行，系統會在路徑終止后將其轉化為完整程序，并通過執行測試判斷其是否滿足所有樣例。

在此基礎上，論文用后續路徑的成功比例衡量節點質量。若某個節點的大部分后續路徑都能導向正確程序，說明該推理狀態較為可靠。若某個推理前綴的所有后繼路徑都失敗，系統則將其視為潛在邏輯偏離點，并引入外部自然語言指令進行定向修復，從而生成更多高質量正樣本，緩解PBE過程監督數據中正樣本稀疏的問題。

在完成推理樹構建后，論文進一步訓練Process Reward Model來評估中間推理步驟的質量。PRM并不直接判斷最終程序是否正確，而是為每個推理狀態分配獎勵分數，用來估計該狀態繼續生成正確程序的可能性。

具體而言，論文將節點的后繼成功率作為偏好信號。如果節點A的后續采樣路徑更容易生成正確程序，而節點B的后續路徑更容易失敗，訓練目標就要求PRM給節點A更高分數。相比簡單的正負樣本分類，這種偏好學習能夠更細致地區分不同推理狀態的可靠程度，使模型學會識別更可能通向正確程序的歸納方向。

獲得PRM后，論文將其接入強化學習框架，用過程級獎勵優化程序合成模型。為提升訓練穩定性，研究團隊設計了按失敗模式組織的三階段課程學習策略，使模型從基礎可執行性逐步過渡到復雜邏輯正確性。

第一階段關注語法錯誤和運行時錯誤，訓練模型生成能夠正常執行的程序。第二階段關注可執行但與目標行為完全不一致的程序，引導模型學習輸入輸出樣例中的核心約束。第三階段處理只能通過部分樣例的程序，幫助模型減少對有限樣例的過擬合。在每個階段中，PRM對中間推理狀態提供獎勵，并通過PPO更新策略模型，從而讓模型逐步學習更可靠的程序歸納路徑。