從 ORM 到 PRM：探討過程獎勵在複雜推理任務中的價值

by
目錄

🌏 Read this article in English

模型答對了。

但如果你問它怎麼算的，它給你的答案可能無法支撐最終的結論。

第 42 行顯示最終答案 42。你鬆了一口氣。 往上看，第 15 到 30 行的推理鏈卻充滿了邏輯斷層。模型可能依賴了捷徑，或是中間步驟出現嚴重偏離後，後續計算又陰錯陽差地修正了回來。

這在 LLM 推理任務中很常見——ORM（Outcome Reward Model）只獎勵最終答案。我們往往只關心最終輸出是否正確，卻忽略了模型是「如何」得到這個答案的。

OpenAI 在 2023 年的研究《Let’s Verify Step by Step》中，將這種「黑盒驗證」稱為 ORM 的盲區。缺乏中間步驟的反饋，導致模型容易學會「湊答案」而非「解題」，甚至在面對複雜問題時，產生看似合理卻偏離邏輯的「幻覺」。

核心機制：為什麼「過程獎勵」成立？

要理解 PRM（Process Reward Model）為何有效，我們可以用「風險」與「代價」來類比。

ORM 是結果層級評估；PRM 則把獎勵訊號拆到步驟層級。

關鍵差異不在於讓模型變得更聰明，而在於「可查核性」。

想像你在做 code review。ORM 是只看 CI 有沒有綠；PRM 是逐行看你的邏輯有沒有斷層。

OpenAI 的研究訓練了一個專門的 verifier 模型來評估每一步推理的合理性。這意味著，即使最終答案未達預期，只要中間的邏輯步驟是對的，系統也能獲得正向反饋。這種細粒度的反饋機制，讓系統能從多個候選解中，篩選出邏輯最嚴謹的那一條路徑，而不僅僅是依賴最終答案的隨機性。

PRM 的核心價值不在於「讓模型更聰明」，而在於「讓模型的思考過程可被驗證」。這對於需要可查核推理鏈的場景至關重要。

真正重要的結果：差距隨難度擴大

OpenAI 在 MATH 數據集上的實驗，給出了具體可證偽的數字：

  • 78% 解決率：Process-supervised reward model 在 MATH 測試集的代表子集（representative subset）中，成功解出了 78% 的題目。
  • PRM800K 標註：為了訓練這個 verifier，研究團隊使用了 PRM800K 數據集——包含 80 萬（800,000）個 step-level 的人工標註。

數據背後顯示的趨勢是：

  • 在簡單題目中，PRM 與 ORM 的表現差距不大。
  • 但在高難度題目（如競賽級題目）中，PRM 的優勢顯著。
  • 當考慮多個解題路徑時，PRM 的優勢更加明顯。這意味著，PRM 能較早標記低可信步驟，讓系統在候選解中選擇步驟較可靠的軌跡。

這不僅是準確率的提升，更是**可查核性（Verifiability）**的提升。因為每一步都有獎勵信號，我們可以追蹤模型在哪一步開始偏離正確路徑，從而進行更有針對性的修正。

PRM 的優勢在於「粒度」。ORM 是「全有或全無」，而 PRM 允許系統在多個候選解中，及早識別並捨棄偏離的軌跡，這對於處理複雜、多步驟的推理任務至關重要。

你的判斷：適用邊界與取捨

PRM 不適合所有工作流。它提供定位邏輯斷層的線索，但也伴隨著需要評估的運算成本。

適合誰？

  • 高難度推理任務：如數學證明、代碼生成、邏輯推理。這些任務的步驟多、依賴鏈長，單靠最終答案的反饋不足以引導模型。
  • 需要可解釋性的場景：當你需要知道模型「為什麼」得出某個結論時，PRM 提供的中間步驟反饋是不可或缺的。

邊際效益較低的情境

  • 簡單分類或生成任務：如情感分析、簡短摘要。這些任務的步驟少，ORM 已足夠，引入 PRM 只會增加不必要的開銷。
  • 資源受限的邊緣設備：PRM 需要額外的模型來評估每一步，這意味著更高的計算成本和延遲。

取捨

  • 基礎設施複雜度 vs. 準確率：PRM 需要訓練和部署額外的模型，這增加了系統架構的維護面。
  • 延遲 vs. 可靠性：每一步的評估都會增加推理時間。在需要低延遲的場景中，這可能是一個瓶頸。

這裡有一個反直覺的風險：

在低難度任務上，ORM 的「黑盒」已經足夠精準。引入 PRM 只會帶來額外的延遲與標註成本，卻沒有顯著的準確率提升。選擇 PRM 還是 ORM，取決於你的任務對「推理過程」的依賴程度。如果任務可以分解為多個可驗證的子步驟，PRM 是更穩健的選擇。

你的選擇

在投入算力之前，先確認你在賭桌上的位置：

  1. 結果偏離的代價有多高？ 如果偏離只是重跑一次，ORM 或許足夠。
  2. 過程是否具備客觀的查核標準？ 如果無法定義「合理步驟」，PRM 的 verifier 就無法訓練。
  3. 延遲容忍度為何？ 每一步的驗證都會增加推理時間，這在低延遲場景中可能是瓶頸。

PRM 是用額外的推理延遲與部署成本，換取更高的候選解查核能力。

你願意為了一分鐘的可信度，支付額外的延遲與標註成本嗎？

這取決於你的系統能承擔多少風險，以及可查核性值多少籌碼。當任務有可驗證步驟且偏離代價高，PRM 才值得納入評估。

Sources