🌏 Read this article in English
當模型自信地輸出錯誤：動機案例與研究命題
你下了一個 Prompt。模型吐出 50 行 SQL。看起來很完美… Syntax Error。
這不是 Prompt 沒寫好，也不一定是模型在撒謊。而是它**「自信地產出了錯誤結果」**。
在實務上，我們常遇到這種狀況：當 LLM 產出錯誤答案時，它往往伴隨著極高的口頭自信。即使改善 Prompt，僅觀察輸出仍未必能可靠判斷模型是否會自我修正。
Jiang、Kauvar 與 Lindsey（於 Anthropic Fellows 期間完成）的研究《The Value Axis: Language Models Encode Whether They’re on the Right Track》最近在 arXiv 上發表。他們在 Qwen3-8B 中發現了一條「價值軸線（Value Axis）」。這條軸線像車載導航，不斷量化模型對當前生成軌跡的評估：「你現在走的這條路，離正確答案有多遠？」
註：上述 SQL 案例為動機說明。論文並未直接證明此類錯誤完全由價值軸線造成；研究主要比較預填的正確與人工破壞程式碼，並另測口頭信心。
這篇論文試圖回答一個更底層的問題：語言模型的內部狀態，是否真的編碼了「當前生成軌跡的正確性」？
換句話說，當模型在生成文字時，它內部的神經網路是否在同時計算：「我現在走的這條路，成功機率有多高？」如果這個內部訊號存在，我們就不僅能依賴輸出的文字來判斷品質，還能直接介入模型的內部狀態，改變它的自信程度或回溯行為。
核心機制：神經活化值的「導航儀」投影
價值軸線是什麼？ 它是一條線性方向，能從模型隱藏層的神經元活化值中提取出來。研究者從殘差流（residual stream）提取這條線性方向，而非直接讀取意圖或意識。它是對當前生成軌跡品質的量化投影。
關鍵驗證結果：
- 代碼正確性：在 DebugBench 的 225 題中，軸線能有效區分正確與人工破壞的程式碼。
- 信心預測：在 AIME 問題上，軸線能預測模型何時認為答案正確（AUROC >0.75）。
- 因果證據：Steering 實驗提供了選定行為的因果證據。
這條軸線的方向非常明確：
- 高價值端：對應較少的回溯、更精簡的輸出（減少行數、註解與類型提示），以及口頭自信的提升。
- 低價值端：對應更多的回溯（Backtracking）、探索性嘗試，以及冗長的解釋。
關鍵在於，這不是透過 Prompt 告訴模型「你要自信」，而是直接操縱內部的神經元活化向量。當我們把活化值推向高價值端時，觀察到的行為是較少回溯與解釋；推向低價值端時，則會出現更多回溯與探索。
介入內部狀態：Steering 與 DPO 的觀察
論文中最值得注意的現象，來自於對模型內部狀態進行介入（Steering）以及「直接偏好優化（DPO）」後的行為觀察。研究團隊在 Qwen3-8B 上得出以下關鍵數據：
- 自信與簡潔的正相關（Steering 實驗）：當手動將價值軸線引導至「高價值」時，生成的代碼行數、註解與類型提示會顯著減少。模型變得更精鍊，不再囉嗦地解釋思考過程。
- 自我檢查的減少（Steering 實驗）：同樣在推向高價值端時，模型進行「回溯（Backtracking）」的機率大幅下降。這意味著人為提升內部自信雖然能讓輸出更乾脆，但代價是可能減少探索與發現錯誤的機會。
這顯示了一個重要訊號：DPO 訓練不僅改變了表面的輸出機率，更在內部提升了特定受控行為的「價值評分」。而從 Steering 實驗可知，當內部價值評分處於高位時，模型傾向於展現更高的自信與較少的回溯。這為我們理解對齊訓練（Alignment）如何影響模型內部狀態，提供了一個具體的觀測點。
你的判斷：適用邊界與實務意涵
這條價值軸線的發現，對我們理解和使用 LLM 有深遠的影響。它不是涵蓋所有需求的完整答案，而是定位當前狀態的座標。
效率假說（待驗證）：
- 需要高效輸出的場景：在代碼生成或快速決策任務中，引導模型進入高價值狀態可以減少冗長的解釋。這可能降低輸出篇幅與 API 呼叫成本，但延遲與成本的具體影響仍待驗證；這些效率指標也不代表正確率或校準有所提升。
高可靠性場景中的未驗證風險：
- 需要高可靠性與自我檢查的場景：在醫療、法律或關鍵基礎設施相關的代碼生成中，抑制回溯可能減少探索行為。低價值狀態包含更多的探索行為，但論文尚未驗證這些行為是否提高正確率、安全性或校準，因此不能據此推薦高風險領域採用低值 steering。
可查證來源與論文自己的限制
Anthropic 的研究為我們提供了一個強大的工具來理解 LLM 的內部狀態，但讀者也應注意其邊界。
作者標註的限制：
- 模型依賴性：目前的研究主要集中在 Qwen3-8B 上。雖然 DPO 的效果在多個由同一 Qwen3-8B 基底微調出的實例中觀察到，但價值軸線的精確位置和強度可能因模型架構和訓練數據而異。規模泛化尚未深入研究。
- 合成數據的局限：軸線由 300 組合成 ICRL 段落改寫對話建構；程式碼資料用於後續正確性與 steering 評估。這是否能在完全開放域的真實對話中保持穩定，本文推論仍需謹慎看待。
- 機制來源未明：論文尚未判定此機制源自預訓練或後訓練，目前判斷依據不足。此外，軸線建構資料由 Claude Opus 4.6 模擬軌跡，可能混入特定資料成分。
- 定義非唯一性：value belief 未被精確定義，差值均值建構只是多種合理方法之一，合成 ICRL 方向可能包含方法特有的 spurious components（偽訊號）。
下一步：在工程實踐中如何應用？
理解這條軸線後，你可以考慮以下幾個方向來調整你的工作流。請注意，目前這些建議多屬研究方向與原型驗證階段，正式部署前需建立必要前提與驗證指標。
- CI/CD 中加入價值監控（待驗證研究議程）：對於關鍵任務，可以監控生成過程中的「價值向量」變化。如果模型在關鍵步驟突然進入高價值狀態且停止回溯，可能需要觸發二次驗證。必要驗證項目：逐模型重建軸線、與真實任務結果校準、誤報漏報率。（註：此方法僅適用於可讀取殘差流的自託管模型；標準託管 API 通常無法直接實作。）
- 針對關鍵路徑啟用低價值狀態（待驗證研究議程）：在需要高度自我檢查的場景，嘗試將內部狀態引導至低價值區間，讓模型保持「探索模式」而非「自信模式」。注意：這不能透過調整 temperature 達成，而是需要特定的 activation steering。必要驗證項目：steering 對正確率的影響及回退機制。
- 重新評估 DPO 訓練目標（研究假說）：目前僅測試了 50 個使用合成詞彙偏好資料訓練的模型，以及相關表達量的變化；是否應調整偏好資料或正式訓練目標，仍需比較回溯率、正確率與校準後才能判斷。
這不只是二元對錯，而是情境配置的選擇。效率與安全，從來不是非黑即白的選擇。在你的工作流裡，效率、自我檢查與可驗證性之間，準備如何配置取捨？
Sources
- The Value Axis: Language Models Encode Whether They’re on the Right Track — 價值軸線原始論文，提供建構方法、steering 實驗與限制