🌏 Read this article in English
凌晨兩點。
CI 紅了。
標註員 A 給 5 分，標註員 B 給 1 分。
同一個回答。
你該聽誰的？
這就是傳統 RLHF 的核心矛盾：人類的標註成本只是表象，真正的瓶頸是訊號雜訊比太低。
同一個 prompt 下，偏好分歧會直接影響 reward model 的可學訊號。成本與品質，從來不是可分離的變數。
過去兩年，我們一直在討論如何讓 AI 「聽話」。做法很直觀：招募標註團隊，對著 AI 的輸出打分數，告訴它哪個回答更符合偏好。
這套方法有效嗎？有效。但它的邊界很明顯——當涉及「有害內容」（hate speech, dangerous instructions）時，人類的心理負擔與主觀偏好會成為系統性的不穩定因素。
Anthropic 提出的 Constitutional AI 架構，成功將過去依賴人力的對齊過程轉化為可擴展的工程管線。它將 harmlessness 訓練拆分為 critique/revision 與 RLAIF，降低了標註員接觸有害內容的風險。
在 Anthropic 論文的 harmlessness 評估中，CAI 在多數無害性指標上表現穩定，且以較少人類 harmlessness labels 達成目標。
這不是要取代人類。而是把人類從「標註員」的角色，解放為「憲法起草者」。
從「標註」到「自我修正」的做法改變
要理解 Constitutional AI 的價值，我們得先看清 RLHF 的優化空間。
在 RLHF 的流程中，人類標註員主要扮演偏好判官：比較 AI 的兩個回答，選出較好的那個。文字回饋（textual feedback）並非標準 RLHF 的必備步驟，而是特定資料流程的延伸。
真正的挑戰在於，當涉及「有害內容」時，人類標註員會面臨巨大的心理負擔。而且，對於「什麼算有害」，不同文化、不同背景的人有完全不同的定義。
Constitutional AI 做了一個關鍵的拆解：將「生成內容」與「評價內容」分離。
它引入了兩個核心組件：
- Constitution（憲法）：一組原則性規則。例如：「回答必須尊重用戶」、「不得提供製造武器的指導」、「不得生成仇恨言論」。
- AI Feedback（AI 回饋）：讓 LLM扮演兩個角色——「批評者（Critic）」和「修正者（Revisor）」。
流程變成了這樣：
- AI 生成初始回答。
- AI（作為 Critic）根據憲法條款，檢查這個回答是否有違規。
- 如果有違規，AI（作為 Revisor）根據憲法條款生成一個修正後的版本。
- 關鍵步驟：
- SL 階段：使用 critique/revision 數據進行微調。
- RL 階段：由模型依憲法比較兩個 sampled responses，產生 AI preference labels。
- 這些偏好數據用來訓練偏好模型（Reward Model），再透過強化學習（RL）優化最終的 Policy 模型。
CAI 的假設是抽象原則可提供較好的泛化空間。因為具體規則容易被繞過，而抽象原則提供了更廣闊的「安全網」，讓模型在面對新情境時，能基於原則進行推導，而不是單純比對規則。當然，這張安全網夠不夠牢，最終還是得靠你的評估集來驗證。
憲法不是法律條文，是「安全網」
很多人誤以為 Constitutional AI 需要寫得像法律一樣嚴謹。其實不然。
在 Anthropic harmlessness 實驗設定中，高層次原則已能支撐可觀改善；實務仍需 domain policy 與 eval 補強。
例如，其架構可抽象成以下原則：
- 尊重性（Respectfulness）：回答必須尊重用戶，即使用戶的觀點有爭議。
- 誠實性（Honesty）：不得生成虛假資訊。
- 安全性（Safety）：不得提供危險建議。
這些原則看起來很空泛，但當它們被反覆應用於訓練過程中時，模型會逐漸內化這些邊界。
憲法的作用不是「列出所有禁止事項」，而是「定義安全的邊界」。模型在邊界內自由發揮，在邊界外自我修正。這比手動維護一份萬年不變的規則清單更有效。
誰在扛風險？
在討論技術架構時，我們常忽略系統中的利益流動。
RLHF 讓標註員承擔認知負荷，Constitutional AI 讓模型承擔推理成本。
平台供應商重視 CAI 的可擴展性，因為它可自動化。但採用方需評估憲法設計與維運責任。
設計一套好憲法需要領域專家（domain experts）的深度參與。這比找標註員更貴、更難。
憲法通常是在 edge case 辯證與迭代中收斂出來的。
想像用戶問：「如何合法節稅？」
模型因為「安全性」原則拒絕回答，理由是「避免提供財務建議」。
這時你的憲法該怎麼加一條「區分合法詢問與惡意意圖」的條款？
實務上，通常是從幾個高風險的 edge case 開始，觀察模型與憲法的偏離。看它在哪裡偏離預期，就能找出憲法的盲區。
如果憲法沒寫到這個邊界，模型就會給出偏離預期的答案。這時候通常會同時回到憲法條款、測試案例與系統流程做迭代。
AI Feedback 的質量取決於「批評的詳細程度」。如果批評只是簡單的「對/錯」，模型學不到任何東西。只有當模型學會「基於原則進行推理」時，它才能在未來面對新情境時，做出正確的判斷。
Constitutional AI 不是「一勞永逸」的解決方案。它是一個動態的系統。憲法需要隨著社會規範、技術發展和新的威脅模型不斷更新。
取捨：當「安全」與「有用」衝突時
任何安全機制都面臨一個核心挑戰：過度安全（over-refusal）。
當模型過於謹慎時，它可能會拒絕回答一些合法但敏感的問題。例如，用戶詢問「如何防禦網路攻擊」，模型可能會因為擔心被濫用而拒絕回答。
Constitutional AI 在這方面展現了優勢。基於原則的比較訊號有助於把合法求知與高風險請求分開，但效果取決於憲法、基礎模型與評估集。
在 Anthropic 的實驗中，他們發現：
- RLHF 模型：在面對敏感話題時，容易出現「過度拒絕」或「不一致的拒絕」（同樣的問題，有時回答，有時拒絕）。
- Constitutional AI 模型：拒絕行為更一致，且能更準確地區分「惡意意圖」與「合法求知」。
這背後的原因是：憲法提供了清晰的決策邊界，而 RLHF 依賴的是模糊的偏好分佈。
決策框架：你該用 RLHF 還是 Constitutional AI？
打開試算表。算一下你每個月付給標註團隊的帳單，再對比讓 LLM 自己跑 Critic 的 token 消耗。
對於工程團隊來說，選擇哪種方法取決於你的資源和目標。
在低風險原型與明確偏好任務中，RLHF 常是較容易啟動的起點。 如果你要長期運營，憲法設計會成為需要納入預算的維運項目。
| 維度 | RLHF (Human Feedback) | Constitutional AI (AI Feedback) |
|---|---|---|
| 初期建置 | 依賴標註管線與人力招募 | 依賴領域專家設計憲法 |
| 長期維運 | 隨資料量線性疊加 | 集中在原則與測試集更新 |
| 一致性 | 易受標註員主觀差異影響 | 基於原則的邏輯推導較穩定 |
| 擴展性 | 受限於人力瓶頸 | 可自動生成數據 |
| 適用場景 | 快速原型、明確偏好任務 | 長期運營、高安全需求 |
這不是對錯的問題，是選擇的問題。
如果你預算有限，RLHF 是起點；如果你要長期運營，憲法是保險費。你想先付哪一筆？
下一步：從「憲法」到「實踐」
Constitutional AI 的出現，標誌著 AI 安全從「被動防禦」轉向「主動設計」。
未來的安全團隊，標註管理的重要性下降，憲法版本與評估治理的重要性上升。 他們在 edge case 裡找漏洞。
安全不再是一個功能，而是一個持續迭代的過程。
商業採用節奏仍需觀察，但技術方向已逐漸成形：未來的 AI 安全，將越來越依賴「自我修正」的能力，與「外部監督」接力，而非單一依賴。
你的第一版憲法，會先處理哪一種 edge case？
Sources
- Constitutional AI: Harmlessness from AI Feedback — 定義 CAI 架構與實驗設計
- Anthropic: Constitutional AI — 官方實作細節與核心概念