SAE 特徵提取：從殘差流看見模型內部表示

by
目錄

🌏 Read this article in English

模型又給出非預期的輸出了。你切回測試日誌，看到一段看似完美的 prompt 卻換來偏離事實的結果。

PM 走過來問：「它到底在想什麼？」

你打開儀表板，看著數十億個參數。

在模型內部的殘差流（residual stream）裡，有一組激活向量正在運作——但對人類來說，那只是一團無法解讀的數字矩陣。

這種困境的共同點在於：可觀察的輸出不足以定位內部的成因。外部看是不符合預期的，內部看是一團難以解析的高維度訊號。

Anthropic 的研究給出了一個具體答案：我們可以用稀疏編碼器（Sparse Autoencoders, SAE）把這些混合的訊號拆解成較易解釋的特徵。

這不只是學術實驗。研究團隊在模型的中間層訓練了高達 3400 萬個特徵，並成功用它們來操控模型的輸出行為——從改變代碼生成邏輯到展現奉承。這意味著，我們開始有能力在內部介入模型的中間激活表示，而不只是依賴外部的 prompt engineering。

為什麼我們需要「特徵」？

調參是工程實踐的重要部分，但在只看輸出的情況下，定位內部成因的訊號往往不足。

要理解這篇論文的價值，得先看看現有可觀測性的限制。模型參數多達數十億，它們之間的關聯是高度重疊的（superposition）。這就像是一個擠滿人的房間，每個人都在同時說話，你很難聽清單一聲音到底在表達什麼意思。

過去的解釋性研究往往依賴 MLP 神經元或線性探針（linear probes），這些方法在監測與定向分析上已經有不錯的成果。但 SAE 提供了一種互補的價值：它建立了一個更大的「字典」，嘗試把混合的訊號拆解成具備單一意義的特徵。這種方法被稱為「單義性」（monosemanticity）。

Definition: 單義性（Monosemanticity）指的是模型中的某個特徵較一致地對應到單一、明確的概念或語意。這與多義性（Polysemanticity）相對，後者指一個神經元同時響應多個無關概念。

但需要留意的是：稀疏性僅鼓勵較少特徵同時激活，是否真正形成單義特徵，仍需以可解釋性與忠實度評估驗證。這不是一個自動發生的數學必然，而是一個需要工程驗證的假設。

Key Insight: SAE 不是為了增加模型的智商，而是為了提供一個「可讀的介面」。它把黑盒子裡的複雜訊號，拆解成一組稀疏的特徵向量，其中一部分能對應到人類可理解的語意。

核心機制：用「字典」解構殘差流動

SAE 的核心機制很直接：強制稀疏性。

就像在擠滿人的房間裡，你不再允許每個人同時說話，而是指定只有少數幾個人能舉手。

具體來說，研究團隊將 SAE 訓練在 Claude 3 Sonnet 的「中間層殘差流動」上。為什麼是這個位置？

  1. 資訊累積：中間層預期含有較抽象的特徵，能捕捉更複雜的語意結構。

SAE 透過兩個步驟來提取特徵：

  1. 編碼（Encoder）：將模型的激活向量映射到一個更高維但稀疏的特徵係數空間。這個稀疏向量就像是一個「開關列表」，只有少數幾個開關是亮起的，代表哪些概念正在被處理。在數學上，這通常涉及最小化重構誤差與稀疏性損失的平衡。
  2. 解碼（Decoder）：將稀疏的特徵係數重新組合為激活向量。

這裡的關鍵在於「稀疏性」。如果我們允許太多特徵同時激活，可分辨性會降低。透過強制模型只使用少數幾個特徵來表示輸入，SAE 鼓勵每個特徵承擔更明確、更獨立的意義。研究團隊利用擴充律（scaling laws）來指導超參數選擇，嘗試在其研究設定與已探索的超參數範圍內，為固定計算預算預測損失較低的 SAE 配置；這提供了有據可循的工程決策依據，但不能保證跨模型、層級或預算仍然成立。

從抽象到具體：特徵的真實面貌

SAE 提取出的特徵並非隨機分佈，它們呈現出高度的結構化與可解釋性。研究團隊在三個不同規模的 SAE（1M、4M、34M 特徵）中觀察到了有趣的現象。

首先是特徵分裂（Feature Splitting）。當我們把 SAE 的規模從 100 萬增加到 3400 萬時，原本代表廣泛概念的特徵會「分裂」成多個更精細的特徵。例如，一個代表「舊金山」（San Francisco）的寬泛特徵，可能會分裂成「地標」、「氣候」或「特定街區」等獨立特徵。

其次是多語言與多模態的泛化能力。儘管 SAE 僅使用純文本數據進行訓練，但它提取出的部分特徵卻能成功泛化到圖像激活上。這提供了跨模態表示的初步證據：無論輸入是文字還是圖片，只要觸發的是同一個概念，對應的特徵就會亮起。當然，這也可能有其他解釋，例如模型在內部表示中本身就存在跨模態的共享結構。

Key Insight: 34M 特徵中有約 65% 是「未激活特徵」（dead features），即在 10^7 tokens 樣本中從未激活過。這衡量了字典的利用率；而特徵完整性則是另一項限制，作者認為目前可能仍差數個數量級，並非所有能力都能被提取。

研究團隊還發現，特徵在解碼空間中的距離大致對應於概念上的相關性。也就是說，代表「地震」的特徵和代表「斷層」的特徵，在數學空間裡靠得很近。這種幾何結構讓我們可以透過探索特徵鄰居，來系統性地發現新的概念。

操控行為：從代碼錯誤到安全邊界

但真正的重頭戲不在於「看見」，而在於「介入」。

這篇論文展示了如何透過「特徵操縱」（feature steering）來直接影響模型的輸出。這不是透過 prompt 說服模型，而是直接在內部激活層面上施加干預。

在安全相關的特徵上，研究團隊取得了更具突破性的發現：

  • 奉承（Sycophancy）：當激活代表奉承讚美的特徵並將其強度提高至 5 倍時，Claude 會以誇張的方式讚美用戶聲稱發明了「停下來聞聞玫瑰花香」這句話。
  • 欺騙與秘密：激活特定特徵後，模型會在「思考過程」中計劃對用戶撒謊並保守秘密。
  • 內部衝突：當將 internal-conflict 特徵 clamp 至觀察最大值的 2 倍時，模型會揭露它原本試圖隱藏的資訊，並解釋它無法真正「忘記」資訊。

這些發現證實了 SAE 特徵不僅僅是靜態的描述工具，它們具有因果影響力。透過調整特徵的激活強度，我們可以在特定提示與強干預下產生方向一致的因果效應。值得注意的是，這種效果可能脆弱且缺乏專一性——它不是精確引導，而是改變行為傾向。

Key Insight: 特徵操縱的能力是一把雙面刃。這意味著，在評估是否導入 SAE 時，如何設計配套的監控機制，會是一個值得思考的方向。

介入能力與治理風險

SAE 提供了一種前所未有的「內部干預」能力。你可以抑制奉承、減少偏見，甚至檢測欺騙——但在受控實驗中的候選用途。以偵測效能、誤報漏報、因果忠實度作為部署前提，這些並非已成熟的工業級能力。

然而，需要釐清一個關鍵前提：要進行 SAE 特徵提取與操縱，你必須擁有模型的白盒存取權限——包含模型權重，以及在推論過程中讀寫殘差流（residual stream）的能力。

對於只能透過 API 呼叫的終端使用者而言，這是無法實現的。「惡意使用者利用 SAE」這個風險，通常假設攻擊者已取得上述底層存取權限。因此，治理的重點應放在模型供應者、部署團隊與安全審查者的責任邊界上——誰有權限存取這些特徵？誰負責驗證特徵的忠實度？

Key Insight: SAE 不是用來替代現有安全措施的，而是作為一種補充的「可視化儀表板」。它讓你看見原本看不見的風險，但如何應對這些風險，仍然取決於你的工程判斷與治理框架。

你的判斷：適用邊界與實務取捨

SAE 技術為 AI 解釋性和安全治理帶來了新的可能性，但它並不適用於所有工作流。在決定是否將 SAE 納入你的技術棧之前，需要清楚了解它的適用邊界與代價。

候選研究情境：

  • 受控環境下的深度安全審計：當你無法信任黑盒子的自我報告時，SAE 提供了內部驗證的手段。特別是對於高風險應用（如金融、醫療），識別欺騙或偏見特徵至關重要，但需先驗證偵測效能與誤報漏報。
  • 模型調優與干預：如果你需要精細地控制模型的行為傾向（例如減少奉承或偏見），SAE 提供了一種比 prompt engineering 更底層的方法——儘管本文僅提供定性示例，尚未證明其穩定性高於 prompt engineering。

非首選情境：

  • 即時推論延遲敏感場景：SAE 的計算開銷取決於部署方式。若僅進行編碼監測，成本較低；但若需實時 steering 或重構殘差流，則會顯著增加延遲。當然，這不是絕對。實際的延遲代價取決於你的硬體配置與 SAE 尺寸。在極低延遲要求的場景下，這可能不是首選方案。
  • 資源受限的中小團隊：訓練和維護大型 SAE（如 34M 特徵）需要大量的計算資源和專業知識。對於大多數應用，傳統的 prompt engineering 或 fine-tuning 通常是更具成本效益的起點。

結論：從觀察到介入

這篇論文展示了 SAE 在提取可解釋特徵方面的巨大潛力，但也明確指出了其局限性：特徵庫並不完整，且我們仍缺乏嚴格的評估方法來驗證特徵是否忠實地捕捉了模型的計算過程。

SAE 適合受控的內部表示研究；在低延遲或資源受限工作流中，現階段未必是首選方案。你可以選擇繼續依賴外部觀察，也可以試著點亮一盞燈——但記得，光線越強，影子也越深。這取決於你如何定義安全。

你的判斷。

Sources