🌏 Read this article in English
從生成到感知：架構重構的邏輯
GenCeption 的核心驗證命題是：能否利用生成模型在學習「如何創造視頻」過程中所獲得的時空表徵，來反向理解視覺世界？研究團隊指出，在可比較設定與指定感知任務上，基於 WAN 2.1 的擴散預訓練模型顯著優於 V-JEPA 或 Video MAE 等其他預訓練方法。這並非表示生成模型完美無缺，而是顯示其預訓練表徵在本研究測試的模型、資料與任務中，能有效支援後續感知預測。
GenCeption 的做法是將生成式擴散模型的後端轉化為一個前饋感知模型。這意味著，同一個模型可以在單一前向傳播中，根據文字指令動態推斷並執行多種視覺任務。實測結果顯示，GenCeption 在深度估計、表面法線預測及 3D 關鍵點預測等任務上，表現與領先的專職模型（如 D4RT 和 VGGT-Ω）相當。其數據效率亦顯著：達到上述性能所需的任務訓練數據量大幅低於後者。
這裡需要先劃出證據邊界。「表現相當」描述的是論文選定的基準、指標與比較設定，不代表同一結論能直接轉移到未測試的資料分布、硬體環境或視覺任務。真正需要解析的不是生成模型是否已經成為所有感知問題的通用答案，而是既有生成式預訓練表徵能否在指定條件下，減少為不同任務各自建立模型的必要性。
研究背景：通用視覺模型的驗證方向
目前的電腦視覺生態系統存在一個結構性挑戰：任務碎片化。隨著應用場景的細分，工程師需要維護多個專職模型。每個模型都需要獨立的數據集、訓練流程、部署管道和監控體系。這種模式在早期確實能帶來精確的性能提升；但如果多個視覺模塊被組合成自主駕駛或機器人導航等複雜系統，專職模型之間可直接共享的表徵可能有限，而資料管道、整合介面與維護成本也會隨任務數量增加。
GenCeption 試圖驗證的是一個架構上的可能性：如果生成模型的預訓練表徵已編碼足以支援視覺語義與幾何預測的資訊，這些表徵能否被指定感知任務直接利用，而不必為每個新任務重新建立一套預訓練模型？在本研究測試的模型、資料與任務範圍內，結果顯示這些預訓練表徵能支援多種高精度感知預測。研究也觀察到一項具體的泛化結果：以單一物體合成視頻訓練的模型，可以零樣本處理包含多個物體的真實視頻。這項結果提供了跨資料型態轉移的證據，但不等於模型已獲得不受任務或分布限制的物理世界知識。
核心機制：從「迭代生成」到「前饋感知」
GenCeption 的核心創新在於架構的重構。傳統擴散模型（Diffusion Models）如 WAN 2.1，是通過迭代的去噪過程來生成視頻的。這個過程本質上是時間消耗巨大的，因為它需要多個步驟才能從雜訊中還原出清晰畫面。GenCeption 並沒有放棄這個強大的生成後端，而是將其「復用」為一個前饋架構。
這裡的關鍵機制是動態模態推斷。在傳統設定下，模型可能只被訓練用於生成或只用於特定感知任務。但在 GenCeption 中，模型接受文字指令作為條件輸入（conditioning）。在單次前向傳播中，模型根據指令內容，動態決定輸出什麼樣的視覺特徵。具體來說，研究人員利用基於擴散的預訓練模型作為基礎。這個生成模型在預訓練中形成了可供下游任務利用的視覺語義和幾何表徵。GenCeption 通過改寫模型的輸出層和前饋邏輯，將原本用於預測下一步雜訊的機制，轉化為對深度、法線或關鍵點的預測。
這種設計的優勢在於，它避免了為每個新任務訓練獨立權重的需要。模型通過文字指令調整輸出所對應的任務，實現了「一模型多任務」。這不僅減少了參數冗餘，更讓模型能夠在推理時根據實際需求切換輸出。需要注意的是，這項機制依賴預訓練階段形成的表徵，以及後續架構與任務設定之間的配合，而非單靠權重共享就能自然取得相同結果。
從系統角度看，這項重構改變的是能力被組織與調用的方式。多個專職模型把任務邊界分散在不同權重、部署單元和資料流程中；GenCeption 則把部分任務差異移到文字條件與共同的前饋路徑。前者的隔離性較清楚，單一模型失效時的 blast radius 較容易限制；後者可以減少重複維護，但共享模型的效能、容量或可靠性問題也可能同時影響多個任務。這是架構集中化本身帶來的取捨，不能只用單項準確率概括。
實測結果：數據效率與泛化邊界
GenCeption 的實測結果提供了支持其作為通用視覺學習者的證據。首先，在性能指標上，GenCeption 在深度估計、表面法線預測、相機位姿估計（D4RT 等對照組）、文字表達指涉分割以及 3D 關鍵點預測等多項任務中，表現與領先的專職模型相當。
其次，數據效率是 GenCeption 的優勢之一。研究顯示，在論文指定比較中，GenCeption 達到與 D4RT 和 VGGT-Ω 等模型相當的性能時，任務訓練資料量約為對照模型的 1/7 至 1/500。這個比例只描述指定模型、任務與比較設定中的任務訓練資料量，不包含生成模型先前的預訓練成本，也不能代替合成資料製作成本、硬體需求或推理成本的比較。它同樣不能直接轉用到論文未測試的任務、資料分布或模型組合。
在資料來源方面，GenCeption 主要依賴合成數據進行訓練；除了文字表達指涉分割任務納入真實世界數據外，其餘訓練完全基於合成視頻。因此，較少的任務訓練資料與對合成資料的依賴是同一個工程帳本上的兩面：前者可能減少特定任務的資料需求，後者仍需要被納入資料生成、品質控制與適用邊界的評估。只看 1/7 至 1/500，會漏掉這個比例沒有計入的成本。
就論文呈現的實驗而言，合成數據提供了精確的幾何標註和可控的變異性，而生成式預訓練所得的表徵可被後續感知任務使用。研究觀察到，以單一物體合成視頻訓練的方法，可以零樣本泛化到包含多個物體的真實視頻；以合成人類視頻訓練的模型，也能處理真實影像與分布外物體類別，例如動物和機器人。這些結果支持特定形式的跨域泛化，但尚不足以證明相同表現會涵蓋任意真實場景、物體類別或感知任務。
此外，GenCeption 在論文測試範圍內展現了初步的數據與模型縮放趨勢：增加訓練數據量或模型規模時，觀察到的性能有所提升。這是架構可能受益於擴大規模的初步證據；至於趨勢能否在更大模型、更多資料、不同任務或其他分布下持續，目前結果尚未建立。在推理速度方面，在單個 v6e TPU 上處理 81 幀、480×832 解析度的視頻，1.3B 參數模型佔用 15.3GB VRAM，運行時間約為 5.92 秒（即 13.6 FPS；相比之下，同條件下專職的 DiT 模型需 0.96 秒）。
這 13.6 FPS 與專職模型的差距，是「單一模型承載多任務」所帶來的計算開銷。當系統架構從多個專職模型切換為單一 GenCeption 時，雖然單次推理延遲增加，但整體系統的維護複雜度、數據管道負擔以及模型之間的整合開銷可能降低。對於非嚴格實時的批處理或中低頻率的決策節點而言，這種以計算資源換取架構簡化的 trade-off 可能成立；但在對延遲極度敏感的閉環控制場景中，專職模型的輕量化優勢依然不可忽視。
適用邊界與工程取捨
GenCeption 提供了一種不同的工程取捨：它犧牲了極致的單任務推理速度，以換取架構簡化、維護成本降低與任務訓練資料效率提升的可能性。這並非對傳統專職模型的取代，而是一種並存的選項。如果系統的主要限制是多任務整合複雜度或任務資料不足，GenCeption 所驗證的架構值得納入比較；若延遲、隔離性與單任務效率是首要判準，專職模型仍是合理選項。
這個選擇可以整理成一個 decision matrix。資料面比較任務訓練資料量、生成式預訓練投入與合成資料依賴；運算面比較延遲、記憶體容量與部署硬體；系統面則比較模型數量、整合介面、可靠性與故障影響範圍。論文的 1/7 至 1/500 回答的是第一組判準中的一部分，5.92 秒、13.6 FPS 與 15.3GB VRAM 則補上部分運算條件。其餘欄位仍需要依實際系統填入，不能由論文中的單一比例代答。
判斷是否採用 GenCeption 的準則，需要綜合考量多個維度：只有在維護多個專職模型的邊際成本，包括人力、基礎設施與整合開銷，足以抵銷共享模型增加的推理延遲、容量需求及故障 blast radius 時，架構集中化的優勢才可能顯現。反過來說，若各任務需要獨立更新、隔離風險或滿足嚴格延遲限制，保留專職模型可能更符合系統邊界。
GenCeption 的重要性，因此不在於證明生成模型必然取代感知模型，而在於提供了一組可檢驗的架構證據：在指定任務與設定中，生成式預訓練表徵能被轉化為多任務前饋感知能力，並展現較低的任務訓練資料需求與有限但具體的跨域泛化。代價則是較高的推理開銷，以及仍未被更大規模與更多任務驗證的轉移邊界。把這些欄位放進同一張工程風險地圖後，是否採用，才有足夠資訊讓你自己判斷。
Sources
- Video Generation Models are General-Purpose Vision Learners — GenCeption 方法、基準與縮放結果