GMOS：以 3D 幾何錨定動態物件分割的取捨

by
目錄

🌏 Read this article in English

當相機運動使靜止背景在 2D 畫面中產生視差時，像素位移不等於物體真的在移動；同樣地，物體曾在一段序列中移動，也不代表它在每一幀都處於運動狀態。傳統方法通常依賴預先計算的光流（Optical Flow）或點軌跡等 2D 輔助模態來判斷像素移動，但這缺乏對場景深度的理解；而為了解決時間維度的不連貫性，許多系統將運動視為序列級別的全局屬性，忽略了物體在單一幀中「正在移動」或「靜止」的瞬間狀態。

GMOS（Grounding Moving Object Segmentation in 3D Space and Time）針對這兩項限制提出了解決方案：它直接在 RGB 視頻上整合 3D 幾何編碼器與分割特徵，依論文 Tab. 1 的評估設定，在所測基準測試中達到領先結果，同時推論速度比之前的多物件 MOS 方法快了約三倍。

誤差機制：2D 輔助模態的適用邊界

傳統 MOS 的設計帶來了兩個具體的誤差來源，主要來自幾何資訊的缺失與時間維度的處理方式：

第一條路徑來自幾何資訊的缺失。現有的 MOS 方法通常依賴預先計算的光流或點軌跡來判斷像素移動。這些 2D 資訊本質上是平面的，當場景中存在深度變化時，靜止背景物體因相機移動產生的視差（Parallax）容易被誤判為動態訊號。這種缺乏 3D 幾何錨點的設計，導致模型經常產生虛假的正向預測（False Positives）。

第二條路徑來自時間維度的序列層級處理。許多方法將運動視為序列級別（Sequence-level）的屬性，傾向於判斷「這個物體在整段影片中是否移動」，而非每一幀的瞬間狀態。這導致無法精確處理物體的啟停狀態變化，也難以區分背景因相機運動產生的短暫視差與真實的物體移動。

GMOS 試圖同時處理這兩個瓶頸：它不再依賴外部的 2D 輔助模態，而是直接在 RGB 視頻上運作，並透過引入 3D 幾何資訊來錨定運動狀態；同時，它提出了一種更細粒度的時間評估標準（MOS-I），要求模型在每一幀中精準識別出「當下」正在移動的物體。

核心機制：3D 幾何與分割特徵的融合

GMOS 的架構採用一個「提案者—傳播者」（Proposer–Propagator）框架。這個設計將複雜的 3D 時空運動解析任務，拆解為兩個協同工作的步驟：先在單幀內利用 3D 幾何資訊產生物體掩碼提案（Mask Proposals），然後再利用這些提案在時間軸上進行追蹤與傳播。

Proposer: 空間與語義的錨定

首先，系統使用一個凍結的 π3 幾何編碼器來處理視頻幀。這個編碼器會輸入一個短時間窗口內的連續幀（約 0.5 秒），其任務是提取場景的 3D 幾何特徵與空間結構。與此同時，另一個凍結的 SAM2 分割編碼器則處理該時間窗口中間的那一幀 RGB 圖像，提取高層次的語義分割特徵。

接著，GMOS 的「提案者」（Proposer）模組會將這兩種特徵進行融合。幾何特徵提供了空間錨點，而分割特徵則提供了語義輪廓。透過這種融合，提案者能夠在同一個步驟中輸出兩個結果：一是物體的掩碼提案，二是該物體在當幀中的運動狀態預測（即它是否正在移動）。

幾何資訊的介入不僅是增加維度，更是在分割決策中建立了「空間錨點」，能有效抑制因視差產生的虛假運動預測。消融實驗顯示，若移除 π3 幾何編碼器，模型的 Grounding 能力會大幅下降，產生大量虛假的正向預測（Hallucinated false positives）。

在訓練階段，GMOS 使用幀級掩碼損失函數，結合了 Focal Loss (α = 0.25, γ = 2) 與 Dice Loss，權重比為 20:1。這種設計旨在處理前景與背景的類別分布差異，並優化重疊區域的分割精準度。

Propagator: 時間維度的連貫性

在產生出單幀的提案後，GMOS 進入「傳播者」（Propagator）階段。這個階段基於 SAM2 的狀態 S 運作，它會維護一組提示（Prompts），並輸出逐幀的掩碼 M̃t 和運動標籤 m̃t。這種設計旨在維持時間軸上的連貫性。

GMOS 定義了幾個關鍵閾值來管理軌跡的生命週期：

  • τm = 0.5：運動分數超過此值時，視為物體正在移動。
  • τu = 0.7：提案 IoU 預測超過此值時，信任該掩碼。
  • τmatch = 0.95：用於軌跡匹配的閾值。
  • τnew = 0.3：當新提案與現有軌跡的最大遮罩覆蓋精確度（maxjPRECISION(M̂t(i),M̃t(j))）小於此值時，系統會種子一個新軌跡。

此外，GMOS 還提供了一個名為 GMOS-S 的變體。對於需要更高推論速度的場景，GMOS-S 移除了 Transformer 解碼器和可學習的物件查詢（Object Queries），並不使用 propagator，直接透過上採樣解碼器預測單一的前景—背景二值掩碼，從而實現更快的串流推論。這種設計適合重視串流速度且不需區分多物體的工作流，但犧牲了多物體區分的能力。

評估協議與性能表現

GMOS 的貢獻之一在於它重新定義了評估動態物件分割的標準，提出了 MOS-I（Instantaneous）逐幀瞬時運動評估協議。

MOS-I 要求模型在每一幀中精準預測哪些物體「當下」正在移動，並僅對這些幀進行評分，同時對靜止背景上的虛假預測施加懲罰。這種細粒度的評估方式迫使模型必須具備更高的時空解析度，而非依賴序列級的慣性。MOS-I 協議之所以嚴苛，是因為它剝奪了模型依賴序列慣性的捷徑，要求逐幀輸出當下運動狀態。

為了支持這種評估，研究團隊構建了 GMOS-2K 資料集。這是一個包含 2,210 個真實世界視頻的資料集，其標籤來自五個現有的視覺物件分割（VOS）基準測試，並針對每個物體的時間運動狀態進行了詳細註解。在總計 5,001 個初始候選視頻中，經過第一級篩選排除了 2,791 個，留下這 2,210 部影片作為最終資料集；而論文中另報告的整體訓練資料規模則涵蓋了 14,171 部影片、782,128 幀註解與 34,506 個物件。

在性能表現上，論文報告 GMOS 在其 MOS、MOS-I 以及無監督 VOS（UVOS）評估中達到領先水準。速度結果則限定於論文 Tab. 1 的評估設定：相較表中先前的多物體 MOS 方法，GMOS 約快三倍。現有材料未提供具體光流式基線的名稱、同條件指標與差值，因此這項結果不能外推為對所有光流式方法、硬體或部署條件的普遍優勢。

邊界與取捨

儘管論文在所測基準中報告了領先結果，但其技術方案存在明確的權衡（Tradeoffs）與適用邊界：

  1. 幾何資訊 vs 計算複雜度：GMOS 的核心優勢在於利用 3D 幾何資訊來處理具有複雜視差或深度變化的場景。然而，引入 π3 幾何編碼器增加了模型的計算負擔。對於資源極度受限的設備，犧牲多物體區分能力的 GMOS-S 提供了更快的推論速度作為替代方案。

  2. 空間解析度的限制：GMOS 在處理細粒度運動發現時存在局限性。由於 π3 幾何骨干的空間解析度有限，模型在雜亂場景中識別小型移動物體的能力較弱（如 Fig. G6 所示的背景小物件遺失的限制）。此外，當場景中存在強烈的反射或極端的深度視差時，模型的運動狀態預測可能會產生偏差。

  3. 評估協議的嚴苛性：MOS-I 協議對資料集的品質要求極高，因為它僅針對物體實際移動的幀進行評分。這意味著逐幀運動標註提高了註解粒度，因此可推論，其評分對逐幀運動狀態標註的準確度更敏感。在處理「靜止但因相機移動產生位移」的場景時，模型面臨更嚴格的懲罰壓力。

結論

GMOS 通過在 RGB 視頻上直接進行 3D 時空錨定，為傳統 MOS 方法中幾何資訊與時間解析度仍可補強的地方提供了一條過渡路徑。雖然模型在極端視差或細小物件檢測上仍有改進空間，但在文中所述評估設定下，其 Proposer–Propagator 架構與 MOS-I 協議呈現了處理多物體與逐幀運動狀態的效率潛力；這項觀察仍受比較方法、硬體與場景條件的邊界限制。

GMOS 提供了一條從 2D 光流向 3D 幾何錨定過渡的路徑。在資源受限的邊緣場景中，GMOS-S 的權衡是否足以取代傳統方法，取決於具體應用對多物體區分、推論延遲、空間解析度，以及反射、極端視差與雜亂背景等場景條件的判準。這是一個值得根據自身系統邊界來評估的方向。

Sources