Dept. of Computer Science | NTHU
MPLab Home Members Research Publications Activities
視訊物件追蹤 (Video Object Tracking)

視訊物件追蹤的主要是依照視訊影片內涵特性擷取出每段視訊場景中的高階語意物件。當獲得此高階語意物件後,可將此技術應用於在視訊壓縮上(如:MPEG-4)以大幅提高壓縮效率、或是監視系統(surveillance system)與多媒體內涵式檢索(content-based retrieval)等。一般追蹤流程如下所述,先根據視訊的特徵(如顏色、飽和度、色彩強度等)切割影像成為群聚的像素,由於其所成的結果雖然可以切割出有相同特徵的區域(如顏色相似的區塊),但是這些區域未必含有高階語意,故還需配合物件模型,來辨認視訊中有象徵性意義的物件。

隨著時間的進行,物件可能快速的在影片中移動,而造成追蹤失敗。當物進入具有相似特徵的背景,追蹤的效果易受到背景的影響。此外,物件也可能會產生變形(deformation)的狀態,不僅外圍的輪廓產生變化,其所包含的特徵分佈亦隨之改變。一般而言,不容易以簡單參數表示物件的變形。更甚者,被追蹤物件可能發生被遮蔽(occlusion)的情形,也就是說其他物件移動到原本切割的物件上面,若無偵測到此異狀,很容易將其他物件誤判此物件,造成錯誤的切割結果。

本實驗室在「視訊物件追蹤」的研究方向如下:

  1. MAP架構的物件切割方法研究

    本實驗室提出以MAP為基礎的物件切割方法研究。我們的架構主要有兩個特點,首先是不需偵測運動向量,因為偵測運動向量要花費許多時間,且當變形或是遮蔽發生的時候運動向量的準確度亦令人質疑,因此捨棄計算運動向量;其次,我們將顏色在空間上的分佈關係融入MAP的架構中,並且採用non-parametric density estimation來建立特徵分佈的模型,此因所追蹤物件的特徵分佈並沒有固定的參數型。


    圖1. 追蹤形變物件

  2. 處理異常事件方法研究

    隨著時間的推進,物件可能會消失或是消失後又再重現,這是因為當某區域的物件消失或完全被遮蔽,會使得物件的特徵逐漸改變,若系統沒有偵測此改變會導致切割結果錯誤,因此我們希望研究如何建立時域的模組來紀錄物件在時間軸上的變化方式,以解決物件消失重現的問題。



    圖2. 追蹤被遮蔽物件

  3. 物件軌跡之研究

    系統要同時處理的物件可能會不止一個,而且物件會交互作用,也就是說可能會發生各個物件間彼此互相遮蔽,接連造成物件消失、重現等狀況,所以本計畫擬針對多物件的各種狀況進行研究。而且在經過某段連續時間後,可將物件的行動軌跡記錄下來,並針對此行動軌跡做正常事件與異常事件的判斷。