Dept. of Computer Science | NTHU
MPLab Home Members Research Publications Activities
動態資訊之特徵擷取方法研究 (Motion-based Feature Extraction)

為了有效的使用資料庫中的資訊,我們擷取特徵來描述動態資訊內容。動態資訊與靜態影像的主要不同點在於前者可以視為由許多張靜態影像,即frame所組成。在許多張frame所組成的一段動態影像中,物件可能突然出現或消失,也有可能會被別的物件遮蔽、或是隨著時間的改變而移動其在空間上的位置;此外,物件也可能發生形變,甚至是隨著光影的變化而改變顏色。這些在動態資訊的特性,很難用單純的靜態影像方法來描述。因此,我們將研究物件運動相關的特徵擷取方法,以更有效地描述一段動態資訊。

考慮時間軸上紋理的方法固然能描述更多元化的動態資訊,但其困難點在於如何找到適合的紋理分析方法。此外,在過去的研究當中,都只有考慮動態資訊內容在時間軸上的紋理,我們將結合空間的資訊,來更完整的呈現出動態資訊的特性。因此,紋理分析方法的研究,及空間資訊的結合將是我們主要探討的課題。


本實驗室在「動態資訊之特徵擷取方法」方面之相關研究如下:

  1. 空間上紋理影像應用分析

    許多用來分析空間上紋理影像(spatial texture image)的方法,可以應用在時間軸上的分析,譬如利用統計的方法。目前常用的空間上統計方法,包括gray level cooccurrence matrix、Fourier power spectra、average magnitude response of filter mask,或是利用紋理模組來描述,如MRF,autoregressive models。一般而言,利用統計方法分析,最後往往會比較統計參數間的距離,如平均值,標準差等。再利用所得參數的距離,做為所比較動態影像的相異程度,而這樣的方法,又必須考慮所選擇的參數。因此,我們除了將分析上述統計方法轉換到時間軸上的優缺點,並嘗試利用紋理模組與統計方法結合的表示法來解決在統計方法上所需要選擇參數的問題。

  2. 空間及時間領域應用結合

    在前人的方法中,曾以每一個像素點做為單位,並考慮此像素點沿著時間軸上其運動量值的變化來分析動態資訊。雖然他們將像素點沿著時間軸的變化視為紋理來考慮,但卻失去了像素點在空間上所結合而成的意義。因此,可能有兩個動態資訊在時間軸上所擷取到的特徵很相似,但若考慮其移動物件的大小、物件數目多寡,或像素點在空間上的分佈,在人眼視覺上這兩個動態資訊卻是極為不像。因此,我們將空間資訊加入研究內容,並將討論結合空間及時間的領域而更完整呈現出動態資訊特徵的方法。


    圖1. 運用動態資訊分類影片