影片資料庫擷取系統 Video Database Retrieval System 研究生：林家玄 指導教授：蔣依吾博士 中山大學資訊工程學系

偵測出的場景 Key frame … … … …

搜尋比對影片資料庫 Query … Video Database

相關研究(Video Database Retrieval) Fast Image/Video Retrieval On Compressed Image And Video Databases 利用Q-metric來量測query image與target image之間在頻率域的相似度。 δ: δ(Q,I)=1 => Q>T and I>T with threshold T. δ(Q,I)=0 => otherwise.

使用 Q-metric 作影像相似擷取: Ix is return, if , for and 使用 Q-metric 作影片相似擷取: ◎只有MPEG視訊影片的I-frames會被擷取 ◎計算出query影像和每個MPEG視訊影片的I-frame的 Q-distance

系統 : 實驗結果 : Query 傳回排名前九名的影像

System: Just A Content-Based Query System For Video Databases Input Query Input Video Sequences Output Shot DB population session DB querying session Video sequence Query Shots Query interface Shots extractor Shots selected By match engine Match engine Shots Pointer to Shot Features Shots DB Features DB Shots Features extractor Features

場景切割: (scene cut detection) 根據類神經網路. 擷取r-frames: 影片小於1秒=>只抓一張影格為r-frame Shot大於一秒=>每秒抓一張r-frame

特徵擷取: color-based feature: 1)取位元組最高的前3個位元=>使顏色空間減少為512種 顏色.統計出這512種顏色在每個 r-frame量化後的RGB Histogram分別的個數. 3)使用512 levels histogram 作為特徵向量. texture-based feature:(使用邊緣密度) 經由方向遮罩計算傾斜強度 along the direction O °, 45 °, 90° and 135 °

direct query:給特徵找圖 query by example:以圖找圖 Database querying: Experimental Results: Direct query :(a) find the four mainly brown images (b) find the four mainly brown and coarse-textured images (c) find the four mainly brown and fine-textured images”.

Query by example :(a) color information only was used (b) texture information and in (c) both of them.

場景變化主要形式: 突然場景變化 (Abrupt cut) 緩慢場景變化 (Gradual transition) 影格 T 影格 T+1

碎形正交基底: (Jacquin) Vines (1993) 不在同一張影像中訓練 多正交基底近似Range方塊 特徵向量: 投影係數

優點： 良好索引檔 壓縮快速 提高 PSNR

Support vector clustering: 資料分類 Vapnik[1982] => 找尋最佳的超平面 線性可分割

線性不可分割 => 失敗

Benhur[2000] =>支援向量分類 轉換至高維度空間，且轉換函數非線性。

判斷是否產生新的群集： 判斷依據: 球體半徑之變化:

3. 分析曲線變化 對半徑變化圖作一次微分 突然場景變化: => 2.緩慢場景變化: ，產生新群集

Multiple-Instance Learning: ∩ ∩ ━ 1. {藍天、白雲、樹木、岩石、瀑布} 2. {岩石、瀑布、河流} 3. {樹木、岩石、瀑布} 正相關影像特徵: 負相關影像特徵: 藍天、白雲、草原、岩石 Concept = {瀑布 , 岩石} – {藍天 , 白雲 , 草原 , 岩石} ={瀑布}

Diverse Density (DD): Maron (1998) 5張正相關影像， 標示為1~5； 3張負相關影像 ， 標示為6~8 最佳特徵點(concept)

找出一個最佳特徵點 :

找出一個最佳特徵點 : 結合

找出一個最佳特徵點 : 結合

相似區域: 每個concept 所屬之區域，法則為下列之式子。 If , then 其中

相似性測量: 特徵區域分散程度 特徵群比例 特徵群結構(特徵群之間空間分佈關係) 其中d:資料庫影像 ; q:正相關範例

… … 特徵擷取及場景分割 視訊資料庫 Fractal Orthonormal IFS編碼 Support vector clustering 視訊 影格 特徵 關鍵 影格 關鍵影格 之特徵 加入正負相關性 判斷之特徵 多張正相關影像 與負相關影像 特徵擷取 碎形正交基底 之相似性量測 Fractal Orthonormal IFS編碼 Multiple Instance Learning 相似視訊 視訊 關鍵影格的特徵 特徵擷取及場景分割 … … 視訊 關鍵影格的特徵 特徵擷取及場景分割

Demo.swf

_ _ _ _ _ _ _ _ 0 0 0 =>0~31 0 0 1 =>32~63 0 1 0 =>64~95 0 1 1 =>96~127 1 0 0 =>128~159 1 0 1 =>160~191 1 1 0 =>192~223 1 1 1 =>224~255