Multimedia Architecture and Processing Laboratory

Presentation on theme: "Multimedia Architecture and Processing Laboratory"— Presentation transcript:

1 Multimedia Architecture and Processing Laboratory
國立交通大學 資訊工程系 多媒體架構與處理實驗室(MAPL) 彭文孝 助理教授 Good afternoon lady and gentlemen. I am Wen-Hsiao Peng from National Chiao-Tung University, Taiwan This is a paper about how to use a prioritized coding scheme to improve the coding efficiency of scalable video coding standard.

2 歡迎新生 歡迎認真上進推甄生與考試生加入本實驗室！ 99年度碩士名額隨時更新請直接洽詢老師
歡迎 交大資工 推甄生 曾于真 加入本實驗室！！！ 99年度碩士名額隨時更新請直接洽詢老師 MPEG-4 FGS offer a layer coding for SNR scalability. The input video is coded into two layers. Base-layer represents minimum guaranteed visual quality while enhancement-layer represent refinement information. The actual decoded quality depends on how much enhancement-layer information is received. For fine granular scalability, the enhancement-layer is coded with DCT based bit-plane coding. The bit-planes are coded from MSB to LSB. Also, for each bit-plane, DCT blocks are coded in raster scanning order. In addition, for each DCT block , transform coefficients are coded in zigzag order. Similar bit-plane coding scheme is widely used in different FGS algorithms such as PFGS, RFGS and MFGS etc.

3 老師介紹 現任國立交通大學資訊工程系助理教授。
曾於2000~2001年間在美國Intel Microprocessor Research Laboratory, Santa Clara實習 負責Intel於MPEG-4細緻可調視訊編碼(Fine Granularity Scalability, FGS)標準開發。 除了提出一個改良的編碼方法參與MPEG標準制訂，亦同時在一個虛擬3-D環境下展示FGS在多方視訊會議的應用。 為了達到即時(Real-Time)編解碼效果，彭博士亦針對MPEG-4 FGS之運算特性撰寫Intel MPEG Processing Library與分析新的CPU指令集。 2003年至今，彭博士代表國立交通大學參加MPEG與JVT標準制定會議，從事MPEG-4 Part 10 Amd.3可調視訊編碼標準(Scalable Video Coding, SVC)與MPEG-4 Part 10 Amd.4 (Multi-View Video Coding, MVC)的開發。 曾參與主持SVC之核心實驗(Core Experiments)並在2003年與2004年所舉行的可調視訊編碼標準Call for Evidence與Call for Proposal中獲得到主觀評比前三名成績。

4 老師介紹 (c. 1) 主要研究興趣包括 高解析度視訊編解碼 (High-Performance Video Coding) 可調視訊編解碼 (Scalable Video Coding) 自由視角視訊合成技術 (Free viewpoint Television) 壓縮感知技術 (Compressive Sensing) 可攜式視訊搜尋與比對技術 (Mobile Visual Search) 目前積極參與ISO/IEC MPEG與ITU-T VCEG於2010年德國所舉辦之下一代高效能視訊壓縮標準競賽High-Performance Video Coding Call-for-Proposal。(# of algorithms received worldwide = 27; 台灣參與單位: MediaTek(聯發科)，交大)

5 Professional Activities
ISO/IEC MPEG代表團成員(MPEG Delegate)。 IEEE Circuits and Systems Society Visual Signal Processing and Communications技術委員會成員(Technical Committee Member)。 IEEE Circuits and Systems Society Multimedia Systems and Applications技術委員會成員(Technical Committee Member)。 2007 IEEE Workshop on Scalable Video Coding and Transport (SVCT)規劃委員(Organizing Committee Member)。 2010 IEEE International Conference on Multimedia & Expo (ICME) Special Session on Futuristic High-Performance Video Coding規劃委員(Organizer)。

6 研究方向 High-Performance Video Coding (HVC) Scalable Video Coding (SVC)
Free Viewpoint Television (FTV) Compressive Sensing (CS) Mobile Visual Search (MVS)

7 High-Performance Video Coding (HVC)
博士生：二人、碩士生：四人 HVC是為了因應未來高解析度視訊(Super Hi-Vision, 7680×4320)所帶來的多媒體應用。現今最成熟之H.264/AVC在高解析度仍然壓縮率不足使得網路頻寬無法負荷，導致高解析度視訊仍未走進人們的生活中，HVC目的為開發下一代標準，達到H.264/AVC兩倍的壓縮率！ 本實驗室代表交大參與HVC的Call for Proposal，將來將繼續開發新技術，成為下一代視訊壓縮標準之一部份。 相關資料： Super Hi-Vision HVC相關消息及技術

8 Scalable Video Coding (SVC)
碩士生：二人 由國科會 E MY3 (異質無線網路之可擴充性多媒體群播服務)補助 SVC為MPEG與VCEG共同以MPEG-4 AVC/H.264為基礎所開發之最新可調視訊編碼標準，其目的是以單一的壓縮視訊位元流，提供時間、空間、和畫質精細可調性，讓接網路處理器透過適當的抽取與解碼不同增強層，以達到所需的解碼品質。目前研究重點，在不影響視訊品質下，進行H.264與SVC編碼格式間的快速轉換演算法。 相關資料：

9 Compressive Sensing (CS)
碩士生：一人 根據訊號處理理論中的Nyquist Rate Theory，取樣速率須不能小於訊號頻寬的2 倍，否則會產生Aliasing的錯誤。因此許多學者開始著眼思考，是否有更好的取樣技術？如何違反取樣速率的物理限制呢？然而，一個新的取樣技術--Compressive Sensing，可在不破壞資料的條件下，將取樣數有效的減少至低於Nyquist Rate，並在取樣後重建還原資料。此理論讓許多研究者相當振奮，許多過去受限於取樣速率的研究問題，如今皆一一被重新審視，例如1)生醫二元影像訊號、2)多重描述編碼理論、3)數位類比轉換設計、與4)影像壓縮等研究議題。本實驗室應用Compressive Sensing，進行多重描述編碼論和影像壓縮的技術研究。此外，Compressive Sensing的研究過程，需要相當的數學技巧與推導證明，因此在EECS的學術領域中，實為一富有挑戰性的研究主題。 詳細說明檔案：按此下載

10 Free viewpoint Television (FTV)
博士生：一人、碩士生：一人 由國科會 E (支援3-D立體視訊的數位電視多媒體平台設計)補助 FTV為MPEG於07年開啟的自由視角電視計畫，其包含多視角視訊壓縮、影像深度估測與虛擬視訊合成，用以突破傳統視訊單一視角的限制。傳統視角的移動，需事先提供大量相近視角的視訊；然而，虛擬視角合成，可藉合成的方式，降低傳統方法需提供龐大資料量的缺點，並提高視角切換的自由度。本研究涉及1)多視角視訊壓縮、2)影像處理、3)電腦視覺、與4)虛擬視訊合成等多領域的整合，目前研究重心在於觀察影像與深度之原始和壓縮資訊，分析造成合成影像失真的原因，並將此議題延伸至1)深度資訊品質、2)虛擬視訊合成品質、與3)深度資訊壓縮效率之提升。

11 Mobile Visual Search (MVS)
碩士生：二人 Mobile Visual Search (MVS)的基本說明是用找CD專輯封面的方式來表達，利用圖形中擷取特徵點後傳至後端，後端的搜尋利用分塊的方式來尋找最符合的資料，之後再回傳給手持系統得知比對資料結果。MVS是近年來發展在智慧型手機、汽車等電子產品上的一項技術，最常見的莫過於利用手機拍書的封面，即可立即傳回後端的database去搜尋並回傳該書籍的資訊，或是拍攝街道圖得知其定位及名稱。MVS的特性 也就是資訊取得的便利性+移動性以取代傳統的固定式的資訊搜索，使得取得資訊的方式更多元，想要search的動機也將會更為隨機地頻繁地出現，最終也創造出一些商業廣告應用的契機 參考連結

12 研究方向聯絡人 HVC：詹家欣 , PhD Student E-MAIL：terry0201@gmail.com
SVC：蔡閏旭 , Master Student CS ：吳思賢 , Master Student FTV：楊復堯 , Master Student MVS：陳孟傑 , Master Student 對於研究方向有興趣的同學或是有任何的問題，歡迎來信或電話詢問

13 歷年計畫 計 畫 名 稱 計畫內擔任之工作 起迄年月 (Period) 補助或委託機構
計　畫　名　稱 計畫內擔任之工作 起迄年月 (Period) 補助或委託機構 遍佈即時多媒體系統與技術--子計畫二:可調視訊編碼之適應性動態精細改進和編碼 主持人 2006/8/1 ~ Present 國科會 支援3-D立體視訊的數位電視多媒體平台設計 共同主持人 2007/11/1 ~ Present 運用在異質無線網路多方視訊廣播服務之可調視訊編解碼最佳化與網路介面設計 ~ Present 適用於Location-Free 視訊之 H.264/AVC參數優化與傳送 ~ 2007/12/31 資策會 適用於廣告推播系統之網路傳輸架構與視訊編解碼方法可行性分析 至 工業技術研究院 H.264 Scalable編碼參數最佳化 與DSP實作 基於MPEGVC/H.264標準之多視角視訊編解碼 E

14 實驗室資源 實驗室提供每個博士生與碩生 一台多核心個人電腦 一大一小雙螢幕 筆記型電腦 多台公用Intel i7 series 伺服器。

15 實驗室資源 (c. 1) 30吋螢幕*1 26吋螢幕*3 24吋螢幕*5 20吋螢幕*3 19吋螢幕*9 投影機*2 微波爐*1 冰箱*1
筆記型電腦*9 高階四核心Server*25(還會再增加) 印表機*3 彩色印表事務機*1 3-D立體螢幕*1 30吋螢幕*1 26吋螢幕*3 24吋螢幕*5 20吋螢幕*3 19吋螢幕*9 投影機*2 微波爐*1 冰箱*1

16 Knowledge Requirement
建議欲加入本實驗室之新生，具備有 機率 線性代數 訊號與系統 數位訊號處理 C/C++ Programming ... 等基礎知識。

17 實驗室福利 獎助學金(博士NT8000，碩二NT6000，碩一NT5000)，特殊表現另計。
從事實驗室的服務工作或是擔任課程助教，老師會給予額外獎助學金以資鼓勵。 定期實驗室聚餐或出遊。 提供經費供學生出國參加學術會議與視訊標準會議(MPEG和JVT)。 

18 畢業與未來工作 在老師的要求下，大家都能順利兩年畢業。
實驗室目前畢業學長姊在華碩、奇美、奇菱、安霸、廣達、鴻海、晨星、聯發科技，凌陽科技，聯詠科技等等公司上班或研發替代役。

19 聯絡 實驗室聯絡人 彭老師 電子資訊大樓720與721室, 分機59287/59286
陳俊吉 ( ) 吳崇豪 ( ) 彭老師  工程三館431,分機56625 ( )

20 課程選修建議 目前實驗室著重在多媒體訊號處理研究，所以在開學之前，老師會鼓勵同學多閱覽有關多媒體和數學的書籍，像是多媒體概論(H.264或MPEG-4簡介)或是有關最佳化的數學理論。至於開學的修課，除了所上必修(例如視訊壓縮、多媒體通訊)之外，老師也鼓勵學生選修外所課程，像是電子所的隨機過程、檢測與估計…等，這些課程都會對同學之後閱覽論文和自己的研究有所幫助。開學期間，老師也會讓同學看一些學術論文，以增加自己本身對於多媒體背景的了解，讓同學在最短的時間內，進入相關領域的研究。