視訊串流\Streaming Video Part-1 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

視訊串流\Streaming Video Part-1-0 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

What is digitization digitization 「數位化」像一種新興的宗教，以一種不可思議的速度席捲整個世界，徹底地改變人們的生活習慣、溝通形式、甚至分析與思考邏輯 digitization 10:08 !!! 8:22 or 8:23 ??? Digital TV (pixel) NTSC, PAL (scan line)

Benefits from Digitization easy to be processed enhancement, manipulation, compression, etc. Reliability error protection, security, correction, etc. easy for realization VLSI, SOC, etc.

Scarification and Cost Scarifications Signal distorted Copy right Cost Computation to achieve the benefits Storage Communication Indexing and management

視訊串流\Streaming Video Part-1-1 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

什麼是多媒體？ 定義：數位多媒體所研究的是利用電腦控制(computer-control)將文字、影像、聲音、視訊，以及其它任何種類的媒體予以整合，其中所有種類的媒體都是以數位化的方式表示、儲存、傳遞、處理 多媒體系統是由電腦控制 它具有整合的特性 所有的設備都連接到一部電腦上並且都由那一部電腦控制 只需要單一一種儲存設備便足以儲存所有的媒體資料 視訊可以直接透過電腦螢幕播出 它所處理的媒體都必須是數位化的資料 最外層的介面必須允許使用者互動

為什麼需要多媒體？ 因為聲光效果讓人印象更深刻 B. O. Szuprowicz 研究指出： 人類一般從視覺獲得 80% 的知識 11% 的知識則透過聽覺獲得 3.5% 的知識透過嗅覺獲得 1%~1.5% 的知識是透過觸覺和味覺獲得 人類只保持住 20% 所看過的東西、保持住 20% 到 30% 所聽過的東西 但是，如果所接觸的東西同時用到了視覺與聽覺，那麼他們可以保持住 40%~50% 所同時看到、聽到的東西； 除了看與聽外，如果同時又配合操作，那麼他們可以保持住 80% 所同時看、聽、做的東西！

為什麼需要多媒體？ 由 Szuprowicz 的數據，我們因此可以有幾點結論： 閉上眼睛，電影、漫畫、電動情節歷歷在目 視覺依然是人類主要賴以獲得知識的感官： 人類每天大量地面對各種影像。但是幸運的是，我們大部分都忘掉了。儘管如此， 聲音是取得知識最有效率的媒體： 人類接收聲音的量儘管少於影像，但是保持度比較高。 (想像沒有聲音的電影、電視節目，但廣播卻可以獨立存在) 同時使用幾種感官可以提高記憶度 在看或聽的同時，操作是必要的 (所以各位課堂之外一定要複習！！) 閉上眼睛，電影、漫畫、電動情節歷歷在目

多媒體資料的種類 文字 影像 聲音 視訊

文字 非同步通訊的主要方式(書、報紙、mail) 純文字、富麗文字 不要使用大量的文字 (投影片製作) 不同的字型通常給人 不同的感覺

影像與圖像 影像解析度：影像為像素所構成矩陣(array of pixels)，大小決定解析度 每一個像素使用幾個位元表示灰階度(gray levels) ，0~(2n-1) n=1, 2, 4, 8, 12, 16, 24 灰階度越多，影像色彩越細緻

聲音 我們大致上可以將聲音分為語音與非語音聲音（音訊）兩類 語音訊號具有以下的特點： 語音訊號處理包括兩類：語音的辨認(recognition)與合成(synthesis) 我們聽得比說得好 一般人類說話的時候所產生的頻率範圍（大概在 50 Hz ~ 10 KHz之間）比人類所能聽到聲音的頻率範圍（大概在 15 Hz ~ 20 KHz 之間，隨年齡不同而有所改變）還要窄 人不會持續不斷地說！ 當我們說話的時候，一連串的音節中間必然存在一些安靜的小段落 不僅如此，在兩個人的交談中，“傳輸線”的每一個方向平均只使用40%左右的時間

聲音－音訊 由於人耳接受的頻寬比說出來的語音之頻寬還寬，因此非語音聲音在數位化的過程中其取樣率一般都比較高 典型的例子便是 CD 音樂，其取樣率為 44.1 KHz，遠比語音訊號的 8 KHz高許多 一旦數位化後，不管是語音或者非語音聲音都可以使用聲音編輯軟體做特效處理 例如回音或者漸強、漸弱 音樂符號化：MIDI

視訊與動畫(動態影像與動態圖像) 影像與圖像的時間延伸 視訊 動畫 目前為止，3D電影還是止於動畫製作 Frame rate>16，人眼便覺得動作平順 畫面率越高，資料量越大 HDTV:60fps 動畫 不是預先計算出或儲存每一張播出圖像，而是即時地計算出從前一張畫面到這一張畫面的更新處 目前為止，3D電影還是止於動畫製作

視訊串流\Streaming Video Part-1-3 Multimedia on Computer Digital living Multimedia: audio, image, video streaming video

Why Streaming Video? digitization Video transmitted from analog to digital form What’s the Benefits What we scarify The cost we pay digitization NTSC, PAL (scan line) Video compression (pixel)

Traditional Video Transmission NTSC, PAL, … (require very large bandwidth) Broadcasting Analog Video Signals Display Storage device video record, tape… (require very large space)

Digitized Video Transmission still require large bandwidth, not possible to deliver video Network communication Digital Video Signals Display Broadcasting Storage device still require large space

General Video Streaming System Applications Network communication Digital Video Encode (compression) Storage device Broadcasting Display Decode (De-compression)

多媒體通訊之架構 家庭 手語傳遞 家庭 獨立的 有線視訊電話 以PC為主之視訊電話 PSTN/ISDN 辦公室 PSTN (33.6Kbps) ISDN (px64 Kbps) LAN FDDI Iso-Ethernet 服務品質 ; 延遲; 抖動; 群體群播; 錯誤率; 錯誤恢復; CBR 或 VBR; 第三代行動通訊 移動中 遠處的工地 Wireless (< 64 Kbps) 基地臺 LAN B-ISDN (ATM) 虛擬教室/虛擬會議 即時監視 以電視為主之視訊會議

Video streaming and communication Point-to-point, multicast, and broadcast communication Real-time encoding versus pre-encoded video Challenges Unknown and time-varying bandwidth Delay jitter Loss

Examples from textbooks Youtube MOD HDTV Video streaming from mobile communication

多媒體通訊 系統 壓縮 網路配合 由於多媒體的資料量實在很大，要將多媒體所表達的信息傳遞給接收者就必須減少資料量 藉由有線通訊網路或者無線通訊網路來傳輸 系統 媒體之多工與同步

多媒體資料壓縮 影像 每張低解析度（電視等級之品質）、彩色視訊影像所含資料量：512×512像素×8位元／顏色×3顏色／像素  6×106位元 每張14×17英吋之X光片以70m掃描所含之資料量：5080×6169像素×12位元／像素 360×106 位元 每張一般解析度（數位相機等級之品質）、彩色數位影像所含資料量：2560×1920像素×8位元／顏色×3顏色／像素 118×106 位元

多媒體資料壓縮 聲音 每一秒鐘的電話語音訊號所含之資料量：8,000取樣／秒×12位元／取樣→ 96 Kbps

多媒體資料壓縮 視訊與動畫 每一秒鐘的合成視訊所含之資料量：320×640像素／畫面×16位元／像素×16畫面／秒→ 50 Mbps 每一秒鐘的HDTV視訊所含之資料量：1,280×720像素／畫面×24位元／像素×60畫面／秒→ 1,265.6 Mbps

如何壓縮？ 冗贅：不同人說同一個故事，使用的資料(文字、語氣)不同，表達同一個故事 移除冗贅 分為無失真資料壓縮法與失真資料壓縮法兩類 編碼冗贅、取樣間冗贅、及畫面間冗贅等 分為無失真資料壓縮法與失真資料壓縮法兩類

編碼冗贅 coding redundancy; bitrate redundancy 平均位元數：每一個符號編碼長度與出現機率之乘積和 Sk P(Sk) Code 1 L1(Sk) Code 2 L2(Sk) 0.19 000 3 11 2 1 0.25 001 01 0.21 010 10 0.16 011 4 0.08 100 0001 5 0.06 101 00001 6 0.03 110 000001 7 0.02 111 000000 Ave=3 Ave=2.7

取樣間冗贅 inter-sample redundancy; spatial redundancy 取樣值間的關連性 Ex. Q  u (95%) 與訊號特性有關！ EX.背景為白色之影像

畫面間冗贅 inter-frame; temporal redundancy 相鄰畫面間，每一個像素位置，在時間上的相關 Ex. 連續畫面…

資料壓縮 資料壓縮種類 壓縮效率 去掉重複的資料 1000000000 ＝ 1+9個0 可回復 去掉人類感覺不到的訊號(欺騙人類五官) 無失真壓縮 (Lossless data compression) 去掉重複的資料 1000000000 ＝ 1+9個0 可回復 失真壓縮 (Lossy data compression) 去掉人類感覺不到的訊號(欺騙人類五官) 不可回復 壓縮效率 資料壓縮比 Cr 訊號品質 PSNR

資料壓縮國際標準 為什麼要標準化 ? 由於標準化，工廠可以大量製造 標準化的另外一項好處是降低了部署新技術的風險 對消費者而言，其結果是價格大大地下滑；但是對廠商而言，同時也帶來了極大的商機 標準化的另外一項好處是降低了部署新技術的風險 因為每一項標準都是由一群專家經過好幾年、好幾次的研究與討論才定案的緣故

標準的等級 冗長的制訂(pp. 1-21) 國際級標準 區域級標準 國家級標準 國際長途通訊協會，簡稱 ITU。ITU又分為兩個部門：ITU長途通訊標準化部門，簡稱ITU-T及 ITU無線通訊部門，簡稱ITU-R 國際標準組織，簡稱ISO 國際電工委員會，簡稱IEC ISO/IEC技術委員會聯盟，簡稱ISO/IEC JTC1） 區域級標準 歐洲標準委員會，簡稱CEN/CENELEC 太平洋地區標準會議，簡稱PASC 國家級標準 美國國家標準學會，簡稱ANSI 中央標準局

“ISO/IEC JTC1 SC29 WG11”?

標準訂定的兩大原則 只訂定解碼器的規格 標準的規範愈少愈好 Stream and decoder specification 各家可開發自己的編/解碼架構

視訊壓縮標準

多媒體通訊之網路配合 多媒體資料的傳輸可以接受一點點的錯誤，但是它有即時傳輸的限制 另外，它對於頻寬的需求也和傳統的文字、數據傳輸不同 由於音訊與視訊的傳輸需要，它的傳輸形式經常是一長段時間有如流水般的連續、穩定的資料傳輸，而不是如煙火般的瞬間大量資料傳輸而後馬上歸於平靜 最後，多媒體資料傳輸還必須考慮服務品質、錯誤處理、及價格等問題

多媒體通訊之網路配合 即時傳輸限制 頻寬需求 多點群播的能力 其他考量 傳輸頻寬(即時性) ex 聲音、視訊 哪一個影響通訊效果嚴重？ 頻寬需求 固定位元率傳輸，簡稱CBR，ex. CD-ROM 不固定位元率傳輸，簡稱VBR 多點群播的能力 其他考量 錯誤發生率、壓縮對於錯誤發生率之影響、價格等

多點群播的能力 Broadcasting Vs. Multicasting

多點群播的能力

其它考量 各種媒體傳輸的錯誤發生率容忍度 (與訊號特性有關) 壓縮方法對於錯誤發生率之容忍度 (資料切割) 當頻寬不足時，音訊與視訊如何取捨 (應用導向) 提供不同解析度視訊 (scalability) 價格問題

系統之整合 媒體之多工：將視訊、音訊、資料、以及控制訊號多工成一個位元串 多媒體通訊能力之協調：包括編碼演算法、位元率、畫面率、網路能力、保密等 系統控制：包括流量控制、決定主從等

ITU-T系統標準 PSTN: Public Switched Telephone Network ISDN: Integrated Switched Digital Network LAN: Local Area Network ATM: Asynchronous Transfer Mode GQoS: Guaranteed Quality of Service NGQoS: Non-Guaranteed QoS CPE: Customer Premises Equipment