視訊串流\Streaming Video Part-1 Multimedia on Computer Digital

Slides:



Advertisements
Similar presentations
多媒体通信技术 主讲教师:黄玉兰                学时:16.
Advertisements

第六章 多媒体辅助教学系统 一、多媒体基本概念
第五章 網際網路 5-1 網際網路的歷史沿革 5-2 網際網路基本運作原理 5-3 連線媒介與連線上網 5-4 網際網路上的熱門應用
《网络基础与Internet应用》.
網路原理、技術與架構 資訊一忠 網路概論 主講人:王威盛 老師.
MPEG Family.
第六章 廣域網路 課前指引 相對於傳輸速率快且範圍小的區域網路(LAN)而言,廣域網路(Wide Area Network, WAN)的範圍幾乎是延伸到全世界。廣域網路藉由公用電話網路(Public Switch Telephone Network, PSTN)或光纖電纜,將多個區域網路鏈結在一起的網路,它可以跨過一個程式、當地、國家或全球主權管理的公共區域。本章就要來介紹廣域網路的觀念,和幾種常見的廣域網路技術。
电信网络的现状和发展趋势 以IP为主的数据业务量将超过目前主体的话音业务。 Voice Data Relative Capacity (%)
第十章:流媒体 《多媒体通信》.
第三章 網際網路和全球資訊網 : 電子商務基礎建設
第 9 章 多媒體.
本投影片檔案僅供本書上課教師使用,非經作者同意請勿拷貝或轉載,謝謝。
第九章 無線網路.
工廠實務報告 2001年全球排名第一 我國罩幕式記憶體之廠商介紹 指導老師:林宸生 老師 學生:黃正豐 民國91年12月
行政作用法 行政命令.
進階網路系統 作業 題目: 組別:第二組 組員: 蘇俊吉 盧柏崴 黃明煜 李德偉
第5章 局域网技术 学习目标 本章要点 习 题 计算机网络实用技术教程.
無限的無線:無線區域網路與無線都會網路 Unlimted Wireless Networks
第七章 多媒体应用基础.
第1章 多媒体技术概述 多媒体技术及应用基础 计算机教学实验中心 2007.
第八章 多媒体技术基础.
4.1 分析网络应用目标 4.2 分析网络应用约束 4.3 分析网络工程的指标 4.4 分析网络通信特征 本章小结 习题
通信技术基础 第1章 通信与通信系统的基本概念 王钧铭 1.1 通信的概念 1.2 通信系统 1.3 通信方式 1.4 信道和传输介质
目标 理解多媒体的基本概念、多媒体信息及技术的特点、多媒体技术的应用。掌握多媒体计算机系统的基本组成及简单原理。
Audio.
张奇 复旦大学计算机科学技术学院 2011年5月 多媒体技术基础(第3版) 第14章 光盘存储器 张奇 复旦大学计算机科学技术学院 2011年5月.
無線通訊與寬頻網路簡介 蔡崇洲 崑山科技大學電腦與通訊系.
進階網路系統作業-5 指導教授: 王井煦 教授 第三組 組員: 郭淑貞 林瑞棋 林慶昌
主讲 彭红 西南科技大学网络教育系列课程 计算机网络基础与应用 主讲 彭红
寬頻上網 網易通HiFly(ADSL)專案.
第7讲 多媒体网络 本讲概述: 本讲目标: 多媒体的网络应用 了解多媒体网络的应用要求 存储式音频/视频流 交互式的实时应用
因特网接入之 ADSL宽带接入技术 xxxxx.
視訊串流\Streaming Video Part-2-3 Compression Digital image/video
軍用及公、民用無線電頻譜整理規劃 2GHz以上頻段現況與應用
網路技術管理進階班---區域網路的技術發展
數位典藏之數位影像處理技術探討 雲端上的寶藏~ 國立新港藝術高中 蘇淵源.
第5章 数字视频 (3).
第五章 網際網路 5-1 網際網路的歷史沿革 5-2 網際網路基本運作原理 5-3 連線媒介與連線上網 5-4 網際網路上的熱門應用
現代管理資訊系統新展望.
Internet Radio 網 路 電 台: . 潘柏任 B 許宏瑋 28 曾彥中 32 蔡文軒 40.
電腦數位音樂介紹 11組 電機三 陳俊傑 吳岳庭.
多媒體元素.
数据通信与计算机网络技术.
The Network Core 由互相連結成網狀的router所組成 資料在網路中傳送的方式 Circuit switching
元智大學網路技術系 TN307 進階網路技術   指導教授 :王井煦.
Mpeg Family 簡介 第六組 B 呂孟庭 B 廖彥鈞.
行動商務的發展趨勢
第8章 OSI資料鏈結層.
第6章 行動商務 授課教師 黃健雄 ..
第 6 章 廣域網路 著作權所有 © 旗標出版股份有限公司.
聲轉電信號.
第三章 基本觀念 電腦繪圖與動畫 (Computer Graphics & Animation) Object Data Image
「寬頻匯流網路管理」教材 模組四: 第一章 網路管理架構
JTAG INTERFACE SRAM TESTER WITH C-LCM
第十一章 電腦網絡.
線性(Linear) VS 非線性(Non-Linear)
第9章 图像通信 9.1 概述 9.2 图像通信原理 9.3 图像通信系统.
第二章 多媒体的硬件和 软件环境的建立 返回.
第三章 基本觀念 電腦繪圖與動畫 (Computer Graphics & Animation) Object Data Image
VIDEO COMPRESSION & MPEG
實驗24 NetSim-Cisco WAN專線服務-PPP、ISDN
第一章 網際網路基礎.
4.1 计算机网络与管理信息系统 4.2 计算机网络 4.3 基于计算机网络的信息系统模式 4.4 Internet与信息系统
多媒体技术 中南大学信息科学与工程学院 黄东军.
第六章 电子商务平台构建.
SoC 與微控制器的發展 朱亞民.
WIRELESS LAN B 邱培哲 B 張宏安.
多媒体技术 中南大学信息科学与工程学院 黄东军.
4.3 广域网 广域网的结构与特点 广域网参考模型 广域网提供的服务 广域网的种类.
多媒體導論與應用-第三版 第8章 多媒體通訊 8.1 多媒體通訊的基本觀念 8.2 多媒體通訊的應用 8.3 網路多媒體通訊方式的分類
Presentation transcript:

視訊串流\Streaming Video Part-1 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

視訊串流\Streaming Video Part-1-0 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

What is digitization digitization 「數位化」像一種新興的宗教,以一種不可思議的速度席捲整個世界,徹底地改變人們的生活習慣、溝通形式、甚至分析與思考邏輯 digitization 10:08 !!! 8:22 or 8:23 ??? Digital TV (pixel) NTSC, PAL (scan line)

Benefits from Digitization easy to be processed enhancement, manipulation, compression, etc. Reliability error protection, security, correction, etc. easy for realization VLSI, SOC, etc.

Scarification and Cost Scarifications Signal distorted Copy right Cost Computation to achieve the benefits Storage Communication Indexing and management

視訊串流\Streaming Video Part-1-1 Multimedia on Computer Digital Multimedia: audio, image, video streaming video

什麼是多媒體? 定義:數位多媒體所研究的是利用電腦控制(computer-control)將文字、影像、聲音、視訊,以及其它任何種類的媒體予以整合,其中所有種類的媒體都是以數位化的方式表示、儲存、傳遞、處理 多媒體系統是由電腦控制 它具有整合的特性 所有的設備都連接到一部電腦上並且都由那一部電腦控制 只需要單一一種儲存設備便足以儲存所有的媒體資料 視訊可以直接透過電腦螢幕播出 它所處理的媒體都必須是數位化的資料 最外層的介面必須允許使用者互動

為什麼需要多媒體? 因為聲光效果讓人印象更深刻 B. O. Szuprowicz 研究指出: 人類一般從視覺獲得 80% 的知識 11% 的知識則透過聽覺獲得 3.5% 的知識透過嗅覺獲得 1%~1.5% 的知識是透過觸覺和味覺獲得 人類只保持住 20% 所看過的東西、保持住 20% 到 30% 所聽過的東西 但是,如果所接觸的東西同時用到了視覺與聽覺,那麼他們可以保持住 40%~50% 所同時看到、聽到的東西; 除了看與聽外,如果同時又配合操作,那麼他們可以保持住 80% 所同時看、聽、做的東西!

為什麼需要多媒體? 由 Szuprowicz 的數據,我們因此可以有幾點結論: 閉上眼睛,電影、漫畫、電動情節歷歷在目 視覺依然是人類主要賴以獲得知識的感官: 人類每天大量地面對各種影像。但是幸運的是,我們大部分都忘掉了。儘管如此, 聲音是取得知識最有效率的媒體: 人類接收聲音的量儘管少於影像,但是保持度比較高。 (想像沒有聲音的電影、電視節目,但廣播卻可以獨立存在) 同時使用幾種感官可以提高記憶度 在看或聽的同時,操作是必要的 (所以各位課堂之外一定要複習!!) 閉上眼睛,電影、漫畫、電動情節歷歷在目

多媒體資料的種類 文字 影像 聲音 視訊

文字 非同步通訊的主要方式(書、報紙、mail) 純文字、富麗文字 不要使用大量的文字 (投影片製作) 不同的字型通常給人 不同的感覺

影像與圖像 影像解析度:影像為像素所構成矩陣(array of pixels),大小決定解析度 每一個像素使用幾個位元表示灰階度(gray levels) ,0~(2n-1) n=1, 2, 4, 8, 12, 16, 24 灰階度越多,影像色彩越細緻

聲音 我們大致上可以將聲音分為語音與非語音聲音(音訊)兩類 語音訊號具有以下的特點: 語音訊號處理包括兩類:語音的辨認(recognition)與合成(synthesis) 我們聽得比說得好 一般人類說話的時候所產生的頻率範圍(大概在 50 Hz ~ 10 KHz之間)比人類所能聽到聲音的頻率範圍(大概在 15 Hz ~ 20 KHz 之間,隨年齡不同而有所改變)還要窄 人不會持續不斷地說! 當我們說話的時候,一連串的音節中間必然存在一些安靜的小段落 不僅如此,在兩個人的交談中,“傳輸線”的每一個方向平均只使用40%左右的時間

聲音-音訊 由於人耳接受的頻寬比說出來的語音之頻寬還寬,因此非語音聲音在數位化的過程中其取樣率一般都比較高 典型的例子便是 CD 音樂,其取樣率為 44.1 KHz,遠比語音訊號的 8 KHz高許多 一旦數位化後,不管是語音或者非語音聲音都可以使用聲音編輯軟體做特效處理 例如回音或者漸強、漸弱 音樂符號化:MIDI

視訊與動畫(動態影像與動態圖像) 影像與圖像的時間延伸 視訊 動畫 目前為止,3D電影還是止於動畫製作 Frame rate>16,人眼便覺得動作平順 畫面率越高,資料量越大 HDTV:60fps 動畫 不是預先計算出或儲存每一張播出圖像,而是即時地計算出從前一張畫面到這一張畫面的更新處 目前為止,3D電影還是止於動畫製作

視訊串流\Streaming Video Part-1-3 Multimedia on Computer Digital living Multimedia: audio, image, video streaming video

Why Streaming Video? digitization Video transmitted from analog to digital form What’s the Benefits What we scarify The cost we pay digitization NTSC, PAL (scan line) Video compression (pixel)

Traditional Video Transmission NTSC, PAL, … (require very large bandwidth) Broadcasting Analog Video Signals Display Storage device video record, tape… (require very large space)

Digitized Video Transmission still require large bandwidth, not possible to deliver video Network communication Digital Video Signals Display Broadcasting Storage device still require large space

General Video Streaming System Applications Network communication Digital Video Encode (compression) Storage device Broadcasting Display Decode (De-compression)

多媒體通訊之架構 家庭 手語傳遞 家庭 獨立的 有線視訊電話 以PC為主之視訊電話 PSTN/ISDN 辦公室 PSTN (33.6Kbps) ISDN (px64 Kbps) LAN FDDI Iso-Ethernet 服務品質 ; 延遲; 抖動; 群體群播; 錯誤率; 錯誤恢復; CBR 或 VBR; 第三代行動通訊 移動中 遠處的工地 Wireless (< 64 Kbps) 基地臺 LAN B-ISDN (ATM) 虛擬教室/虛擬會議 即時監視 以電視為主之視訊會議

Video streaming and communication Point-to-point, multicast, and broadcast communication Real-time encoding versus pre-encoded video Challenges Unknown and time-varying bandwidth Delay jitter Loss

Examples from textbooks Youtube MOD HDTV Video streaming from mobile communication

多媒體通訊 系統 壓縮 網路配合 由於多媒體的資料量實在很大,要將多媒體所表達的信息傳遞給接收者就必須減少資料量 藉由有線通訊網路或者無線通訊網路來傳輸 系統 媒體之多工與同步

多媒體資料壓縮 影像 每張低解析度(電視等級之品質)、彩色視訊影像所含資料量:512×512像素×8位元/顏色×3顏色/像素  6×106位元 每張14×17英吋之X光片以70m掃描所含之資料量:5080×6169像素×12位元/像素 360×106 位元 每張一般解析度(數位相機等級之品質)、彩色數位影像所含資料量:2560×1920像素×8位元/顏色×3顏色/像素 118×106 位元

多媒體資料壓縮 聲音 每一秒鐘的電話語音訊號所含之資料量:8,000取樣/秒×12位元/取樣→ 96 Kbps

多媒體資料壓縮 視訊與動畫 每一秒鐘的合成視訊所含之資料量:320×640像素/畫面×16位元/像素×16畫面/秒→ 50 Mbps 每一秒鐘的HDTV視訊所含之資料量:1,280×720像素/畫面×24位元/像素×60畫面/秒→ 1,265.6 Mbps

如何壓縮? 冗贅:不同人說同一個故事,使用的資料(文字、語氣)不同,表達同一個故事 移除冗贅 分為無失真資料壓縮法與失真資料壓縮法兩類 編碼冗贅、取樣間冗贅、及畫面間冗贅等 分為無失真資料壓縮法與失真資料壓縮法兩類

編碼冗贅 coding redundancy; bitrate redundancy 平均位元數:每一個符號編碼長度與出現機率之乘積和 Sk P(Sk) Code 1 L1(Sk) Code 2 L2(Sk) 0.19 000 3 11 2 1 0.25 001 01 0.21 010 10 0.16 011 4 0.08 100 0001 5 0.06 101 00001 6 0.03 110 000001 7 0.02 111 000000 Ave=3 Ave=2.7

取樣間冗贅 inter-sample redundancy; spatial redundancy 取樣值間的關連性 Ex. Q  u (95%) 與訊號特性有關! EX.背景為白色之影像

畫面間冗贅 inter-frame; temporal redundancy 相鄰畫面間,每一個像素位置,在時間上的相關 Ex. 連續畫面…

資料壓縮 資料壓縮種類 壓縮效率 去掉重複的資料 1000000000 = 1+9個0 可回復 去掉人類感覺不到的訊號(欺騙人類五官) 無失真壓縮 (Lossless data compression) 去掉重複的資料 1000000000 = 1+9個0 可回復 失真壓縮 (Lossy data compression) 去掉人類感覺不到的訊號(欺騙人類五官) 不可回復 壓縮效率 資料壓縮比 Cr 訊號品質 PSNR

資料壓縮國際標準 為什麼要標準化 ? 由於標準化,工廠可以大量製造 標準化的另外一項好處是降低了部署新技術的風險 對消費者而言,其結果是價格大大地下滑;但是對廠商而言,同時也帶來了極大的商機 標準化的另外一項好處是降低了部署新技術的風險 因為每一項標準都是由一群專家經過好幾年、好幾次的研究與討論才定案的緣故

標準的等級 冗長的制訂(pp. 1-21) 國際級標準 區域級標準 國家級標準 國際長途通訊協會,簡稱 ITU。ITU又分為兩個部門:ITU長途通訊標準化部門,簡稱ITU-T及 ITU無線通訊部門,簡稱ITU-R 國際標準組織,簡稱ISO 國際電工委員會,簡稱IEC ISO/IEC技術委員會聯盟,簡稱ISO/IEC JTC1) 區域級標準 歐洲標準委員會,簡稱CEN/CENELEC 太平洋地區標準會議,簡稱PASC 國家級標準 美國國家標準學會,簡稱ANSI 中央標準局

“ISO/IEC JTC1 SC29 WG11”?

標準訂定的兩大原則 只訂定解碼器的規格 標準的規範愈少愈好 Stream and decoder specification 各家可開發自己的編/解碼架構

視訊壓縮標準

多媒體通訊之網路配合 多媒體資料的傳輸可以接受一點點的錯誤,但是它有即時傳輸的限制 另外,它對於頻寬的需求也和傳統的文字、數據傳輸不同 由於音訊與視訊的傳輸需要,它的傳輸形式經常是一長段時間有如流水般的連續、穩定的資料傳輸,而不是如煙火般的瞬間大量資料傳輸而後馬上歸於平靜 最後,多媒體資料傳輸還必須考慮服務品質、錯誤處理、及價格等問題

多媒體通訊之網路配合 即時傳輸限制 頻寬需求 多點群播的能力 其他考量 傳輸頻寬(即時性) ex 聲音、視訊 哪一個影響通訊效果嚴重? 頻寬需求 固定位元率傳輸,簡稱CBR,ex. CD-ROM 不固定位元率傳輸,簡稱VBR 多點群播的能力 其他考量 錯誤發生率、壓縮對於錯誤發生率之影響、價格等

多點群播的能力 Broadcasting Vs. Multicasting

多點群播的能力

其它考量 各種媒體傳輸的錯誤發生率容忍度 (與訊號特性有關) 壓縮方法對於錯誤發生率之容忍度 (資料切割) 當頻寬不足時,音訊與視訊如何取捨 (應用導向) 提供不同解析度視訊 (scalability) 價格問題

系統之整合 媒體之多工:將視訊、音訊、資料、以及控制訊號多工成一個位元串 多媒體通訊能力之協調:包括編碼演算法、位元率、畫面率、網路能力、保密等 系統控制:包括流量控制、決定主從等

ITU-T系統標準 PSTN: Public Switched Telephone Network ISDN: Integrated Switched Digital Network LAN: Local Area Network ATM: Asynchronous Transfer Mode GQoS: Guaranteed Quality of Service NGQoS: Non-Guaranteed QoS CPE: Customer Premises Equipment