整合性封包保護機制提升語音通訊之品質 Ren-Yuh Lu.

Slides:



Advertisements
Similar presentations
九年级物理一轮复习 第一章 声现象 知识要点. 1. 声音的产生和传播  ( 1 )声音的产生:声音是由于物体的振动产生的。  凡是发声的物体都在振动。振动停止,发声也停止。  ( 2 )声源:正在发声的物体叫声源。固体、液体、气体 都可以作为声源,有声音一定有声源。  ( 3 )声音的传播:声音的传播必须有介质,声音可以在.
Advertisements

第五章 網際網路 5-1 網際網路的歷史沿革 5-2 網際網路基本運作原理 5-3 連線媒介與連線上網 5-4 網際網路上的熱門應用
QOS.
第 12 章 UDP 與 TCP.
第一部分 中考基础复习 第一章 声现象.
Chapter 12 UDP 與 TCP.
计算机网络的组成 资源子网:   主机 终端 终端控制器   外设 软件资源 信息资源    .
第1章 概述.
作者:陳建民 指導教授:蘇民揚 教授 報告者 : 李承駿
目标 学完本课程后,您将能够: 企业通信发展历程; 了解VOIP概念; 区分VOIP与PSTN区别; 了解VOIP关键技术;
NetGuru 創新 網路通訊實驗教學解決方案 PART I TCP/IP通訊協定深入剖析/以NetGuru實作
第10讲 物理网络与链路层 物理网络与链路 局域网概念 以太网标准 MAC、IP和ARP. 第10讲 物理网络与链路层 物理网络与链路 局域网概念 以太网标准 MAC、IP和ARP.
4.1 分析网络应用目标 4.2 分析网络应用约束 4.3 分析网络工程的指标 4.4 分析网络通信特征 本章小结 习题
Audio.
Speaker :Fanjia Yen Adviser : Quincy Wu Date : 2007/11/15
Author: Shigeki Takeuchi,Hiroyuki Koga, Katsuyoshi Iida,
Applications of Digital Signal Processing
進階網路系統作業-5 指導教授: 王井煦 教授 第三組 組員: 郭淑貞 林瑞棋 林慶昌
第 12 章 UDP 與 TCP.
第7讲 多媒体网络 本讲概述: 本讲目标: 多媒体的网络应用 了解多媒体网络的应用要求 存储式音频/视频流 交互式的实时应用
TCP協定 (傳輸層).
第五章 網際網路 5-1 網際網路的歷史沿革 5-2 網際網路基本運作原理 5-3 連線媒介與連線上網 5-4 網際網路上的熱門應用
A Data Mining Algorithm for Generalized Web Prefetching
Speaker: Shao-Ci Jheng Advisor: Dr. Ho-Ting Wu 2015/06/03
Internet Protocol (IP)
Different Codec Technologies
The Network Core 由互相連結成網狀的router所組成 資料在網路中傳送的方式 Circuit switching
第二章 声音和语音编码 南通大学计算机应用教研室.
QoS Assurance for VoIP over P2Pnet
視訊串流\Streaming Video Part-1 Multimedia on Computer Digital
TCP/IP Protocol Suite TCP/IP協定 第二組 投影片製作by簡嘉宏 綦凱宏 林睿敏 滕孟哲.
什麼是網際網路? 面臨攻擊的網路 網路邊際 總結 網路核心
第八組 劉佳衢.
TCP/IP介紹 講師:陳育良 2018/12/28.
第七讲 网际协议IP.
无线通信工程 姚彦教授 清华大学微波与数字通信国家重点实验室 2001年11月24日.
第 12 章 UDP 與 TCP 著作權所有 © 旗標出版股份有限公司.
A high payload data hiding scheme based on modified AMBTC technique
創意管理 一. 組織設計與創意 1.各種組織設計對創意之影響 3hrs 2.團隊的建立(成員組合考量) 3hrs 3.團隊的溝通 3hrs
Ch7 網路即時通訊.
VIDEO COMPRESSION & MPEG
第01章 计算机网络概述 讲师:韩立刚 QQ: QQ教学群:
Partial-Reliable TCP Protocol over Sensor Networks
一個基于相鄰區塊相似性和動態次編碼簿的低位元率向量量化 圖像壓縮法
LWA (LTE-WiFi Aggregation)
網際網路與電腦應用 林偉川 2001/10/11.
1.4 计算机网络体系结构与协议 引言 网络系统的体系结构 网络系统结构参考模型ISO/OSI
Source: Journal of Network and Computer Applications, Vol. 125, No
Speaker: Wang,Song-Ferng Advisor: Dr. Ho-Ting Wu 2015/7/6
學習內容 概說 損失函數 雜音:造成品質變異的原因 訊號雜音比 直交表 回應表與回應圖 田口方法.
NSC D 蔣依吾 中山大學資訊工程系 紅外線點目標的檢知法則 Automatic detection of small targets in infrared image sequences containing evolving cloud clutter NSC D
MDNS Development Plan TWNIC May 2000.
田口方法應用於語音辨識 報告者:李建德.
Speaker : Chang Kai-Jia Date : 2010/04/26
WEBee: Physical-Layer Cross-Technology Communication via Emulation
Toward realistic MPEG4 video transmission simulations
指導教授:梁明章 A 許之青 國立高雄大學 2010/06/25
An Efficient MSB Prediction-based Method for High-capacity Reversible Data Hiding in Encrypted Images 基于有效MSB预测的加密图像大容量可逆数据隐藏方法。 本文目的: 做到既有较高的藏量(1bpp),
一個基于相鄰區塊相似性和動態次編碼簿的低位元率向量量化 圖像壓縮法
第四章 通訊與網路管理 授課老師:褚麗絹.
資料表示方法 資料儲存單位.
語音訊號的特徵向量 張智星 多媒體資訊檢索實驗室 清華大學 資訊工程系.
2.4 让声音为人类服务.
VoIP安全議題 姓名:許雅玲 指導老師:梁明章 老師.
一個基于相鄰區塊相似性和動態次編碼簿的低位元率向量量化 圖像壓縮法
Link Layer &一點點的Physical Layer
指導教授 :逄愛君 資訊三 B 莊惟舜 資訊三 B 張憶婷 資訊三 B 徐嘉偉
第三章时 域 分 析 引言 语音信号的短时处理方法 短时能量和短时平均幅度 短时平均过零率 短时自相关函数 短时时域处理技术应用举例
Audio Conference 會議系統 中國移動 中國電信 MOSA E1 SIP MOSA E1 MOSA FXS Internet
Department of Computer Information Science, NCTU
Presentation transcript:

整合性封包保護機制提升語音通訊之品質 Ren-Yuh Lu

Outline Introduction Related Work 整合性封包保護機制提升語音通訊之品質 MANET Motivation & Objective Problem Description Related Work Reliable Blast UDP Partial-Reliable TCP 整合性封包保護機制提升語音通訊之品質 分辨重要封包的方法 整合性封包保護技術 Evaluation & Performance Analysis

Introduction VoIP ( Voice over IP ) 是一種透過網際網路以數位化的方式來傳輸語音封包的技術。 本研究是為了使VoIP能夠在High Loss Rate的網路環境下更順暢地運作所設計。 VoIP運作在High Loss Rate的網路環境中會遇到一些問題,我們將以MANET作為例子加以說明。

MANET MANET 「群組行動電腦網路」是一種行動式無線區域網路,對群組行動使用者提供一個可在行動中使用的電腦網路。 一個 MANET 係由一組行動電腦 ( 筆記型電腦或 具有 WiFi能力的 PDA手機 ) 組成, 其間以 Multi-Hop Ad-Hoc 無線區域網路連結成 Wireless Intranet。 各個行動電腦之間可藉由高速的 Wireless Intranet 進行即時多媒體網路通訊。

Motivation & Objective High Loss Rate的網路環境,例如MANET,具有以下的缺點: 錯誤率很高 沒有Server管理節點 在這樣的網路環境中使用VoIP,會有一些問題需要克服。

Problem Description VoIP對時效性的要求極高,為了符合這個要求,現今的VoIP系統大部份都使用UDP傳輸層協定。 不保證一定送達 如果VoIP運用在錯誤率很高的網路環境時,可能會因為遺失太多封包而影響通話品質。 我們即將研究一些機制用以提高VoIP的品質。

Related Work Reliable Blast UDP Partial-Reliable UDP VAD Energy-based VAD Entropy-based VAD

Reliable Blast UDP

Partial-Reliable TCP

VAD Voice Activity Detection Time Domain VAD技術 Frequency Domain VAD技術

Time Domain VAD 在擷取語音Frame但尚未壓縮之前,就利用某些特徵判斷封包的重要性。 語音通訊有時效性,即傳輸的Delay Time不能趟長,則用來暫存語音Frame的Buffer不能太長。

Time Domain VAD 這類型的方法較為簡單,但是當信號雜訊比 ( SNR ) 較低時或能量變化較快速時 ( 即背景噪音較高時 ) 此法較不適用。

Frequency Domain VAD 在噪音較高的情況下,就要藉助於Frequency Domain的分析分辨語音與噪音。 假設噪音的頻譜與White Noise相似,而語音的頻譜則集中在40Hz至4000Hz之間,我們將以Entropy之值作為分辨語音與White Noise的參數。

Frequency Domain VAD — Entropy-Based An Example of Entropy: The entropy of class A is bigger than the entropy of class B. Class 1 Class 2 Name Score Joe 99 Mary 28 Steven 84 Mark 42 Alice 15 Brian 72 Name Score Carlo 70 Drew 58 Elsa 66 Harry 61 Jack 69 Lucy 55

整合性封包保護機制

整合性封包保護機制 假設除了人聲之外,其他聲音均視為噪音。 我們即將研究一個分辨重要封包的方法,可能搭配Partial-Reliable UDP,保證能夠維持VoIP的通訊品質。 分辨重要封包的方法 VAD ( Voice Activity Detection ) 整合性封包保護技術 Partial-Reliable UDP Different Codec Technologies

分辨重要封包的方法 之後要自己做 分成室內室外等等 分析其特徵 依分析的困難度來區分

VAD The Feature of Entropy-Based VAD 混合式VAD技術 個性化VAD技術

The Feature of Entropy-Based VAD 優點: 對Noise的變動較不敏感,即使雜訊嘈雜且不規則,本方法仍然有效。 即使訊號的SNR較差,仍然可以分辨Speech Segment或non-Speech Segment。 缺點: 需要耗費龐大的計算資源。 可能會使VOIP的即時性減低,封包的Delay會大幅增加。 若收音器處於非常嘈雜且噪音相當不規則的環境下(Ex:White Noise加Colored Noise),可能會造成non-Speech Segment和Speech Segment的Entropy值接近,而導致辨識上的錯誤率增加。

混合式VAD 針對SNR高且Noise變化小,或雜訊頻寬接近語音頻寬的Colored Noise的環境,使用Energy-Based VAD。 節省運算資源。 避免判斷的正確性受到過於接近的語音頻譜的雜訊影響。 若發話端SNR較低或Noise變化較大,但雜訊特性為頻寬較寬的White Noise時,使用Entropy-Based VAD。 避免變化迅速的Noise振幅影響判斷正確率。 若Noise振幅和雜訊頻譜皆不穩定,則將兩種VAD混合使用。

Characteristic VAD 假設在每個傳送端由於發話地點環境的差異,都存在不同特性 ( 頻譜與振幅 ) 的Noise。 Method 1 Method 2

Characteristic VAD — Method 1 在傳送端先分析Noise特性,在傳送時用來過濾Noise。 Noise Cancellation

Characteristic VAD — Method 2 使用兩個麥克風分別收音,一個收錄背景雜音,一個收錄說話人聲,再利用Voice Cancellation濾除Noise。 Clean & Background Noise Cancellation

整合性封包保護技術

整合性封包保護技術 Model: 1. 定義基本封包間隔時間 ( msec / packet ),簡稱為「基本時隔」最常用的基本時隔為 20 ( ms/packet ) 及30 ( ms / packet )。 2. 將Redundant Voice Packets視為不同的Packet Stream。 3. 不同的Voice Packets可用不同的壓縮碼 ( Codec )。 4. 所有的Packet Stream的時隔應為基本時隔的倍數。 5. 定義第一個Packet Stream為基本Stream。 6. 其他的Packet Stream稱為Redundant Stream,彼此之間相差至少一個時隔。 7. 最後,將所有Packet Stream Piggyback在一起,變成一個時隔為基本時隔的單一Packet Stream。

Example 1 — Redundancy Only Voice Stream 2 1 2 3 4 5 6 Voice Stream 1 1 2 3 4 5 6 7 20 40 60 80 100 120 Time ( msec ) Voice Stream 1 2 1 3 2 4 3 5 4 6 5 7 6 20 40 60 80 100 120 Time ( msec )

Example 2 — Different Codec & Redundancy Voice Stream 3 1+2+3 4+5+6 Voice Stream 2 1 2 3 4 5 6 Voice Stream 1 1 2 3 4 5 6 7 20 40 60 80 100 120 Time ( msec )

Example 2 — Different Codec & Redundancy Voice Stream 3 Voice Stream 2 Voice Stream 1 1 2 1 3 2 4 3 5 4 6 5 7 6 1+2+3 4+5+6 20 40 60 80 100 120 Time ( msec )

Example 3 — VAD & Redundancy Voice Stream 2 1 2 3 4 5 6 Voice Stream 1 1 2 3 4 5 6 7 20 40 60 80 100 120 Time ( msec ) Voice Stream 1 2 1 3 2 4 3 5 4 6 5 7 6 20 40 60 80 100 120 Time ( msec )

Different Codec Technologies

多媒體壓縮格式列表

ITU-T Codec技術比較表 編碼與位元傳輸速率 (Kbps) 編碼取樣大小 (Bytes) 編碼取樣間隔 (ms) Mean Opinion Score (MOS) 語音Payload大小 語音Payload長度 每秒封包數 (pps) Bandwidth Ethernet (Kbps) G.711 (64Kbps) 80 10 4.1 160 20 50 87.2 G.723.1 (5.3Kbps) 30 3.8 34 20.8 (6.3Kbps) 24 3.9 21.9 G.726 (24Kbps) 15 5 -- 60 47.2 (32Kbps) 3.85 55.2 G.728 (16Kbps) 3.61 61.5 G.729 (8Kbpps) 3.92 31.2 .一般用來衡量 通話品質的指標有MOS(Mean Opinion Score)、(DRT)Dynamic Rhyme Test、及DAM(Diagnostic Acceptability Measure)等。

ITU-T Codec技術探討 G.711 G.723.1被廣泛運用在電話閘道器上,為一種高品質高壓縮型的壓縮技術。 A-Law:常用於歐洲國家 Mu-Law:常用於北美及日本 G.723.1被廣泛運用在電話閘道器上,為一種高品質高壓縮型的壓縮技術。 G.726為G.721和G.723的合體,常用於DECT無線網路電話和Canon相機。 G.729較常使用於VoIP,標準的bit rate是8Kbps ,但也支援6.4Kbps和11.8Kbps, G.729 annex B並包含有VAD的功能。

G.729 Annex A ( G.729.A ) Annex B ( G.729.B ) Annex D ( G.729.D ) G.729 Complex Codec Annex B ( G.729.B ) VAD ( Voice Activity Detection ) DTX ( Discontinuous Transmission ) 不傳任何東西或傳一個SID Frame SID Frame 包含了 Generate Comfort Noise CNG ( Comfort Noise Generation ) Annex D ( G.729.D ) Bit Rate比G.729低,為64bits/frame,頻寬為6.4Kbps Annex E ( G.729.E ) Bit Rate比G.729更高,為118bits/frame,頻寬為11.8Kbps

Internet Low Bit Rate Codec iLBC Internet Low Bit Rate Codec Data Frame ( ms ) 20 30 Sampling Frequency ( 8 KHz / 16 bit ) 160 samples 240 samples Fixed bit rate ( Kbit / s ) 15.2 13.33 Fixed Frame Size ( Bits per block ) 304 400 Mean Opinion Score ( MOS ) 4.14 --

Evaluation & Performance Analysis

Evaluation & Performance Analysis 定義效能評估指標: VoIP PSNR VAD 語音辨識率 Redundancy Cost vs Packet傳輸成功率 P-R UDP 重要封包到達率 搭配不同技術,就要以不同的指標組合衡量效能。

VoIP指標 — PSNR

VAD指標 — 語音辨識率

Redundancy指標 — Cost vs 總封包傳輸成功率

P-R UDP指標 — 重要封包傳輸成功率

Evaluation & Performance Analysis VoIP + 其他使用技術 觀察指標 Redundancy PSNR + Cost vs 總封包傳輸成功率 VAD PSNR + 語音辨識率 P-R UDP PSNR + 重要封包傳輸成功率 Redundancy & PSNR + Cost vs 總封包傳輸成功率 + 語音辨識率 PSNR + Cost vs 總封包傳輸成功率 + 重要封包傳輸成功率 VAD & PSNR + 語音辨識率 + 重要封包傳輸成功率 PSNR + Cost vs 總封包傳輸成功率 + 語音辨識率 + 重要封包傳輸成功率

實驗環境設計 環境限制: Max Delay Time不能超過300ms。