Download presentation
Presentation is loading. Please wait.
1
陈嘉健 导师：李崇荣 清华大学信息网络工程中心 视频与虚拟现实技术研究室 chenjiajian@mails.tsinghua.edu.cn
基于下一代互联网的立体视频传输 陈嘉健 导师：李崇荣 清华大学信息网络工程中心 视频与虚拟现实技术研究室
2
提纲 应用背景 立体视频的获取和显示 当前国内外的立体视频相关的应用系统 基于下一代互联网的立体视频传输系统
视频与虚拟现实实验室当前工作简介
3
应用背景 Internet上的各种视频传输服务向高清晰度和现实感的发展[1]
传统的图像和视频集中在平面视觉（monoscopic imagery）上，没有充分利用人眼的视差感知功能 立体视觉（stereoscopic imagery）可以给观众带来更真实的视觉体验
![应用背景 Internet上的各种视频传输服务向高清晰度和现实感的发展[1]](http://slidesplayer.com/slide/11545866/62/images/3/%E5%BA%94%E7%94%A8%E8%83%8C%E6%99%AF+Internet%E4%B8%8A%E7%9A%84%E5%90%84%E7%A7%8D%E8%A7%86%E9%A2%91%E4%BC%A0%E8%BE%93%E6%9C%8D%E5%8A%A1%E5%90%91%E9%AB%98%E6%B8%85%E6%99%B0%E5%BA%A6%E5%92%8C%E7%8E%B0%E5%AE%9E%E6%84%9F%E7%9A%84%E5%8F%91%E5%B1%95%5B1%5D.jpg "传统的图像和视频集中在平面视觉（monoscopic imagery）上，没有充分利用人眼的视差感知功能. 立体视觉（stereoscopic imagery）可以给观众带来更真实的视觉体验.")
4
立体视频的获取 基本原理：用两台摄像机代替和模拟人眼的功能[2] 1．分离距离（separation）
2．视线聚合距离（vergence distance） 3．视域（field of view）
![立体视频的获取 基本原理：用两台摄像机代替和模拟人眼的功能[2] 1．分离距离（separation）](http://slidesplayer.com/slide/11545866/62/images/4/%E7%AB%8B%E4%BD%93%E8%A7%86%E9%A2%91%E7%9A%84%E8%8E%B7%E5%8F%96+%E5%9F%BA%E6%9C%AC%E5%8E%9F%E7%90%86%EF%BC%9A%E7%94%A8%E4%B8%A4%E5%8F%B0%E6%91%84%E5%83%8F%E6%9C%BA%E4%BB%A3%E6%9B%BF%E5%92%8C%E6%A8%A1%E6%8B%9F%E4%BA%BA%E7%9C%BC%E7%9A%84%E5%8A%9F%E8%83%BD%5B2%5D+1%EF%BC%8E%E5%88%86%E7%A6%BB%E8%B7%9D%E7%A6%BB%EF%BC%88separation%EF%BC%89.jpg "2．视线聚合距离（vergence distance） 3．视域（field of view）")
5
人眼视觉示意图 双台摄像机模拟系统[2]
![人眼视觉示意图 双台摄像机模拟系统[2]](http://slidesplayer.com/slide/11545866/62/images/5/%E4%BA%BA%E7%9C%BC%E8%A7%86%E8%A7%89%E7%A4%BA%E6%84%8F%E5%9B%BE+%E5%8F%8C%E5%8F%B0%E6%91%84%E5%83%8F%E6%9C%BA%E6%A8%A1%E6%8B%9F%E7%B3%BB%E7%BB%9F%5B2%5D.jpg "人眼视觉示意图 双台摄像机模拟系统[2]")
6
用这种模拟系统代替人眼的功能，存在问题：[2]
1 人眼具有快速的视线聚合距离调整功能，模拟系统，虽然也可以附加自动控制装置以模拟这些人眼的细微运动，但是造价非常昂贵，同时调节需要用时。 2两台摄像机的曝光，镜头缩放和聚焦控制必须相应的模拟人眼的视觉系统，但是仍然存在stonekey，crosstalk等扭曲效应（Image Distortion）[3]，相比人眼视觉存在不足。 结论：这样的模型系统是人眼视觉系统的一个近似，不能完全模拟人眼，但可以在一定范围内捕捉和产生立体视觉，达到与人眼视觉感知相似的效果 。
![用这种模拟系统代替人眼的功能，存在问题：[2]](http://slidesplayer.com/slide/11545866/62/images/6/%E7%94%A8%E8%BF%99%E7%A7%8D%E6%A8%A1%E6%8B%9F%E7%B3%BB%E7%BB%9F%E4%BB%A3%E6%9B%BF%E4%BA%BA%E7%9C%BC%E7%9A%84%E5%8A%9F%E8%83%BD%EF%BC%8C%E5%AD%98%E5%9C%A8%E9%97%AE%E9%A2%98%EF%BC%9A%5B2%5D.jpg "1 人眼具有快速的视线聚合距离调整功能，模拟系统，虽然也可以附加自动控制装置以模拟这些人眼的细微运动，但是造价非常昂贵，同时调节需要用时。 2两台摄像机的曝光，镜头缩放和聚焦控制必须相应的模拟人眼的视觉系统，但是仍然存在stonekey，crosstalk等扭曲效应（Image Distortion）[3]，相比人眼视觉存在不足。 结论：这样的模型系统是人眼视觉系统的一个近似，不能完全模拟人眼，但可以在一定范围内捕捉和产生立体视觉，达到与人眼视觉感知相似的效果 。")
7
立体视觉的显示 基本原理：远端的接收者左右眼需要分别接收两路视频源，由于双路视频源的图像存在视差，使得接收者产生了立体视觉的感知。 分类：
主动式和被动式（图像是否分时现实） 红蓝立体视觉和偏振光立体视觉
8
基本原理：左眼视频（或图像）只允许红色通道的光通过，右眼视频（或图像）只允许蓝绿通道的光通过。然后将两路视频投影到一起。
观察者需要戴上特殊的立体眼镜来观看这样的图像或视频。立体眼镜的左眼安装红色滤光片，右眼安装蓝绿色滤光片
9
基本原理：将两路与左右眼对应的视频或图像，分别通过两个偏光方向垂直的偏振片，将得到的两路偏振光投影到特殊的幕布上。观察者需要戴上特殊的偏振光片眼镜观看经过幕布反射回来的图像。
10
当前国内外的立体视频相关的应用系统 1 远程机器人遥感控制[2][4] 2 远程医疗手术 3 特定地质环境的探索和远程再现[5]
4 远程视频交流相关系统[1][6][7][8] 5 ……
![当前国内外的立体视频相关的应用系统 1 远程机器人遥感控制[2][4] 2 远程医疗手术 3 特定地质环境的探索和远程再现[5]](http://slidesplayer.com/slide/11545866/62/images/10/%E5%BD%93%E5%89%8D%E5%9B%BD%E5%86%85%E5%A4%96%E7%9A%84%E7%AB%8B%E4%BD%93%E8%A7%86%E9%A2%91%E7%9B%B8%E5%85%B3%E7%9A%84%E5%BA%94%E7%94%A8%E7%B3%BB%E7%BB%9F+1+%E8%BF%9C%E7%A8%8B%E6%9C%BA%E5%99%A8%E4%BA%BA%E9%81%A5%E6%84%9F%E6%8E%A7%E5%88%B6%5B2%5D%5B4%5D+2+%E8%BF%9C%E7%A8%8B%E5%8C%BB%E7%96%97%E6%89%8B%E6%9C%AF+3+%E7%89%B9%E5%AE%9A%E5%9C%B0%E8%B4%A8%E7%8E%AF%E5%A2%83%E7%9A%84%E6%8E%A2%E7%B4%A2%E5%92%8C%E8%BF%9C%E7%A8%8B%E5%86%8D%E7%8E%B0%5B5%5D.jpg "4 远程视频交流相关系统[1][6][7][8] 5 ……")
11
立体视频会议原形系统 [1]，July 2001 特点和问题：一个远程立体视频会议的原型系统，基于RTP发送视频数据，用NTP实现两路视频的同步。但是视频质量处在VIC级别上。
![立体视频会议原形系统 [1]，July 2001 特点和问题：一个远程立体视频会议的原型系统，基于RTP发送视频数据，用NTP实现两路视频的同步。但是视频质量处在VIC级别上。](http://slidesplayer.com/slide/11545866/62/images/11/%E7%AB%8B%E4%BD%93%E8%A7%86%E9%A2%91%E4%BC%9A%E8%AE%AE%E5%8E%9F%E5%BD%A2%E7%B3%BB%E7%BB%9F+%5B1%5D%EF%BC%8CJuly+2001+%E7%89%B9%E7%82%B9%E5%92%8C%E9%97%AE%E9%A2%98%EF%BC%9A%E4%B8%80%E4%B8%AA%E8%BF%9C%E7%A8%8B%E7%AB%8B%E4%BD%93%E8%A7%86%E9%A2%91%E4%BC%9A%E8%AE%AE%E7%9A%84%E5%8E%9F%E5%9E%8B%E7%B3%BB%E7%BB%9F%EF%BC%8C%E5%9F%BA%E4%BA%8ERTP%E5%8F%91%E9%80%81%E8%A7%86%E9%A2%91%E6%95%B0%E6%8D%AE%EF%BC%8C%E7%94%A8NTP%E5%AE%9E%E7%8E%B0%E4%B8%A4%E8%B7%AF%E8%A7%86%E9%A2%91%E7%9A%84%E5%90%8C%E6%AD%A5%E3%80%82%E4%BD%86%E6%98%AF%E8%A7%86%E9%A2%91%E8%B4%A8%E9%87%8F%E5%A4%84%E5%9C%A8VIC%E7%BA%A7%E5%88%AB%E4%B8%8A%E3%80%82.jpg "立体视频会议原形系统 [1]，July 2001 特点和问题：一个远程立体视频会议的原型系统，基于RTP发送视频数据，用NTP实现两路视频的同步。但是视频质量处在VIC级别上。")
12
Linux平台上的立体视觉传输原形系统 [7]，2005
特点和问题：处于实验阶段的一个原形系统，没有对视频传输的同步问题进行处理，实用性欠缺
![Linux平台上的立体视觉传输原形系统 [7]，2005](http://slidesplayer.com/slide/11545866/62/images/12/Linux%E5%B9%B3%E5%8F%B0%E4%B8%8A%E7%9A%84%E7%AB%8B%E4%BD%93%E8%A7%86%E8%A7%89%E4%BC%A0%E8%BE%93%E5%8E%9F%E5%BD%A2%E7%B3%BB%E7%BB%9F+%5B7%5D%EF%BC%8C2005.jpg "特点和问题：处于实验阶段的一个原形系统，没有对视频传输的同步问题进行处理，实用性欠缺.")
13
远程机器人遥感控制系统 [2]，February 2002
特点和问题：在定时的采样点上获取两台摄像机拍到的图像，对图像进行处理得到物体的位置和大小等信息。
![远程机器人遥感控制系统 [2]，February 2002](http://slidesplayer.com/slide/11545866/62/images/13/%E8%BF%9C%E7%A8%8B%E6%9C%BA%E5%99%A8%E4%BA%BA%E9%81%A5%E6%84%9F%E6%8E%A7%E5%88%B6%E7%B3%BB%E7%BB%9F+%5B2%5D%EF%BC%8CFebruary+2002.jpg "特点和问题：在定时的采样点上获取两台摄像机拍到的图像，对图像进行处理得到物体的位置和大小等信息。")
14
HD Video Services Over IP [9]，May 11th, 2005
特点：基于HDV的立体视频传输系统，韩国科研机构GIST提出，处在设想阶段
![HD Video Services Over IP [9]，May 11th, 2005](http://slidesplayer.com/slide/11545866/62/images/14/HD+Video+Services+Over+IP+%5B9%5D%EF%BC%8CMay+11th%2C+2005.jpg "特点：基于HDV的立体视频传输系统，韩国科研机构GIST提出，处在设想阶段.")
15
基于下一代互联网的立体视频传输系统 CNGI项目要求：实现具有“真立体”感的立体摄像硬件装置和立体显示软件处理技术，并进行实装。为了实现真实的具有沉浸感的三维立体显示，采用双摄像系统产生真实立体感的视频图像，从而产生左右眼立体视觉的方法。 研究目标：实现在广域网上传输具有广播质量立体视频的增强型虚拟现实系统
16
Transmission via Internet
系统总体设计 Display Capture Transmission via Internet
17
左眼视频 右眼视频 发送端 接收端 接收左眼视频 接收右眼视频
18
系统硬件选择 投影仪 BenQ PB8220 背投幕布 Stewart Film rear projection screen
标称光亮度： 2200ANSI 标准分辨率： 1024*768 对比度 2000:1 投影技术：DLP 最大分辨率：1280*1024 屏幕宽高比例： 4:3 色彩： 16.7M 有效扫描频段： 水平： KHz 垂直：20-100Hz 背投幕布 Stewart Film rear projection screen
19
一对圆偏振片 Apioptics3D circular polarizer in glass 10副与圆偏振片配套的3D立体眼镜 Apioptics3D polarizing glasses
20
安装圆偏振片的支架 安装投影仪的支架
21
系统软件体系图 Video Capture Video Packet Receiver & & Video Packet Sender
Module Video Packet Receiver & Video Display Module Internet
22
清华大学信息网络工程中心 视频与虚拟现实实验室
清华大学信息网络工程中心 视频与虚拟现实实验室 实验室正在进行的工作： 搭建立体视频传输实验室 筹划和建立清华FIT研究楼的CAVE环境 研究网络上音视频传输的协议H.26x, RTP等 研究高清晰度数字视频的应用和性能分析 开发和应用基于VIC视频工具的视频会议系统 ……
23
当前实验室承担CNGI项目 承担CNGI中建设CERNET2上的增强型虚拟现实系统的任务
增强型虚拟现实（Augmented Reality）是CNGI重大应用的起步内容之一，对教育、科研、协同工作和娱乐等有重大意义 国家重点实验室中CAVE环境的起步应用
24
虚拟现实的分类 1．桌面式虚拟现实 2．沉浸式虚拟现实 3．增强现实性的虚拟现实 4．分布式虚拟现实 立体视频属于增强型虚拟现实（Augmented Reality）的一种。
25
当前实验室在立体视频传输方面的研究工作 建立立体视频传输研究和演示环境 其他内容 显示设备和方案的选择
基于DV/HDV 的立体视频传输系统软件的开发 其他内容 立体节目片断和立体电影的网络点播服务 立体视频传输和增强型虚拟现实网站的建设 ……
26
参考文献 [1] Mathias Johanson，Stereoscopic Video Transmission over the Internet, Internet Applications, WIAPP Proceedings. The Second IEEE Workshop on July 2001 Page(s):12 – 19 [2] RHYS HAWKINS. Digital Stereo Video: display compression and transmission. The Australian National University. February 2002
27
[3] A. Woods, T. Docherty, R. Koch, “Image Distortions in Stereoscopic Video Systems”, Stereoscopic Displays and Applications IV, Proceedings of the SPIE, Vol. 1915, San Jose, CA, (1993). [4] 陈彦良，即时立体视觉物体追踪系统，台湾中原大学机械工程学系硕士学位论文，2002年7月 [5] Butler P. Hine III, Carol Stoker, Michael Sims, Daryl Rasmussen, and Phil Hontalas, Terrence W. Fong, Jay Steele, and Don Barch, Dale Andersen, Eric Miles, Erik Nygren, The Application of Telepresence and Virtual Reality to Subsea Exploration
![[3] A. Woods, T. Docherty, R. Koch, Image Distortions in Stereoscopic Video Systems , Stereoscopic Displays and Applications IV, Proceedings of the SPIE, Vol. 1915, San Jose, CA, (1993).](http://slidesplayer.com/slide/11545866/62/images/27/%5B3%5D+A.+Woods%2C+T.+Docherty%2C+R.+Koch%2C+Image+Distortions+in+Stereoscopic+Video+Systems+%2C+Stereoscopic+Displays+and+Applications+IV%2C+Proceedings+of+the+SPIE%2C+Vol.+1915%2C+San+Jose%2C+CA%2C+%281993%29..jpg "[4] 陈彦良，即时立体视觉物体追踪系统，台湾中原大学机械工程学系硕士学位论文，2002年7月. [5] Butler P. Hine III, Carol Stoker, Michael Sims, Daryl Rasmussen, and Phil Hontalas, Terrence W. Fong, Jay Steele, and Don Barch, Dale Andersen, Eric Miles, Erik Nygren, The Application of Telepresence and Virtual Reality to Subsea Exploration.")
28
[6] Kazuhiro GOMI, Yutaka NISHINO, Kazuhumi TAI, Minoru YASUDA, Nobuji TETSUTANI, stereoscopic video transmission and presentation system for ISDN, Consumer Electronics, IEEE Transactions on Volume 36, Issue 3, Aug 1990 Page(s): [7] Milos Liska，Design and Implementation of Capturing, Transmission, and Display of Stereoscopic Video in DV Format, MASARYK UNIVERSITY, 2005 [8] Mowafi, M.; Nan Jiang; Caudell, T.P.; Wei Shu; Min-You Wu; Real-time transmission of stereo images over the access grid, Circuits and Systems, ISCAS IEEE International Symposium on Volume 5, May 2002 Page(s):V V-636 vol.5
![[6] Kazuhiro GOMI, Yutaka NISHINO, Kazuhumi TAI, Minoru YASUDA, Nobuji TETSUTANI, stereoscopic video transmission and presentation system for ISDN, Consumer Electronics, IEEE Transactions on Volume 36, Issue 3, Aug 1990 Page(s):](http://slidesplayer.com/slide/11545866/62/images/28/%5B6%5D+Kazuhiro+GOMI%2C+Yutaka+NISHINO%2C+Kazuhumi+TAI%2C+Minoru+YASUDA%2C+Nobuji+TETSUTANI%2C+stereoscopic+video+transmission+and+presentation+system+for+ISDN%2C+Consumer+Electronics%2C+IEEE+Transactions+on+Volume+36%2C+Issue+3%2C+Aug+1990+Page%28s%29%3A.jpg "[7] Milos Liska，Design and Implementation of Capturing, Transmission, and Display of Stereoscopic Video in DV Format, MASARYK UNIVERSITY, [8] Mowafi, M.; Nan Jiang; Caudell, T.P.; Wei Shu; Min-You Wu; Real-time transmission of stereo images over the access grid, Circuits and Systems, ISCAS IEEE International Symposium on Volume 5, May 2002 Page(s):V V-636 vol.5.")
29
[9] JongWon Kim，HD Video Services Over IP，2005年5月11日，http://hdtv. nm
参考网站 Dynamic Digital Depth, Inc. web site: Stereographics, Inc. web site:
![[9] JongWon Kim，HD Video Services Over IP，2005年5月11日， nm](http://slidesplayer.com/slide/11545866/62/images/29/%5B9%5D+JongWon+Kim%EF%BC%8CHD+Video+Services+Over+IP%EF%BC%8C2005%E5%B9%B45%E6%9C%8811%E6%97%A5%EF%BC%8C++nm.jpg "参考网站. Dynamic Digital Depth, Inc. web site: Stereographics, Inc. web site:")
Similar presentations
