陈嘉健 导师:李崇荣 清华大学信息网络工程中心 视频与虚拟现实技术研究室

Slides:



Advertisements
Similar presentations
一、软件简介 二、功能介绍 三、产品优势 四、应用范围 五、成功客户 目录目录 软件简介 ●员工工作时间,都认真工作了? ●还是在玩游戏? ●浏览与工作无关的网站? ●收发私人邮件? ●甚至将公司的机密资料拷贝带 走?或是通过邮件或聊天工具泄 密? …… 解决之道.
Advertisements

1 第一章:绪论 什么是信源编码? 为什么要信源编码 / 数据压缩? 为什么可以信源编码 / 数据压缩? 怎样进行信源编码?
教學媒體與教學 李光臨老師 本投影片取自 張霄亭 - 教學媒體 d d d 教育上的四次革命.
七堵調車場與台鐵平溪線 組員: 張竣傑 李品融 陳永吉 劉岳韆.
计算机网络原理与实用技术 陈涛 华中科技大学公共管理学院 2009年2月.
复旦大学上海医学院.
第六章 多媒体辅助教学系统 一、多媒体基本概念
计算机网络课程总结 一、计算机网络基础 计算机网络定义和功能、基本组成 OSI/RM参考模型(各层的功能,相关概念, 模型中数据传输 等)
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
基于ARM7的心电监护仪 的软件设计与实现 指导老师:蒲宝明 学 生:王慧静 学 号:
參考資料:﹝升中全接觸﹞ 香港明愛青少年及社區服務
淺談擴增實境及其應用 Augmented Reality and Its Applications
第11章 网上聊天等多种流行应用 除了前面的一般应用外,在Internet网上还有一些流行的或逐渐流行的应用,如在网上聊天、参加BBS交谈、打IP电话、用手机连网、网上炒股、在网上玩对战游戏、听网上音乐、在网上看电影以及通过Internet网找工作等。这些真是Internet网上的一道风景线,强烈地吸引着人们去试探,去感觉,去潇洒,以至于流连忘返。
大学英语教学在学分制教学的比重 类别 文科 理科 大学英语 《课程要求》 总学时 周学时 总学分
I.禱告先來親近神─ 我們在天上的父 1.敬拜讚美 2.認罪
淄博信息工程学校 ZIBOIT&ENGINEERING VOCATONAL SHCOOL 03 交换机干道技术 计算机网络技术专业.
第5章 网络营销 5.1 市场和营销理念的变迁 5.2 网络营销 5.3 网络营销模式与策略 5.4 网络营销技术 5.5 网上购物流程
虚拟现实及其在教育中的应用.
克劳斯-雷克曼 教授 德国 凯勒数控教学仿真软件有限公司
实用操作系统概念 张惠娟 副教授 1.
2.3 网络域名及其管理.
《计算机基础》 主讲:刘启华 信息管理学院.
第八章 多媒体技术基础.
第四次大作业 登陆学校图书馆网站的电子数据库
陆哲明 博士、教授 哈尔滨工业大学自动化测试与控制研究所 哈尔滨工业大学信息对抗技术研究所
虚拟机实时迁移技术 (Live Migration)
施耐德电气(中国)投资有限公司 运动控制部技术经理 李幼涵 高级工程师
LSF系统介绍 张焕杰 中国科学技术大学网络信息中心
3D Technology Overview & Stereo Panorama
3D Model Wan-Yu Chen NTUEE.
计算机网络原理 徐明伟
研究、論文、計畫與生活之平衡 演講人:謝君偉 元智大學電機系 2018年11月22日.
嵌入式系统课程简介 宋健建 南京大学软件学院 2004/02/10.
第二讲 搭建Java Web开发环境 主讲人:孙娜
面向分布式虚拟环境的并行图形绘制系统研究
存储系统.
大学计算机基础 典型案例之一 构建FPT服务器.
緣由 由於積體電路(Integrated Circuit, IC)製造技術的精進,系統設計已由運用個別積體電路功能整合的方式進步至系統晶片(System-on-a-Chip, SoC) 設計的世代。原本分屬不同設計範疇的類比(Analog)積體電路設計與數位(Digital)積體電路設計已經必須同時整合,而進入新的混合訊號(Mixed-Signal)積體電路設計的世代。
第11章:一些著名开源软件介绍 第12章:服务安装和配置 本章教学目标: 了解当前一些应用最广泛的开源软件项目 搭建一个网站服务器
大数据管理技术 --NoSQL数据库 HBase 陈 辉 大数据分析技术.
“掌握科技文献 助力科学研究” ——大学生信息素质培训与交流 龚芙蓉 武汉大学图书馆 龚芙蓉 武汉大学图书馆.
基于全方位视觉的多人体运动检测跟踪 利用全方位摄像机获取360˚ 的环境信息,在室内对多个人体目标进行实时运动检测。
数 控 技 术 华中科技大学机械科学与工程学院.
森锐科技-SR235 外观设计 建议零售价格:2300元 上市时间:2016年 05 月 01 日
利用Arduino制作定向装置 核科学与技术系 崔伟毅 梁嘉祺
《手把手教你学STM32》 主讲人 :正点原子团队 硬件平台:正点原子STM32开发板 版权所有:广州市星翼电子科技有限公司 淘宝店铺:
应用实例 识别Ps & Pt ADTS 压力通道并校验 CPD8000 New MENSOR‘s ADTS: CPA8001.
湖南大学-信息科学与工程学院-计算机与科学系
多媒体技术 中南大学信息科学与工程学院 黄东军.
学术论文:如何写?往哪投? 范崇澄 2000年11月.
三:基于Eclipse的集成开发环境搭建与使用
混合绘制 2019/4/5 Visual Analytics Group | CAD&CG国家重点实验室.
DV-830-3系列50米点阵式红外摄像机.
微机系统的组成.
China’s Native High Performance IPv6 Backbone Plan
1.4 计算机网络体系结构与协议 引言 网络系统的体系结构 网络系统结构参考模型ISO/OSI
VisComposer 2019/4/17.
中文题名 介绍/亮点 研究方法 结果/讨论 结论 作者1 1*,作者2 1,2,作者3 2
计算机网络与网页制作 Chapter 07:Dreamweaver CS5入门
JSP实用教程 清华大学出版社 第2章 JSP运行环境和开发环境 教学目标 教学重点 教学过程 2019年5月7日.
多媒体技术 中南大学信息科学与工程学院 黄东军.
形容词短语(续).
魏新宇 MATLAB/Simulink 与控制系统仿真 魏新宇
北丞蓝光 存储无忧.
FVX1100介绍 法视特(上海)图像科技有限公司 施 俊.
香港城市大学 导师: 布礼文教授( Dr. L M Po ) 学生: 徐叙远 ( Xu Xuyuan )
緣由 由於積體電路(Integrated Circuit, IC)製造技術的精進,系統設計已由運用個別積體電路功能整合的方式進步至系統晶片(System-on-a-Chip, SoC) 設計的世代。原本分屬不同設計範疇的類比(Analog)積體電路設計與數位(Digital)積體電路設計已經必須同時整合,而進入新的混合訊號(Mixed-Signal)積體電路設計的世代。
高中物理“平抛运动的应用” 点评专家:谭一宁.
《手把手教你学STM32-STemWin》 主讲人 :正点原子团队 硬件平台:正点原子STM32开发板 版权所有:广州市星翼电子科技有限公司
四路视频编码器 快速安装手册 1、接口说明 2、安装连接 3、软件下载 4、注意事项 编码器软件下载地址
Presentation transcript:

陈嘉健 导师:李崇荣 清华大学信息网络工程中心 视频与虚拟现实技术研究室 chenjiajian@mails.tsinghua.edu.cn 基于下一代互联网的立体视频传输 陈嘉健 导师:李崇荣 清华大学信息网络工程中心 视频与虚拟现实技术研究室 chenjiajian@mails.tsinghua.edu.cn

提纲 应用背景 立体视频的获取和显示 当前国内外的立体视频相关的应用系统 基于下一代互联网的立体视频传输系统 视频与虚拟现实实验室当前工作简介

应用背景 Internet上的各种视频传输服务向高清晰度和现实感的发展[1] 传统的图像和视频集中在平面视觉(monoscopic imagery)上,没有充分利用人眼的视差感知功能 立体视觉(stereoscopic imagery)可以给观众带来更真实的视觉体验

立体视频的获取 基本原理:用两台摄像机代替和模拟人眼的功能[2] 1.分离距离(separation) 2.视线聚合距离(vergence distance) 3.视域(field of view)

人眼视觉示意图 双台摄像机模拟系统[2]

用这种模拟系统代替人眼的功能,存在问题:[2] 1 人眼具有快速的视线聚合距离调整功能,模拟系统,虽然也可以附加自动控制装置以模拟这些人眼的细微运动,但是造价非常昂贵,同时调节需要用时。 2两台摄像机的曝光,镜头缩放和聚焦控制必须相应的模拟人眼的视觉系统,但是仍然存在stonekey,crosstalk等扭曲效应(Image Distortion)[3],相比人眼视觉存在不足。 结论:这样的模型系统是人眼视觉系统的一个近似,不能完全模拟人眼,但可以在一定范围内捕捉和产生立体视觉,达到与人眼视觉感知相似的效果 。

立体视觉的显示 基本原理:远端的接收者左右眼需要分别接收两路视频源,由于双路视频源的图像存在视差,使得接收者产生了立体视觉的感知。 分类: 主动式和被动式(图像是否分时现实) 红蓝立体视觉和偏振光立体视觉

基本原理:左眼视频(或图像)只允许红色通道的光通过,右眼视频(或图像)只允许蓝绿通道的光通过。然后将两路视频投影到一起。 观察者需要戴上特殊的立体眼镜来观看这样的图像或视频。立体眼镜的左眼安装红色滤光片,右眼安装蓝绿色滤光片

基本原理:将两路与左右眼对应的视频或图像,分别通过两个偏光方向垂直的偏振片,将得到的两路偏振光投影到特殊的幕布上。观察者需要戴上特殊的偏振光片眼镜观看经过幕布反射回来的图像。

当前国内外的立体视频相关的应用系统 1 远程机器人遥感控制[2][4] 2 远程医疗手术 3 特定地质环境的探索和远程再现[5] 4 远程视频交流相关系统[1][6][7][8] 5 ……

立体视频会议原形系统 [1],July 2001 特点和问题:一个远程立体视频会议的原型系统,基于RTP发送视频数据,用NTP实现两路视频的同步。但是视频质量处在VIC级别上。

Linux平台上的立体视觉传输原形系统 [7],2005 特点和问题:处于实验阶段的一个原形系统,没有对视频传输的同步问题进行处理,实用性欠缺

远程机器人遥感控制系统 [2],February 2002 特点和问题:在定时的采样点上获取两台摄像机拍到的图像,对图像进行处理得到物体的位置和大小等信息。

HD Video Services Over IP [9],May 11th, 2005 特点:基于HDV的立体视频传输系统,韩国科研机构GIST提出,处在设想阶段

基于下一代互联网的立体视频传输系统 CNGI项目要求:实现具有“真立体”感的立体摄像硬件装置和立体显示软件处理技术,并进行实装。为了实现真实的具有沉浸感的三维立体显示,采用双摄像系统产生真实立体感的视频图像,从而产生左右眼立体视觉的方法。 研究目标:实现在广域网上传输具有广播质量立体视频的增强型虚拟现实系统

Transmission via Internet 系统总体设计 Display Capture Transmission via Internet

左眼视频 右眼视频 发送端 接收端 接收左眼视频 接收右眼视频

系统硬件选择 投影仪 BenQ PB8220 背投幕布 Stewart Film rear projection screen 标称光亮度: 2200ANSI 标准分辨率: 1024*768 对比度 2000:1 投影技术:DLP 最大分辨率:1280*1024 屏幕宽高比例: 4:3 色彩: 16.7M 有效扫描频段: 水平:20.0-88.0KHz 垂直:20-100Hz 背投幕布 Stewart Film rear projection screen

一对圆偏振片 Apioptics3D circular polarizer in glass 10副与圆偏振片配套的3D立体眼镜 Apioptics3D polarizing glasses

安装圆偏振片的支架 安装投影仪的支架

系统软件体系图 Video Capture Video Packet Receiver & & Video Packet Sender Module Video Packet Receiver & Video Display Module Internet

清华大学信息网络工程中心 视频与虚拟现实实验室 清华大学信息网络工程中心 视频与虚拟现实实验室 实验室正在进行的工作: 搭建立体视频传输实验室 筹划和建立清华FIT研究楼的CAVE环境 研究网络上音视频传输的协议H.26x, RTP等 研究高清晰度数字视频的应用和性能分析 开发和应用基于VIC视频工具的视频会议系统 ……

当前实验室承担CNGI项目 承担CNGI中建设CERNET2上的增强型虚拟现实系统的任务 增强型虚拟现实(Augmented Reality)是CNGI重大应用的起步内容之一,对教育、科研、协同工作和娱乐等有重大意义 国家重点实验室中CAVE环境的起步应用

虚拟现实的分类 1.桌面式虚拟现实 2.沉浸式虚拟现实 3.增强现实性的虚拟现实 4.分布式虚拟现实 立体视频属于增强型虚拟现实(Augmented Reality)的一种。

当前实验室在立体视频传输方面的研究工作 建立立体视频传输研究和演示环境 其他内容 显示设备和方案的选择 基于DV/HDV 的立体视频传输系统软件的开发 其他内容 立体节目片断和立体电影的网络点播服务 立体视频传输和增强型虚拟现实网站的建设 ……

参考文献 [1] Mathias Johanson,Stereoscopic Video Transmission over the Internet, Internet Applications, 2001. WIAPP 2001. Proceedings. The Second IEEE Workshop on 23-24 July 2001 Page(s):12 – 19 [2] RHYS HAWKINS. Digital Stereo Video: display compression and transmission. The Australian National University. February 2002

[3] A. Woods, T. Docherty, R. Koch, “Image Distortions in Stereoscopic Video Systems”, Stereoscopic Displays and Applications IV, Proceedings of the SPIE, Vol. 1915, San Jose, CA, (1993). [4] 陈彦良,即时立体视觉物体追踪系统,台湾中原大学机械工程学系硕士学位论文,2002年7月 [5] Butler P. Hine III, Carol Stoker, Michael Sims, Daryl Rasmussen, and Phil Hontalas, Terrence W. Fong, Jay Steele, and Don Barch, Dale Andersen, Eric Miles, Erik Nygren, The Application of Telepresence and Virtual Reality to Subsea Exploration

[6] Kazuhiro GOMI, Yutaka NISHINO, Kazuhumi TAI, Minoru YASUDA, Nobuji TETSUTANI, stereoscopic video transmission and presentation system for ISDN, Consumer Electronics, IEEE Transactions on Volume 36, Issue 3, Aug 1990 Page(s):759 - 766 [7] Milos Liska,Design and Implementation of Capturing, Transmission, and Display of Stereoscopic Video in DV Format, MASARYK UNIVERSITY, 2005 [8] Mowafi, M.; Nan Jiang; Caudell, T.P.; Wei Shu; Min-You Wu; Real-time transmission of stereo images over the access grid, Circuits and Systems, 2002. ISCAS 2002. IEEE International Symposium on Volume 5, 26-29 May 2002 Page(s):V-633 - V-636 vol.5

[9] JongWon Kim,HD Video Services Over IP,2005年5月11日,http://hdtv. nm 参考网站 Dynamic Digital Depth, Inc. web site: http://www.ddd.com. Stereographics, Inc. web site: http://www.stereographics.com.