Depth Map Liu Xiaoyang Jun 16, 2015.

Presentation on theme: "Depth Map Liu Xiaoyang Jun 16, 2015."— Presentation transcript:

1 Depth Map Liu Xiaoyang Jun 16, 2015

2 Contents: How to get Depth Map? What is Depth Map?
1 How to get Depth Map? 2 What is Kinect? 3 How does Kinect work? 4 SDK for Kinect 5 Application 6

3 1 What is Depth Map? Where are you in the world? 3

4 2 How to get Depth Map? 被动深度获取： 主动深度获取： 单目：特征统计学、形状恢复技术、几何投影… 双目立体视觉
三目… 主动深度获取： 结构光扫描 Depth from Focus Time of Fight Light Coding… 4

5 2 How to get Depth Map? 双目立体视觉： 5

6 2 How to get Depth Map? 结构光扫描： 6

7 2 How to get Depth Map? Depth from Focus： （1）对焦 （2）散焦 清晰度评价函数 目标
点扩散函数求取R 7

8 2 How to get Depth Map? Time of Fight： （1）直接 （2）间接 8

9 2 How to get Depth Map? TOF摄像头： Mesa Imaging SwissRanger 4000
PMD Technologies CamCube 2.0 3DV systems ZCam 9

10 2 How to get Depth Map? Light Coding ： 用光源照明给需要测量的空间编码 光源不同，激光散斑
普通CMOS感光芯片 精度只与参考平面的密度有关 10

11 3 What is Kinect ? You are the controller! 11

12 3 What is Kinect ? 红外投影机 RGB摄像头 红外摄像头 指示灯 麦克风阵列 12

13 3 What is Kinect ? 垂直视角43，水平视角57，有效视距0.8到3.5，一个用户的最佳距离2.2，两个2.5 13

14 4 How does Kinect work? Depth深度图 Skeleton骨骼图 游戏小人Avatar 14

15 4 How does Kinect work? Light Coding 光栅 扩散片 激光散斑 红外激光生成器
激光散斑成像原理，能量低安全， Kinect红外激光投射器原理图 15

16 4 How does Kinect work? 激光散斑 随机性，距离不同图案不同。红外光源不能阳光直射吗，不能靠近热源 16

17 4 How does Kinect work? Light Coding：标定
视角范围 空间1~4m的范围，每隔1cm取一个参考平面，300幅散斑图像。 标定的间距越小，精度越高。 17

18 4 How does Kinect work? Light Coding：标定 18

19 4 How does Kinect work? 骨骼图 32个人体部位，20个关节点。头，手 19

20 4 How does Kinect work? 骨骼图 20

21 4 How does Kinect work? 游戏小人 泊松方程滤除噪声 平滑算法 判断特征点的角度和表面朝向，形成虚拟距离场 21

22 5 SDK for Kinect Application SDK NUI Library Image Stream Depth Stream
Audio Stream 22

23 5 SDK for Kinect Kinect for Xbox 360基于“管道”的系统构架 23

24 5 SDK for Kinect 如何获取数据流： 轮询模型 事件模型 开启数据流 设置等待时间T 帧数据就绪，返回；否则，null。
FreamReady事件 调用属性FreamReadyEventArgs OpenImageFrame方法 24

25 5 SDK for Kinect 事件模型示例： Void sensor_DepthFreamReady(object sebder, DepthImageFreamReadyEventArgs e) { DepthImageFream depthFream = e. OpenDepthImageFream } 25

26 5 SDK for Kinect 深度图像像素存储形式： 26

27 5 SDK for Kinect 其他语言识别 27

28 5 SDK for Kinect 编程模型： 设备获取 参数设置 设备启动 事件注册 事件处理 设备关闭 28

29 6 Application 29

30 6 Application Advantages： –Metric Input/Output – Fast and robust
algorithms Challenges： – Outdoor – Large Deformation – Crowd Mocap 30

31 The end Thanks！