Depth Map Liu Xiaoyang Jun 16, 2015
Contents: How to get Depth Map? What is Depth Map? 1 How to get Depth Map? 2 What is Kinect? 3 How does Kinect work? 4 SDK for Kinect 5 Application 6
1 What is Depth Map? Where are you in the world? 3
2 How to get Depth Map? 被动深度获取： 主动深度获取： 单目：特征统计学、形状恢复技术、几何投影… 双目立体视觉 三目… 主动深度获取： 结构光扫描 Depth from Focus Time of Fight Light Coding… 4
2 How to get Depth Map? 双目立体视觉： 5
2 How to get Depth Map? 结构光扫描： 6
2 How to get Depth Map? Depth from Focus： （1）对焦 （2）散焦 清晰度评价函数 目标 点扩散函数求取R 7
2 How to get Depth Map? Time of Fight： （1）直接 （2）间接 8
2 How to get Depth Map? TOF摄像头： Mesa Imaging SwissRanger 4000 PMD Technologies CamCube 2.0 3DV systems ZCam 9
2 How to get Depth Map? Light Coding ： 用光源照明给需要测量的空间编码 光源不同，激光散斑 普通CMOS感光芯片 精度只与参考平面的密度有关 10
3 What is Kinect ? You are the controller! 11
3 What is Kinect ? 红外投影机 RGB摄像头 红外摄像头 指示灯 麦克风阵列 12
3 What is Kinect ? 垂直视角43，水平视角57，有效视距0.8到3.5，一个用户的最佳距离2.2，两个2.5 13
4 How does Kinect work? Depth深度图 Skeleton骨骼图 游戏小人Avatar 14
4 How does Kinect work? Light Coding 光栅 扩散片 激光散斑 红外激光生成器 激光散斑成像原理，能量低安全， Kinect红外激光投射器原理图 15
4 How does Kinect work? 激光散斑 随机性，距离不同图案不同。红外光源不能阳光直射吗，不能靠近热源 16
4 How does Kinect work? Light Coding：标定 视角范围 空间1~4m的范围，每隔1cm取一个参考平面，300幅散斑图像。 标定的间距越小，精度越高。 17
4 How does Kinect work? Light Coding：标定 18
4 How does Kinect work? 骨骼图 32个人体部位，20个关节点。头，手 19
4 How does Kinect work? 骨骼图 20
4 How does Kinect work? 游戏小人 泊松方程滤除噪声 平滑算法 判断特征点的角度和表面朝向，形成虚拟距离场 21
5 SDK for Kinect Application SDK NUI Library Image Stream Depth Stream Audio Stream 22
5 SDK for Kinect Kinect for Xbox 360基于“管道”的系统构架 23
5 SDK for Kinect 如何获取数据流： 轮询模型 事件模型 开启数据流 设置等待时间T 帧数据就绪，返回；否则，null。 FreamReady事件 调用属性FreamReadyEventArgs OpenImageFrame方法 24
5 SDK for Kinect 事件模型示例： Void sensor_DepthFreamReady(object sebder, DepthImageFreamReadyEventArgs e) { DepthImageFream depthFream = e. OpenDepthImageFream } 25
5 SDK for Kinect 深度图像像素存储形式： 26
5 SDK for Kinect 其他语言识别 27
5 SDK for Kinect 编程模型： 设备获取 参数设置 设备启动 事件注册 事件处理 设备关闭 28
6 Application 29
6 Application Advantages： –Metric Input/Output – Fast and robust algorithms Challenges： – Outdoor – Large Deformation – Crowd Mocap 30
The end Thanks！