第十章 基于立体视觉的深度估计

第二节 结构光测距成像系统

1.结构光测距 结构光测距将激光器（或投影仪）发出的光束经光学系统形成某种形式的光，包括点、单线、多线、单圆、同心多圆、网格、十字交叉、灰度编码图案、彩色编码图案和随机纹理投影等投向景物，在景物上形成图案并由摄象机摄取，而后由图象根据三角法和传感器结构参数进行计算，得到景物表面的深度图象和三维坐标。 该方法的传感器具有体积小、价格低、便于安装和维护的特点，是工业中最常用的三维感知技术。

结构光测距 3D scanning becoming widely used, both in traditional areas like model building for movies and in new areas such as art history and archeology.

Stereo Triangulation I J Correspondence is hard! Here we see five frames from water flow sequence. Standard stereo method considers one pair of images. For each pixel in one image, we look for corresponding pixel in the other image. Then we intersect the line of sight to reconstruct the 3D surface. The key problem is computing correspondence. A simple way to do it is for each in the left image, we look for pixels on the same row in the right image and choose the pixel with most similar color. This can be done by minimizing the following error function. Correspondence is hard!

Structured Light Triangulation J Correspondence becomes easier!

单点法结构光测距 结构光三角测距原理

单点法结构光测距 一次只照明一个点．然后使用上述方程计算该点的深度，由此得到二维距离图像。 采用逐点扫描获得整个物体的三维形状，其图象摄取时间和图象处理量随被测物面的增大而急剧增加，难以完成实时三维形状检测。 但在结构光三维视觉传感中，它的精度是最高的。

单线法结构光测距

单线法结构光测距

Triangulation Project laser stripe onto object Light Plane Object Camera The first stage in the real-time pipeline is the range scanner. It’s based on the idea of triangulation. In the simplest case, this consists of projecting a stripe of light onto a scene, looking at it from an angle… Project laser stripe onto object

Triangulation Depth from ray-plane triangulation: Object Light Plane Object Laser Camera Image Point … and triangulating between a plane from the point of view of the light source and a ray from the point of view of the camera. In the simplest case of a laser triangulation scanner, this yields data from a single contour on the object at a time, and you can sweep the line across the surface to stack up a bunch of these contours and get a scan of an entire patch of surface. Depth from ray-plane triangulation: Intersect camera ray with light plane

Example: Laser scanner Cyberware® face and head scanner + very accurate < 0.01 mm − more than 10sec per scan

Example: Laser scanner Digital Michelangelo Project http://graphics.stanford.edu/projects/mich/

Example: Portable Laser scanner

单线法结构光测距 与单点法比较，它增加了产生平面狭缝光的光学装置，只需进行一维扫描就可以得到景物的深度图象，图象摄取和处理时间与工作量大为减少。 尽管如此，该方法仍然是非常低效的图象处理方法，它必须俘获并处理与不同位置光条纹相对应的系列图象，以得到特定场景的一幅全帧深度数据。 所以单光条法的测量速度与单点法一样，在原理上受到限制。

图案法结构光测距 为了缩短测量时间，可以用二维结构光图案对景物进行整体投射，分为重复图案投射法和图案编码投射法。 重复图案投射法：将同一种图案重复多次投影到景物上，每次等间隔的减小条纹图案、点阵图案或网格图案。 投射图案与图象图案间混淆问题严重，位置关系难以确定。

Binary Coding Faster: Example: Projected over time stripes in images. 3 binary-encoded patterns which allows the measuring surface to be divided in 8 sub-regions Pattern 3 Pattern 2 Pattern 1

Binary Coding Assign each stripe a unique illumination code over time [Posdamer 82] Time Just as an example, here’s a very simple code based on binary numbers. If you look at a single position in space (i.e., a single pixel), you see a certain on/off pattern over these four frames. This conveys a code that tells you which stripe you are looking at, which gives you a plane in space with which you can then triangulate to find depths. Space

Example: 7 binary patterns proposed by Posdamer & Altschuler Binary Coding Example: 7 binary patterns proposed by Posdamer & Altschuler … Projected over time Pattern 3 Pattern 2 Pattern 1 Codeword of this píxel: 1010010  identifies the corresponding pattern stripe

图案编码投射法 图案编码投射法分为时间编码和空间编码。 时间编码是将多个不同的编码图案按时序先后投射到物体表面，得到相应的编码图象序列，将编码图象序列组合起来进行解码，得到照射到各象点所对应物点上的光线投射角，再由结构光法基本公式得到景物的深度图象。 两灰度(二值图象)二进制编码图案是较常使用的方法。

使用彩色结构光可以根据色调值的不同进行编码，组合空间更大。而且同时还可以获得场景中诸如物体颜色、纹理等物理特性。

More complex patterns Need very few images (one or two). Works despite complex appearances Works in real-time and on dynamic scenes Need very few images (one or two). But needs a more complex correspondence algorithm Zhang et al

时间编码结构光测距 时间编码方法不仅是减少工作量和提高测量速度的有效途径，而且解码错误大为减少，但要求每次投射图案时投射空间位置和景物位置不可有变化，因此不适用于动态变化的场景中。

空间编码结构光测距 空间编码是将一幅按某种方式编码的图案向景物投射，得到一幅对应的编码图象，将编码图象与编码方式对照解码，获得照射到各象点所对应物点上的光线投射角，进而由结构光法基本公式得到景物的深度图象。 空间编码可以通过改变多线结构光的每个狭缝光的参数：亮度、颜色和狭缝的宽度等来完成。该方法只需一次图案投射就可获得景物的深度图象，从原理上来说更适应于动态测量。

投影的图案包括等间距的黑白条纹以及一定数量的彩色横切条纹。 通过对场景的几何结构和反射特性的估计场景信息 自适应编码方案 投影的图案包括等间距的黑白条纹以及一定数量的彩色横切条纹。 通过对场景的几何结构和反射特性的估计场景信息 结构光的颜色、亮度和形状与场景信息相关

空间编码结构光测距 目前在分辨率和处理速度上还不能满足三维视觉检测的要求。 无法应用于具有复杂背景的环境中。 编码图案和编码图象由于受景物表面特性不同而产生的模糊点影响发生译码错误，无法判断出光线的投影角。

Continuum of Triangulation Methods Single-frame Single-stripe Multi-stripe Multi-frame There’s a continuum of methods we can use to establish these correspondences. At one extreme are single-stripe systems. These never have the problem of ambiguity, so they produce very high-quality data, but they take a long time to do it. At the other extreme are systems that try to get all the data at once by projecting lots of stripes (or, in this case, dots). They are fast, since they get everything with just a single frame, but they tend to be a lot more fragile and get confused by discontinuities. In the middle are methods that use a few frames to get depth, by flashing stripes on and off over time, and conveying a code about which stripe is which through this pattern of on/off flashing. Slow, robust Fast, fragile

3D Acquisition from Shadows Bouguet-Perona, ICCV 98

2.激光测距雷达 激光测距（laser range finder）是在二十世纪60年代发展起来的一种新型测距雷达。 激光雷达具有波束窄、波长短等独特优点，因而具有极高的角分辨能力、距离分辨能力和速度分辨能力。 激光雷达可以获取目标的多种信息，如反射特性、距离信息、速度信息等． 激光测距的主要问题是技术实现难度较大．

脉冲飞行时间测距 我们知道，声波和光波信号在空气介质中传播的速度是一定的，如果知道它们在空间中的传播时间，则可以计算波形在空气中的传播距离．人们将这种直接通过测量波形（或脉冲）飞行时间来计算距离的方法称为飞行时间法（time of flight）．激光脉冲测距雷达就属于这类测距系统．激光脉冲测距雷达向空间发射激光脉冲信号，并接收由于碰到物体表面而反射回来的信号，然后测量发射和接收脉冲的时间差，就可以得到空间物体的距离．

脉冲飞行时间测距 1977年加洲理工大学喷推实验室 这种激光测距雷达在１－３米的测量范围内，测距精度为２厘米．获取图像需要3分钟

相位差测距 相位差测距属于连续波雷达。 具有多义性 深度信息可以通过检测调幅光波发射和接收的相位差来得到。 消除多义性的办法：一是事先知道待测距离的大致范围，二是使用多台具有不同调制频率的激光测距雷达。

相位差测距激光雷达原理图

已知调制频率和相位差，则物体到传感器的距离为： 测距范围：

激光阵列测距 激光阵列成像雷达能以很高的速率获取场景的稠密深度图，该系统使用大功率激光二极管阵列向场景发射激光，测量来自目标的相对于调幅载波相的反射光相移，以便计算到目标的距离。接收器里的图像增强器的增益被和发送器同样的频率调制。到达CCD的光与返回信号的相位和它的强度无关，而与目标的反射率有关。为了规范化反射率的变化，返回波的强度被采样两次，一次是接收器调制增益作用，另一次是接收器调制增益不作用。这样，与每一个象素相联系的距离基本上同时在场景中测量。尽管这一系统具有能快速提供高精度的深度估计值的优点，该系统使用了许多元件，规模很大，功耗大。