9.4 基于纹理的深度图重建

包含多个纹理区域的图像

flower beeren 彩色纹理图像 water food

1 纹理（Texture） 目前对于纹理的精确定义还未形成统一认识，多根据应用需要做出不同定义． 两种较常采用的定义： 定义1 按一定规则对元素（elements）或基元（primitives）进行排列所形成的重复模式. 定义2 如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，则图像中的对应区域具有恒定的纹理．

纹理（Texture） 纹理的基本特征 纹理是区域属性，并且与图像分辨率（或称尺度，resolution or scale）密切相关 重复性 规则性 周期性 方向性

空域滤波 局部模板法 局部矩法 设计一组具有频率选择性的模板，与图像做卷积. 以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图像. 相当于用一组模板对图像进行滤波.

空域滤波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.

Gabor变换与小波变换 Gabor变换（高斯窗口） (D. Gabor, 1946) 小波变换： 窗口宽度随频率变化而变化

Gabor变换纹理特征 二维Gabor滤波器具有频率和方向选择性 Gabor纹理特征提取的一般步骤： 2. 对各个子图像做一定处理； 3. 根据子图像计算相应特征，形成特征矢量或特征图像，比如子图像窗口内的标准差.

Gabor变换纹理特征示例： (a) 纹理图像 (b) 滤波图像 (16,135度) (c) 滤波图像 (32,0度) (d) 特征图像(b) (e) 特征图像(c)

小波变换纹理特征 对图像作小波变换， 分别得到水平和垂直方向上的高频和低频子图像，可以对低频子图像或每个子图像再作同样的变换. 根据最后得到的每个子图像计算一个特征，如能量，墒等，形成纹理特征矢量.

Markov随机场 图像建模的重要工具，应用广泛． 预备知识（标注问题，labeling） (J. Besag, 1974) 位(site)集合： 标志(label)集合，位上可能发生事件的集合，可以是连续的，也可以是离散的： ，

Markov随机场 标注：为位集合中每个位指定一个标志的过程，位集合到标志集合的映射：

Markov随机场 标注：从如下 空间中导出 的过程： 标注：从如下 空间中导出 的过程： 在图象领域，可将 理解为一幅图象， 则是全部可允许图像的集合. 标注也被称为着色(coloring，数学规划)或配置(configuration，随机场) 如果各个位为随机变量，则位集合 称为随机场.

Markov随机场 在随机场中，从 导出 的过程就是确定 出现的概率. 假设各个位的标注是彼此无关的，则有 ， 在随机场中，从 导出 的过程就是确定 出现的概率. 假设各个位的标注是彼此无关的，则有 ， 只需单独考虑每个位，问题简单（理想） 实际应用时，需要考虑上下文约束 (contextual constraints) Markov随机场

Markov随机场 当且仅当以下两个条件满足时，随机场为Markov随机场： 若fi能够独立发生，那么f就能够发生 正性（Positivity） Markov性(Markovianity) 若fi能够独立发生，那么f就能够发生 一个像素点的随机概率只与它邻域的像素有关

根据矩阵中各位置与位置i的距离，可以将邻域系统表达为等级形式 邻域系统的等级划分 一个象素点和图像中其他各象素点的相关性就可以通过条件概率和邻域系统来描述

Gibbs随机场 邻域系统(neighboring system) 邻域集 (neighbor set)： 一阶邻域（四连通），二阶邻域（八连通）等 团(cliques)： 由邻域关系限定的位子集 单位团(single-site) ，双位团(pair-site) ，三位团(triple-site)等 团是有序的:

Gibbs随机场 邻域 团 团具有尺寸, 形状和方向

Gibbs随机场 当且仅当随机场的配置服从Gibbs分布时，称为Gibbs随机场: ：温度常量，常取1 规范化常量，称为划分函数（partition function） 所有团势能之和，称为能量函数(energy function) ：团势能(clique potential)

Gibbs随机场 物理意义 均匀性 (homogeneity)： 配置的能量越小，其概率越大 各向同性(isotropic)： 有均匀性 与团在随机场中的位置无关 或者说， 与位i无关 各向同性(isotropic)： 与团的方向无关 在纹理领域，Markov(Gibbs)随机场具 有均匀性

Gibbs随机场 Hammersley-Clifford定理 意义： Markov随机场与Gibbs随机场等价 意义： 既可以用局部成分的相互影响来建模，也可以用全局能量来建模. 如何确定团势能的形式和参数是Markov(Gibbs)随机场的主要工作. 划分函数的计算复杂度很高，是一个难题，实际多做一定简化.

3 从纹理恢复形状 根据纹理属性变化与表面形状的关系恢复表面形状. 三种效应： 基准维(characteristic dimension)： 透视缩小(与表面方向有关) 缩放和密度变化(与观察者 和纹理基元的距离有关) 基准维(characteristic dimension)： 没有发生透视缩小的方向

3. 从纹理恢复形状 几种方法 Bajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度; Witken方法：利用边缘方向分布，估计表面方向; Blostein-Ahuja方法：利用基元面积梯度，估计表面方向.

椭圆长短轴在缩小（缩放效应） 缩小速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维）

Blostein-Ahuja方法 假设表面为平面，纹理基元单一且无深度差 恢复公式（依据）的推导 1. 为简化推导，将坐标系统转换到tilt方向 2. 根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系； 3. 将上述关系转化为任意基元与中心基元的面积关系.

坐标系统变换

透视投影模型

Blostein-Ahuja方法 形成表面方向估计依据 → 为未知参数空间，根据纹理图像从中搜索最佳结果： 将该空间离散化，对于每组值，计算图像中各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果. (表面拟合)

Blostein-Ahuja方法结果示例

4.基于纹理变化的深度估计算法 SFT的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。 2006年，斯坦福大学的Andrew Ng等人应用机器学习的方法，采用分层的多尺度马尔科夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航中。 这种利用全局的三维几何纹理信息的方法，实际上就是在利用了图像“质地变化率”的同时也利用了图像中的遮挡信息（空间关系）。 3-D Depth Reconstruction from a Single Still Image Ashutosh Saxena, Sung H. Chung, Andrew Y. Ng ,2007

4.1 Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues

4.2 Feature Vector The image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth features—used to estimate the absolute depth at a particular patch—and relative features, used to estimate relative depths.

Feature Vector three types of local cues: texture variations, texture gradients, color. Capture cues Laws’ masks(3*3)------- texture variations Oriented edge filters(6)------- texture variations Color channel(2)------- color

2.1 Features for absolute depth

Features for absolute depth initial feature vector---sum absolute energy and sum squared energy, multiple spatial scales---capture more global properties of the image, immediate neighbors---capture occlusion relationships, vertically column---show vertical structure. absolute depth feature vector x is 19 ∗ 34 = 646 dimensional.

2.2 Features for relative depth A different feature vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |I ∗Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differences between their histograms.

4.3 Probabilistic Model Hierarchical Multi-scale MRF Model

Probabilistic Model Gaussian Model Laplacian model

Gaussian Model di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of the depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s. M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector for patch i; and θ and σ are parameters of the model.

Gaussian Model (θr,σ1r,σ2r) is the different parameters for each row r in the image The model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X).

Laplacian model

Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps

Experiments

Experiments original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.