9.4 基于纹理的深度图重建

包含多个纹理区域的图像

flower beeren 彩色纹理图像 water food

1 纹理（Texture） 目前对于纹理的精确定义还未形成统一认识，多根据应用需要做出不同定义． 两种较常采用的定义： 定义1 按一定规则对元素（elements）或基元（primitives）进行排列所形成的重复模式. 定义2 如果图像函数的一组局部属性是恒定的，或者是缓变的，或者是近似周期性的，则图像中的对应区域具有恒定的纹理．

纹理 纹理的基本特征 纹理是区域属性，并且与图像分辨率（或称尺度，resolution or scale）密切相关 重复性 规则性 周期性 方向性

纹理分析与合成 纹理分析(analysis): 纹理合成(synthesis): 纹理分类(classification)、纹理分割(segmentation)、从纹理恢复形状(shape from texture). 纹理合成(synthesis): 由基元合成纹理图像. 图形绘制(graph rendering)、图像压缩(image compression)、纹理分析.

纹理分割与分类 纹理分割 确定图像中纹理的边界。 纹理分类 确定纹理区域或图像的类别.

2 纹理分析的方法 统计方法（statistical methods） 结构方法（structural methods） 利用纹理在空间上的灰度分布特性： 灰度级同现矩阵，自相关函数 结构方法（structural methods） 利用基元排列成纹理的规则性： 基元特征，基元组合规则

纹理分析的方法 基于模型的方法(modal based methods) 一幅纹理图像是一类参数模型的实例： Markov (Gibbs) 随机场，分形(fractal) 信号处理方法(signal processing methods) 根据纹理的周期性，采用滤波方法处理： 空域滤波、频域滤波（Fourier变换，Gabor变换，小波变换）

2.1 统计方法 研究纹理在空间上的灰度分布特征 灰度级同现矩阵（grey level co-occurrence matrices，GLCM） 自相关性函数（autocorrelation function） 用下式表示一幅 图像

2.1.1 灰度级同现矩阵 对于具有G个灰度级的图像，受位移矢量 控制的灰度级同现矩阵 是一个 的矩阵，矩阵行列表示各个灰度级，矩阵元素反映两种灰度在相距一定距离的位置上同时出现的次数，具体按下式计算： (Haralick, 1979)

灰度级同现矩阵 例1 1 2 1 2 左边为一幅5×5的图像，具有三个灰度级，右边为灰度级同现矩阵，位移矢量d=(1,1)

灰度级同现矩阵 例2 左边为棋格图像，中间为位移矢量为d=(1,1)的灰度级同现矩阵，右边为位移矢量为d=(1,0)的灰度级同现矩阵。

灰度级同现矩阵 请计算 灰度级同现矩阵？ 位移矢量d=(1,1)

基于灰度级同现矩阵的纹理特征 灰度级同现矩阵在一定程度上反映了纹理图像中各灰度级在空间上的分布特性 如果灰度级同现矩阵集中于对角线上，则对应位移矢量接近于该纹理中基元的排列规则． 在灰度级同现矩阵的基础上，可定义多种纹理特征. 纹理分析领域中广为人知和最经常采用的特征之一.

纹理特征 公式 墒 (entropy) 能量 (energy) 对比度 (contrast) 均匀度 (homegeneity) 相关性 (correlation)

灰度级同现矩阵的问题与发展 问题 缺乏选择位移矢量的有效方法. 发展 自适应多尺度灰度级同现矩阵 (adaptive multi-scale GLCM)：种子区域增长 基于遗传算法的GLC特征提取 (genetic algorithm based GLC feature extraction): 用遗传算法实现高斯加权优化

2.2 自相关函数 图像自相关(autocorrelation)函数 ： 自相关函数的周期性反映纹理基元重复出现的周期性；其下降速度反映纹理基元的粗细度(coarseness)：纹理粗，则缓降；纹理细，则速降. 规则纹理的自相关函数具有峰值和谷值，可用于检测纹理基元的排列情况.

纹理粗细度与自相关函数的关系示意图

自相关函数 自相关函数与卷积变换存在联系 自相关函数可在频域中计算，而且效率更高. 规则纹理的Fourier对数谱 同一纹理的自相关函数

2.3 结构方法 认为纹理基元的规则排列构成纹理，根据基元来分析与合成纹理 三个步骤： 图像增强 多尺度LoG滤波 计算各个基元的统计特征，作为纹理特征，如平均强度、面积、周长、方向、离心率… 基于基元组合规则分析与合成纹理：图模型、树文法等等

2.4 基于模型的方法 建立纹理图像的参数模型，用于表示与合成纹理． 纹理合成主要采用基于模型的方法． 主要问题是估计模型参数，使根据模型合成的纹理图像逼近原纹理图像. 两种模型 Markov随机场（Markov random field, or Gibbs random field ） 分形（fractal）

2.4.1 Markov随机场 图像建模的重要工具，应用广泛． 预备知识（标注问题，labeling） (J. Besag, 1974) 位(site)集合： 标志(label)集合，位上可能发生事件的集合，可以是连续的，也可以是离散的： ，

2.4.1 Markov随机场 标注：为位集合中每个位指定一个标志的过程，位集合到标志集合的映射：

Markov随机场 标注：从如下 空间中导出 的过程： 标注：从如下 空间中导出 的过程： 在图象领域，可将 理解为一幅图象， 则是全部可允许图像的集合. 标注也被称为着色(coloring，数学规划)或配置(configuration，随机场) 如果各个位为随机变量，则位集合 称为随机场.

Markov随机场 在随机场中，从 导出 的过程就是确定 出现的概率. 假设各个位的标注是彼此无关的，则有 ， 在随机场中，从 导出 的过程就是确定 出现的概率. 假设各个位的标注是彼此无关的，则有 ， 只需单独考虑每个位，问题简单（理想） 实际应用时，需要考虑上下文约束 (contextual constraints) Markov随机场

Markov随机场 当且仅当以下两个条件满足时，随机场为Markov随机场： 若fi能够独立发生，那么f就能够发生 正性（Positivity） Markov性(Markovianity) 若fi能够独立发生，那么f就能够发生 一个像素点的随机概率只与它邻域的像素有关

根据矩阵中各位置与位置i的距离，可以将邻域系统表达为等级形式 邻域系统的等级划分 一个象素点和图像中其他各象素点的相关性就可以通过条件概率和邻域系统来描述

Gibbs随机场 邻域系统(neighboring system) 邻域集 (neighbor set)： 一阶邻域（四连通），二阶邻域（八连通）等 团(cliques)： 由邻域关系限定的位子集 单位团(single-site) ，双位团(pair-site) ，三位团(triple-site)等 团是有序的:

Gibbs随机场 邻域 团 团具有尺寸, 形状和方向

Gibbs随机场 当且仅当随机场的配置服从Gibbs分布时，称为Gibbs随机场: ：温度常量，常取1 规范化常量，称为划分函数（partition function） 所有团势能之和，称为能量函数(energy function) ：团势能(clique potential)

Gibbs随机场 物理意义 均匀性 (homogeneity)： 配置的能量越小，其概率越大 各向同性(isotropic)： 有均匀性 与团在随机场中的位置无关 或者说， 与位i无关 各向同性(isotropic)： 与团的方向无关 在纹理领域，Markov(Gibbs)随机场具 有均匀性

Gibbs随机场 Hammersley-Clifford定理 意义： Markov随机场与Gibbs随机场等价 意义： 既可以用局部成分的相互影响来建模，也可以用全局能量来建模. 如何确定团势能的形式和参数是Markov(Gibbs)随机场的主要工作. 划分函数的计算复杂度很高，是一个难题，实际多做一定简化.

2.5 信号处理方法 认知心理学(psychophysical)研究表明，人类在分析纹理图象时，将图像分解为不同的频率和方向成分. 对图象作频率和方向选择性滤波，得到相应特征. 空域滤波 频域滤波 Fourier变换(Fourier transform) Gabor变换与小波(Wavelet)变换

特征图象 纹理图象 水平信号 高通滤波 局部能量

2.5.1 空域滤波 局部模板法 局部矩法 设计一组具有频率选择性的模板，与图像做卷积. 以每一个像素为中心，计算局部窗口内的矩特征值，形成特征图像. 相当于用一组模板对图像进行滤波.

2.5.1 空域滤波 The filter bank used in texture analysis. Total of 48 filters: 36 oriented filters, with 6 orientations, 3 scales, and 2 phases, 8 center-surround derivative filters and 4 low-pass Gaussian filters.

2.5.2 Fourier变换特征 对图像做Fourier变换，根据能量谱和相位谱定义纹理特征. 纹理图像及其Fourier变换

各个环(ring)区域和劈(wedge)区域内的总能量 组成纹理特征矢量. 反映纹理尺寸 反映纹理方向 各个环(ring)区域和劈(wedge)区域内的总能量 组成纹理特征矢量.

2.5.3 Gabor变换与小波变换 Gabor变换（高斯窗口） (D. Gabor, 1946) 小波变换： 窗口宽度随频率变化而变化

Gabor变换纹理特征 二维Gabor滤波器具有频率和方向选择性 Gabor纹理特征提取的一般步骤： 2. 对各个子图像做一定处理； 3. 根据子图像计算相应特征，形成特征矢量或特征图像，比如子图像窗口内的标准差.

Gabor变换纹理特征示例： (a) 纹理图像 (b) 滤波图像 (16,135度) (c) 滤波图像 (32,0度) (d) 特征图像(b) (e) 特征图像(c)

小波变换纹理特征 对图像作小波变换， 分别得到水平和垂直方向上的高频和低频子图像，可以对低频子图像或每个子图像再作同样的变换. 根据最后得到的每个子图像计算一个特征，如能量，墒等，形成纹理特征矢量.

3 从纹理恢复形状 根据纹理属性变化与表面形状的关系恢复表面形状. 三种效应： 基准维(characteristic dimension)： 透视缩小(与表面方向有关) 缩放和密度变化(与观察者 和纹理基元的距离有关) 基准维(characteristic dimension)： 没有发生透视缩小的方向

3. 从纹理恢复形状 几种方法 Bajcsy-Lieberman方法：利用基元尺寸梯度，求相对深度; Witken方法：利用边缘方向分布，估计表面方向; Blostein-Ahuja方法：利用基元面积梯度，估计表面方向.

椭圆长短轴在缩小（缩放效应） 缩小速度长轴为线性，短轴为二次（透视缩小效应，长轴方向为基准维）

Blostein-Ahuja方法 假设表面为平面，纹理基元单一且无深度差 恢复公式（依据）的推导 1. 为简化推导，将坐标系统转换到tilt方向 2. 根据透视投影模型，建立任意基元长短轴与中心基元长短轴的长度关系； 3. 将上述关系转化为任意基元与中心基元的面积关系.

坐标系统变换

透视投影模型

Blostein-Ahuja方法 形成表面方向估计依据 → 为未知参数空间，根据纹理图像从中搜索最佳结果： 将该空间离散化，对于每组值，计算图像中各个位置上的纹理基元面积，与实际面积比较，获得拟合度，取最佳拟合度对应的结果. (表面拟合)

Blostein-Ahuja方法结果示例

4.基于纹理变化的深度估计算法 SFT的传统方法是通过建立一个随机场模型描述图像中纹理信息，通过学习得到模型参数，实现场景深度重建，但由于此类方法使用的是局部的、二维纹理信息，因此所建立的模型中无法完全反映出场景中各目标间的空间关系。近几年来，针对此类问题的研究逐渐向使用全局的、多尺度的、分层次的纹理信息方向发展，并已经开始应用于实际系统中。 2006年，斯坦福大学的Andrew Ng等人应用机器学习的方法，采用分层的多尺度马尔科夫随机场模型，通过对大量的训练集数据的学习，建立室外场景图像中各目标间的空间关系模型，并将取得的结果应用在无人汽车的自主导航中。 这种利用全局的三维几何纹理信息的方法，实际上就是在利用了图像“质地变化率”的同时也利用了图像中的遮挡信息（空间关系）。 3-D Depth Reconstruction from a Single Still Image Ashutosh Saxena, Sung H. Chung, Andrew Y. Ng ,2007

1.Visual Cues for Depth Perception Monocular Cues texture variations, texture gradients, interposition, occlusion, known object sizes, light and shading, haze, defocus, etc. global information, local information. Stereo Cues Motion Parallax and Focus Cues

2.Feature Vector The image is divided into small rectangular patches, and estimate a single depth value for each patch. Two types of features: absolute depth features—used to estimate the absolute depth at a particular patch—and relative features, used to estimate relative depths.

Feature Vector three types of local cues: texture variations, texture gradients, color. Capture cues Laws’ masks(3*3)------- texture variations Oriented edge filters(6)------- texture variations Color channel(2)------- color

2.1 Features for absolute depth

Features for absolute depth initial feature vector---sum absolute energy and sum squared energy, multiple spatial scales---capture more global properties of the image, immediate neighbors---capture occlusion relationships, vertically column---show vertical structure. absolute depth feature vector x is 19 ∗ 34 = 646 dimensional.

2.2 Features for relative depth A different feature vector is used to learn the dependencies between two neighboring patches. a 10-bin histogram of each of the 17 filter outputs |I ∗Fn|, giving us a total of 170 features yis for each patch i at scale s. relative depth features yijs for two neighboring patches i and j at scale s will be the differences between their histograms.

3. Probabilistic Model Hierarchical Multi-scale MRF Model

Probabilistic Model Gaussian Model Laplacian model

Gaussian Model di(s) depths for multiple scales s = 1, 2, 3. enforce a hard constraint that depths at a higher scale are the average of the depths at the lower scale. Ns(i) are the 4 neighbors of patch i at scale s. M is the total number of patches in the image (at the lowest scale); Z is the normalization constant for the model; xi is the absolute depth feature vector for patch i; and θ and σ are parameters of the model.

Gaussian Model (θr,σ1r,σ2r) is the different parameters for each row r in the image The model is a conditionally trained MRF, in that its model of the depths d is always conditioned on the imagefeatures X; i.e., it models only P(d|X).

Laplacian model

Experiments Data collection, using a 3-d laser scanner to collect images and their corresponding depthmaps

Experiments

Experiments original image, (b) ground truth depthmap, (c)predicted depthmap by Gaussian model, (d) predicted depthmap by Laplacian model.