2015年6月论文头脑风暴 大连理工大学 郭君 guojun@mail.dlut.edu.cn

目录 1.解析型字典&综合型字典 2.局部性的应用拓展 3.细粒度分类 4.显著性分析

目录 1.解析型字典&综合型字典 2.局部性的应用拓展 3.细粒度分类 4.显著性分析 先介绍起源和基本知识，然后直奔近几年的发展趋势~

解析型字典 & 综合型字典 引子：

解析型字典 & 综合型字典 引子：

解析型字典 & 综合型字典 引子：

解析型字典 & 综合型字典 引子：

解析型字典 & 综合型字典 文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 作者信息： 研究内容：从概率的角度对字典学习进行分类，首先提出两种 不同的字典学习模型：解析模型(Analysis model)和综合模型 (Synthesis model)。

文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 解析型字典 & 综合型字典 文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 Inverse Problem Formulation We consider the following general inverse problem: is the degradation operator (not necessarily linear) Additive white Gaussian noise: Scale + White Noise

文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 解析型字典 & 综合型字典 文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 Bayesian Estimation The statistical model: Maximum A Posterior (MAP) estimator

文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 解析型字典 & 综合型字典 文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 Analysis versus Synthesis The two approaches are algebraically very similar: But, with different priors: Both methods are motivated by the same principal of representational sparsity.

文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 解析型字典 & 综合型字典 文章：Analysis versus synthesis in signal priors, Inverse Problems, 2007 Some Algebra: Could the two be Related ? Using the pseudo-inverse, the two formulations can almost be brought to the same form: This is precisely the MAP-Synthesis formulation, but with the added constraint since must be in the column-span of in the MAP-Analysis case. Though sometimes close, the two solutions are generally different.

作者信息：Ron Rubinstein, Tomer Peleg, Michael Elad 解析型字典 & 综合型字典 文章：Analysis K-SVD: A Dictionary-Learning Algorithm for the Analysis Sparse Model, IEEE Trans. SP, 2013 作者信息：Ron Rubinstein, Tomer Peleg, Michael Elad 研究内容：一种针对解析型字典学习的新算法，从训练样本中 学习一个解析型的字典Ω。——提出解析型KSVD算法。 有代码~Elad主页

作者信息：Ron Rubinstein and Michael Elad 解析型字典 & 综合型字典 文章：Dictionary Learning for Analysis-Synthesis Thresholding, IEEE Trans. SP, 2014 作者信息：Ron Rubinstein and Michael Elad 研究内容：一种“解析型字典+综合型字典”的结合，在图像 去模糊(image deblurring)方面的应用。 重要公式： 其中：X是训练样本矩阵，每列是一个样本。 D是综合型字典， Ω是解析型字典。 是hard阈值函数。 缺点不足：①λ需要根据噪声功率谨慎地选择，过于繁琐而且 费时。②只考虑最佳重构训练样本，没有结合判决信息，不能 完全照搬照抄到分类应用中。 其实是用来做“重构”

解析型字典 & 综合型字典 文章：Projective Dictionary Pair Learning for Pattern Classification, NIPS, 2014 作者信息： 研究内容：这篇文章在传统的字典学习中进行创新，构建了双 字典编码，利用D(综合型字典，常规使用)和P(解析型字典， 类似映射矩阵)： 。 公式表述： 求解时：

作者信息：Meng Yang (杨猛), Weixin Luo, Linlin Shen 解析型字典 & 综合型字典 文章：Dictionary pair learning with block-diagonal structure for image classification, IScIDE, 2015 作者信息：Meng Yang (杨猛), Weixin Luo, Linlin Shen 研究内容：针对NIPS2014没有考虑到的两个点(不足)：①各个 类别的Pi(analysis dictionary)都有很大的相关性，应降低； ②各个类别的样本的编码系数Ai都有很大的离散度，应降低。 进行改进，增加了两个正则项。 此文章发表于杰青、长江学者的圈子会IScIDE。第一作者曾经是香港理工大学张磊老师的博士，字典学习的高手。

解析型字典 & 综合型字典 总结：

解析型字典 & 综合型字典 趋势1：解析型字典的理论突破 相对于综合模型，解析模型从另一角度考虑问题，具有更 丰富的表示能力，已经引起了学者们的大量关注，并取得了一 些阶段性成果。但是，现阶段基于解析模型的字典学习方法仍 属于理论发展初期，如何精确快速地寻找共支撑 是需要解 决的基本问题。 趋势2：解析型字典的应用扩展 解析字典学习的应用成果还比较少, 目前国内外研究主要 应用在图像去噪和压缩成像等领域（侧重在重构）。将这一方 法应用于其他领域是今后的一个发展方向。比如：利用平滑、 边缘、纹理、轮廓等各层面的结构特征，或者根据输入信号本 身的结构特点研究结构化解析字典学习方法。 趋势3：任务驱动字典的学习 传统的大都是数据驱动字典(Data-driven dictionary)学 习方法, 利用数据的结构特性进行字典学习, 大都属于无监督 学习的范畴，今后多是结合分类任务进行解析字典学习。

1.解析型字典&综合型字典 2.局部性的应用拓展 3.细粒度分类 4.显著性分析 目录 点块。第二个对于特征“点”变到特征“块”(提前聚类)。字典(码书)也可如此分“块”(LASC是非监督仿射子空间，后两个都是监督的类别子字典)

局部性(locality)的应用拓展 文章：From Dictionary of Visual Words to Subspaces： Locality-constrained Affine Subspace Coding, CVPR, 2015 作者信息： 研究内容：Locality-constrained Linear Coding (LLC)在编 码时存在不足，主要体现在忽视了每个字典原子的周围几何结 构。因此，作者提出LASC的算法进行弥补，首先找到输入特征 的k个最近子空间，然后再进行线性分解(子空间内加权求和)。 同时作者在特征编码时，结合了二阶信息。 原理图：

局部性(locality)的应用拓展 文章：From Dictionary of Visual Words to Subspaces： Locality-constrained Affine Subspace Coding, CVPR, 2015 公式表述： LLC： LASC： PCA方式定义A： 此处得到的仅为1阶信息~2阶信息是根据临界性度量d(b,yi)(作者提出的第3种度量方式)推出的~

局部性(locality)的应用拓展 文章：From Dictionary of Visual Words to Subspaces： Locality-constrained Affine Subspace Coding, CVPR, 2015 部分实验结果：

局部性(locality)的应用拓展 文章：Hardware Compliant Approximate Image Codes, CVPR 2015 作者信息： 研究内容：Locality-constrained Linear Coding (LLC)对于 large scale的问题，求解复杂性过高。这篇文章进行弥补， 在基本不降低准确率的前提下，提高计算效率、节约资源。 原理图：

文章：Hardware Compliant Approximate Image Codes, CVPR 2015 局部性(locality)的应用拓展 文章：Hardware Compliant Approximate Image Codes, CVPR 2015 核心步骤：先对特征进行聚类，然后对每类特征都用相同的K 个近邻(这K个近邻是该类别的类簇中心的K近邻)作为基，进行 线性加和表示。 详细： VQLLC LLC本文

局部性(locality)的应用拓展 文章：Hardware Compliant Approximate Image Codes, CVPR 2015 部分实验结果：

局部性(locality)的应用拓展 文章：A Novel Locally Linear KNN Model for Visual Recognition, CVPR, 2015 作者信息： 研究内容：对于SRC应用到分类问题的两个不足，进行研究和 改进。SRC是对每个测试样本都用所有训练样本稀疏加和表示， 最后以最小重构误差作为分类决定值。一方面，稀疏约束对于 相关性高的同类样本，常会粗暴地从中选择1个；另一方面， 这种分类规则与Bayes最小误差决策规则等并无直接关系。 原理图：

局部性(locality)的应用拓展 文章：A Novel Locally Linear KNN Model for Visual Recognition, CVPR, 2015 部分实验结果：

目录 1.解析型字典&综合型字典 2.局部性的应用拓展 3.细粒度分类 4.显著性分析

在生成特征、引入多种信息等角度，对深度学习模型进行改造，甚至将非深度学习的传统机器学习算法与深度模型结合。 趋势2：传统模型改进与策略创新 细粒度(fine-grained)分类 趋势1：专注于深度学习模型改造 在生成特征、引入多种信息等角度，对深度学习模型进行改造，甚至将非深度学习的传统机器学习算法与深度模型结合。 趋势2：传统模型改进与策略创新 ①Jonathan Krause, Hailin Jin, Jianchao Yang, Li Fei-Fei, “Fine-Grained Recognition without Part Annotations,” CVPR, 2015 ②Qi Qian, Rong Jin, Shenghuo Zhu, Yuanqing Lin, “Fine-Grained Visual Categorization via Multi-stage Metric Learning,” CVPR, 2015 趋势3：建设新的图像库 传统的细粒度分类的图像库主要是花、鸟、飞机等，图像数量较少，而且目前只有如此局限的几个实体库。 ①人：David Hall and Pietro Perona, “Fine-Grained Classification of Pedestrians in Video: Benchmark and State of the Art,” CVPR, 2015 ②鸟：Grant Van Horn, Steve Branson, Ryan Farrell, Scott Haber, Jessie Barry, Panos Ipeirotis, Pietro Perona, Serge Belongie, “Building a bird recognition app and large scale dataset with citizen scientists: The fine print in fine-grained dataset collection,” CVPR, 2015 ③汽车：Linjie Yang, Ping Luo, Chen Change Loy, Xiaoou Tang, “A Large-Scale Car Dataset for Fine-Grained Categorization and Verification,” CVPR, 2015 Li Fei-Fei; Tang XiaoOu

细粒度(fine-grained)分类 文章：Jonathan Krause, Hailin Jin, Jianchao Yang, Li Fei-Fei, “Fine-Grained Recognition without Part Annotations,” CVPR, 2015

细粒度(fine-grained)分类 文章：Jonathan Krause, Hailin Jin, Jianchao Yang, Li Fei-Fei, “Fine-Grained Recognition without Part Annotations,” CVPR, 2015

细粒度(fine-grained)分类 文章：Qi Qian, Rong Jin, Shenghuo Zhu, Yuanqing Lin, “Fine- Grained Visual Categorization via Multi-stage Metric Learning,” CVPR, 2015

目录 1.解析型字典&综合型字典 2.局部性的应用拓展 3.细粒度分类 4.显著性分析 趋势：字典学习+显著性。能不能用到分割上？

显著性(Saliency)分析 文章：A Weighted Sparse Coding Framework for Saliency Detection, CVPR, 2015 作者信息：Nianyi Li, Bilin Sun, and Jingyi Yu 关键公式： 原理图：

显著性(Saliency)分析 文章：Label Consistent Quadratic Surrogate Model for Visual Saliency Prediction, CVPR, 2015 作者信息：Yan Luo1, Yongkang Wong2, and Qi Zhao1* 原理图： 核心公式：

郭君 guojun@mail.dlut.edu.cn 谢谢聆听！ Q & A 郭君 guojun@mail.dlut.edu.cn