基于图像的金属表面直接标记条 码的质量评价和信息增强

Presentation on theme: "基于图像的金属表面直接标记条 码的质量评价和信息增强"— Presentation transcript:

1 基于图像的金属表面直接标记条 码的质量评价和信息增强
汇 报 人： 李金瑞 导 师： 王爱群

2 内容 研究背景与意义 研究现状 研究内容 研究成果 课题展望 致谢

3 研究背景与意义 自动化生产过程工况监督、产品质量控制、自动化设备和机器人设备的高精度组装引导、产品的包装都需要可靠的自动识别和机器视觉系统做支撑。 二维码技术和直接零件标识技术相结合能够在缩小产品信息占用空间的同时极大延长标记信息的使用寿命，快速、准确地进行数据采集助力零件\产品的跟踪、追溯和控制。 研究条码图像的质量评价体系，摆脱国外对相关技术的垄断不仅是二维码技术发展的要求也是制造业智能化、自动化与国际接轨的要求。 Calling

4 研究现状 国外一些发达国家：基于二维码的DPM技术已在工农产品制造、卫生监管、航空航天等领域得到了广泛应用，有效提升了产品追溯和质量管理水平。欧美汽车协会对汽车零部件做了强制性要求，必须使用DPM技术。此外，国外机构对Data Matrix条码国际规范的制定和行业规范的制定也具有很高的权威性并且垄断了高精度的读码器的生产技术。 国内对二维条码的研究和应用起步较晚，关键的技术和设备依赖进口从而导致二维条码的使用成本较高。受使用成本和相关技术的限制，只有少数电子和汽车行业的企业生产线上应用了二维条码技术。从总体上来说，国内关于Data Matrix码的研究尚处在分步处理阶段，研究工作针对性较强，通用性不足，缺乏定位精准、识别能力强的条码读取设备。条码质量规范方面在国际上没有话语权，参与国际标准制定的实力不足。

5 研究内容 条码图像采集与图像预处理 条码图像的质量评价 劣质条码图像信息增强 条码重构 条码图像采集 条码图像的预处理
Data Matrix 条码标准 金属表面直接标记DM条码图像质量评价指标选择 DM条码图像综合质量评价 劣质条码图像信息增强 灰度分布不均条码的图像处理 刮伤条码图像的修复 一种新的适用于金属表面直接标记条码的二值化方法 条码重构

6 研究内容 条码图像采集与条码图像预处理 条码图像采集 高质量的条码图像是条码信息获取的可靠保证，关系到条码识读的准确性。
系统照明中直接关系到图像质量的光学分量是反射光，除了观测对象表面特征的影响外，反射效果还受光源位置和光源均匀性的影响。为了尽可能维持条码图像的原状同时避免由于相机位置配置造成的图像畸变，采用相机与观测样本对正配置。并调整环光源的高度，使其发出的光束可以以合适的角度照射到光测样本上。 进入到CCD的光线可能有两部份，一部分来自观测样本的反射光，另一部分来自光源或自然光。为图像采集构建一个封闭空间从而排除外界自然光的干扰，遮光箱体除了可以排除外部光源的干扰，还可以对投射在内壁上的光束反射，从而实现光源光束的有效利用。在该空间内设置的灯罩可以实现光线的柔化，从而削弱由于观测物体的高反射特性形成的镜面效应。 条码图像采集 高质量的条码图像是条码信息获取的可靠保证，关系到条码识读的准确性。 数码相机采集图像受外界环境干扰和操作人员的个人习惯的影响较大具有不可避免的可变性；基于PC的采集系统可以提供相对一致的采集角度和图像清晰度，便于后续的图像处理。 本文在沿用基于PC的机器视觉系统进行图像采集的同时，对其光照条件进行了设定，从而扩大目标物与周围背景特征的对比度，提高图像原始采集质量。

7 研究内容 条码图像采集与条码图像预处理 图像去噪方法 条码图像预处理 条码定位 图像二值化 条码图像预处理过程如下图所示： 中值滤波；
条码图像二值化 中值滤波； 图像去噪方法 通过区域灰度跨度对原始图像进行区域划分（0、1），子区域为1的区域记为条码存在的可疑域；计算各可疑域的周长，从而得到联通域的密集度，选取密集度近似为0.625的区域为DM条码区域； 条码定位 迭代法二值化方法； 图像二值化 1中值滤波方法在保证条码边缘清晰的前提下可以有效滤除图像中的椒盐噪声，此外中值滤波方法还对金属表面微小纹理和污点有很好的消除作用，所以本文也使用中值滤波方法对条码图像进行去噪处理。 2 条码采集结果受光照效果和打标基底表面质量的影响很大，为了保证条码区域特征的准确提取使用自适应阈值法对图像进行边缘检测，之后将图像划分为若干个子区域并将符合条码特征的子区域标记为1，这些标记为1的各连通区域即为条码存在的可疑域。根据子区域的标记结果，计算搁连通域的外围边界总长，从而得到连通域的密集度 。 的区域即为Data Matrix所在区域。 3 综合处理结果，优先选用迭代法对于灰度分布情况相对均匀的金属直接标记条码图像进行二值化。

8 研究内容 条码图像的质量评价 意义：有效控制低质量图像数量，控制条码图像的质量等级， 对问题条码进行区分；对条码图像进行综合质量评价不仅可 以从图像质量方面对标记条码质量进行评价还可以用于指导 激光直接标记条码的工艺参数的选择。 现状：目前涉及到条码的综合指标的判断时一般采用最低单 项指标等级来表示条码的综合等级，但是金属表面质量问题 往往导致条码图像的灰度分布不均和非正常条码纹理，受采 集环境、拍摄距离、角度和光照等条件的限制条码图像存在 失真、倾斜、污损和噪声干扰等问题，因此用单项质量指标 来描述条码整体质量等级的方法存在一定的盲目性。 质量评价方法实施： 指标选择 指标权重计算 综合质量等级计算

9 研究内容 条码图像的质量评价 质量评价方法实施：/指标选择 高质量的条码图像要求：
（1）条码图像标记区域和背景区域有明显的灰度差异，标记 和非标记区域内的灰度分布均匀。- - -对比度 （2）条码图像中模块尺寸均匀，标记区域未出现过标记或欠 标记的情况。- - -印刷增长 （3）理想的Data Matrix条码各模块位于一个正四边形网格内， 条码模块在横向、纵向分布均匀。参考与零件直接标记相关的 标准并结合实验过程中条码图像的具体特点，选择对比度，印 刷增长率和轴向均匀度作为条码图像的评价指标。图3-1所示为 视觉判断质量较好的条码图像。- - -轴向均匀度 指标选择

10 研究内容 条码图像的质量评价 质量评价方法实施：/指标权重计算 指标的权重系数是指某个指标对条码的综合质量判断时所起 的权衡作用的大小。
一方面，针对Data Matrix条码图像的整体质量判断的研究 很少，另一方面，关于各质量指标在机器识别条码过程中对识 别结果的影响规律还没有定量研究，从主观上确定权重系数无 据可循。 CRITIC法不仅考虑了各指标值得变动对权重的影响还考虑 了不同指标间相关性，以评价指标间的对比强度和冲突性为基 础确定指标的客观权数。 - - -最终得到各指标的权重系数 指标选择 指标权重计算

11 研究内容 条码图像的质量评价 质量评价方法实施：/综合质量评价
(1) TOPSIS法借助多指标决策问题的正理想解和负理想解去 排序，利用这种排序结果取代质量评价等级是本文方法的基本 思想。 (2) 设定 m张图片中的各指标数值的最大值作为正理想解， 最小值作为负理想解，条码图像的各指标数值作为该条码属性 解的数值表达，若条码的数值表达距离正理想解较近则条码的 排序较靠前，质量较高；否则，条码图像的质量较低。 0.288 P 1 0.585 P 2 0.125 P 3 N V d + 𝐴 𝑖 d − 𝐴 𝑖 R 𝑖 Ranking A 1 a 11 a 12 n 11 n 12 n 13 v 11 v 12 v 13 A 2 a 21 a 22 a 23 n 21 n 22 n 23 v 21 v 22 v 23 … A 𝑚 a 𝑚1 a 𝑚2 a 𝑚3 n 𝑚1 n 𝑚2 n 𝑚3 v 𝑚1 v 𝑚2 v 𝑚3 max 𝑖 ( a 𝑖𝑗 ) a 𝑢1 a 𝑢2 a 𝑢3 A + A − min 𝑖 ( v 𝑖𝑗 ) 1 v 1 − v 2 − v 3 − TOPSIS决策过程数据列表 指标选择 指标权重计算 综合质量等 级计算

12 研究内容 条码图像的质量评价 质量评价模型应用： （1）同种材质零件表面标记条码图像构成训练集 （2）训练指标的权重系数 （3）计算TOPSIS法中的最优和最差条码属性值，并由条码 图像训练集的相应属性计算等级划分的各临界值。 （4）等级划分临界值确定后，即可直接使用TOPSIS法对规 定材质上的条码图像进行质量评价。 - - - 使用本章所提出综合质量评价体系对两组图像数据进行质 量评价中发现，条码印刷增长率对条码的最终质量等级的影响最 大。

13 研究内容 劣质条码图像信息增强 金属表面直接标记条码图像的缺陷类型有： 灰度分布不均
金属材料表面平整度和光洁度不同，反光效果不同造成背景区域灰度特征差异明显，不通位置背景与标记区域灰度差异不同；后期处理中通常会出现目标区域和标记区域的粘连，背景区域被误判为标记区域。 采用二维二阶项式拟合所得阈值曲面近似代替标记区域和背景区域的分界面，使用近似分界面优化条码图像的灰度分布，从而改善条码的预处理效果。 灰度分布不均 由于金属材料表面的平整度和光洁度不同，未标记区域的反光效果不同，造 成背景区域灰度特征差异明显，表现为局部背景区域灰度值较大或较小，影响图 像的视觉表现效果，造成不同位置的背景与标记区域灰度差异不同，在二者灰度 差异小的子区域无法对背景与标记区域进行分割。 边缘点检测 边缘点完成灰度曲面拟合 背景灰度值估计

14 研究内容 劣质条码图像信息增强 金属表面直接标记条码图像的缺陷类型有： 刮伤划痕
1 使用过程中容易受到高硬度物体的刮蹭从而产生刮伤划痕 2 在对刮伤条码的可读性试验中发现：条码图像对划痕具有一定的容忍度；当划痕达到条码的纠错率极限时造成条码信息提取失败，划痕存在的面积和位置都对条码的正确识读产生影响。 3 本文尝试修复条码图像中的划痕区域，将划痕区域视为图像破损区域，用图像的其他区域进行修复 刮伤划痕 由于金属材料表面的平整度和光洁度不同，未标记区域的反光效果不同，造 成背景区域灰度特征差异明显，表现为局部背景区域灰度值较大或较小，影响图 像的视觉表现效果，造成不同位置的背景与标记区域灰度差异不同，在二者灰度 差异小的子区域无法对背景与标记区域进行分割。 定位待修复区 “剥洋葱”法由外至内修复

15 研究内容 劣质条码图像信息增强 金属表面直接标记条码图像的缺陷类型有： 自适应二值化 最近领域阈值B区二值化 用Otsu全局阈值A区二值化
对于目标和背景区域灰度不均、各处对比度不同的图像，仅采用全局阈值易导致条码信息丢失严重，必须采用全局阈值与局部阈值相结合的思想。 综合考虑条码的全局灰度范围，边界灰度信息与局部灰度变化，针对金属表面激光直接标记 DM 条码图像的处理提出一种将最大类间方差法（Otsu）与最小距离邻域阈值贡献法相结合的自适应二值化方法。 自适应二值化 由于金属材料表面的平整度和光洁度不同，未标记区域的反光效果不同，造 成背景区域灰度特征差异明显，表现为局部背景区域灰度值较大或较小，影响图 像的视觉表现效果，造成不同位置的背景与标记区域灰度差异不同，在二者灰度 差异小的子区域无法对背景与标记区域进行分割。 用Otsu全局阈值A区二值化 最近领域阈值B区二值化 子区域对比度分A\B区

16 研究内容 劣质条码图像的信息增强 自适应二值化方法处理金属表面条码效果 1 图4-9表示了处理金属表面 条码图像的不同方法的效果 对比；
2 表4-2 可以看出新的二值化识 别率最高。实验统计结果还显 示对比度在0.5~0.8之间的条码 图像的处理结果稳定，将传统 方法处理失效的条码的识别率 提高了64.3%

17 研究内容 条码重构 研究背景：经过前文所述的一系列图像处理的条码图像中往 往存在固定结构损坏、局部区域标记信息丢失或背景区域污 染等问题，从而影响条码定位和条码数据信息的提取。 研究目的：剔除不属于条码内容的图像信息部分，修复传统 图像处理造成的条码信息丢失，以标准的模块大小和条码结 构展示条码信息。

18 研究内容 条码重构 重构方法 网格划分 （1）前述方法的缺点：条码图像局部对比度特征较差造成局部 边界消隐从而影响网格划分的结果；
（2）新方法描述：提出用制定波谷结构与条码的行/列灰度值片 段进行卷积，考察相邻行/列像素的响应曲线，当梯度值突变时 认定为有网格线存在； 网格划分的过程中记录网格线所在的行、列，得到两组位置 向量。 网格划分 条码信息重置 固定结构规定化 details

19 研究内容 条码重构 重构方法 条码信息重置 建立与网格划分结果相同结构的位置信息矩阵 建立与网格划分结果相同结构的平均灰度信息矩阵
1，1 1，2 1，3 1，4 1，5 2，1 2，2 2，3 2，4 2，5 3，1 3，2 3，3 3，4 3，5 4，1 4，2 4，3 4，4 4，5 5，1 5，2 5，3 5，4 5，5 重构方法 条码信息重置 建立与网格划分结果相同结构的位置信息矩阵 建立与网格划分结果相同结构的平均灰度信息矩阵 计算各“胞格”（一个网格）与剩余“胞格”之间的灰度差 异性矩阵。 根据某个胞格对应的灰度差异性矩阵之和来进行条码图像二 值信息设定，完成条码信息重置。 网格划分 条码信息重置 固定结构规定化

20 研究内容 条码重构 重构方法 固定结构规定化 首先构建完整的包含静区的固定结构模型
使用模型匹配法，从条码重置结果左上方的角点开始将固定 结构模型与重构结果中相同大小的区域进行匹配，匹配值最 大的位置即为数据区提取的准确位置 截取匹配位置的数据区部分，与固定结构构成完整的二次重 构结果 网格划分 条码信息重置 固定结构规定化

21 研究内容 条码重构 条码重构的效果

22 研究成果 建立了条码综合质量评价模型，将具有足够丰富度的一系列条码图像 输入模型进行计算即可获得条码的综合质量评价库。该综合质量评价 库可以对同种基底材料的条码图像进行等级评价。 提出了一种适用于金属表面直接标记条码图像的二值化方法，有效改 善了对比度低、灰度分布不均、存在金属纹理条码图像的二值化效果。 设计了条码重构方案。网格划分完成“胞格”区域的确定，利用灰度 差异信息完成一次重构，引入 Data Matrix 条码的固定结构信息实 施二次重构。在保证条码的可读性的前提下，完成了条码从灰度图像 到规范、标准图像的转变。

23 课题展望 Data Matrix 条码质量评价指标的扩展问题，本文中仅采用了标准文 献中所提及的三个指标，未涉及其它相关指标的运算。
本文的条码重构方法依赖于单幅条码图像信息，若原始图像中信息缺 失严重则无法保证条码重构的可靠性，因此，需考虑增加条码重构的 信息来源，为条码重构的准确性增加保证。

24 感谢王爱群老师在课题进展中给予的支持和指导
感谢李建美老师，路长厚老师给予的帮助和指导 感谢课题组的老师和同学们的帮助 谢 谢

25 研究背景调查 机器视觉在自动化生产 中的应用 二维码技术的应用 铆钉安装检测 边缘缺陷检测 形状检查 印刷质量检查 药瓶破裂检查

26 新的网格划分方法 图5-3 标记模块的局部灰度片段显 示 图5-4波谷结构与行/列灰度值曲线的响应曲线