元 智 大 學 工 業 工 程 研 究 所 以資訊理論為基之PCB金屬 表面自動瑕疵檢測.

Presentation on theme: "元 智 大 學 工 業 工 程 研 究 所 以資訊理論為基之PCB金屬 表面自動瑕疵檢測."— Presentation transcript:

1 元 智 大 學 工 業 工 程 研 究 所 以資訊理論為基之PCB金屬 表面自動瑕疵檢測

2 研 究 動 機 目前PCB表面瑕疵檢測系統 本研究利用彩色影像資訊對PCB電鍍表面進行 瑕疵檢測 針對線路幾何瑕疵檢測與表面黏著錫點檢測
大多利用灰階影像資訊進行檢測 甚少對電鍍表面進行瑕疵檢測工作 本研究利用彩色影像資訊對PCB電鍍表面進行 瑕疵檢測

3 金手指瑕疵分類簡介 顏色變異瑕疵 結構變異瑕疵 凹陷瑕疵 針點狀凹陷瑕疵 破洞瑕疵 邊緣受損瑕疵 刮傷瑕疵 露銅瑕疵 氧化瑕疵 粗糙瑕疵
結塊瑕疵 刮傷露銅瑕疵

4 研究範疇與限制 在一PCB影像中，假設金手指檢測區域為已知的， 僅針對檢測區域利用彩色機器視覺進行表面紋路的
資訊內涵分析，不考慮影像分割問題。 影像中相鄰7根金手指進行檢測工作，每一根 金手指檢測範圍︰ 水平方向︰45像素點 垂直方向︰120像素點

5 色彩模型 彩色影像比灰階影像更能呈現影像資訊，對瑕疵具較佳的凸顯效果，因此本研究採用彩色影像資訊之色彩特徵與熵演算法結合進行瑕疵檢測工作。
(a) 彩色瑕疵影像 (b) 灰階瑕疵影像 彩色影像比灰階影像更能呈現影像資訊，對瑕疵具較佳的凸顯效果，因此本研究採用彩色影像資訊之色彩特徵與熵演算法結合進行瑕疵檢測工作。 本研究中所使用的色彩模型：  LAB色彩模型  LUV色彩模型  色彩模型

6 選用（a*, b*）雙色彩特徵進行熵檢測計算
色彩模型---CIE-LAB色彩模型  L*代表亮度、a*代表紅色-綠色的成份、 b*代表黃 色-藍色的成份。 ； ； ； 選用（a*, b*）雙色彩特徵進行熵檢測計算

7 選用（u*, v*）雙色彩特徵進行熵檢測計算
色彩模型---CIE-LUV色彩模型  L*代表亮度、u*代表紅色-綠色的成份、v*代表黃色- 藍色的成份。 代表標準白色的量測值 選用（u*, v*）雙色彩特徵進行熵檢測計算

8 色彩模型--- 色彩模型 簡單的線性關係 擁有類似K-L（Karhunen-Loeve）轉換（RGB共變異 矩陣）的效果
色彩模型 色彩模型 簡單的線性關係 擁有類似K-L（Karhunen-Loeve）轉換（RGB共變異 矩陣）的效果 ︰代表亮度分量 ︰代表顏色的變異 ︰代表跟平均色的誤差 選用（I2, I3）雙色彩特徵進行熵檢測計算

9 研 究 方 法  衡量色彩變異 紋路之方向角與熵之結合( )
本研究針對PCB金手指（edge connector）紋路表面進行瑕疵檢測，利用衡量紋路的規則性與一致性進行紋路分析，其中涵蓋的熵值有︰  衡量色彩變異  單一色彩特徵與熵之結合( )  雙色彩特徵與熵之結合( )  衡量結構變異 紋路之方向角與熵之結合( ) 色彩變異瑕疵 結構變異瑕疵

10 熵演算法 資訊理論中評估資訊內函複雜度的量化衡量指標，定義如下︰ 指訊號 發生之機率。應用在影像分析上︰ 特性︰ 愈大︰影像資訊愈複雜
指訊號 發生之機率。應用在影像分析上︰  當 ，該影像灰階是完美一致的（perfectly uniform）， 所計算的熵具有最小值0  當 ，表示該影像是極複雜的(extremely complex)， 所計算的熵具有最大值。 特性︰ 愈大︰影像資訊愈複雜 愈小︰影像資訊愈單純

11 單一色彩特徵值檢測 利用單一色相特徵之熵（ ）檢測法定義如下︰ 其中 影像中像素點落在區間 之數目 色彩特徵之第 個區間
利用單一色相特徵之熵（ ）檢測法定義如下︰ 其中 影像中像素點落在區間 之數目 色彩特徵之第 個區間 將色彩特徵劃分為 個等距區間 影像大小 單一色彩特徵值指標 示意圖

12 雙色彩特徵值檢測 使用雙色相特徵之熵（ ）檢測法定義如下︰ 其中 雙色彩特徵值選用定義表 影像中像素點落在區間 與 之像素點數目
使用雙色相特徵之熵（ ）檢測法定義如下︰ 其中 雙色彩特徵值選用定義表 影像中像素點落在區間 與 之像素點數目 色彩特徵 之第 個區間，與色彩特徵 之第 個區間 分別將色彩特徵 與 劃分為 個與 個等距區間 影像大小

13 雙色彩特徵值檢測 雙色彩特徵值指標 示意圖

14 色彩規則性量測 比 有顯著之區分效果

15 方向規則性檢測  梯度向量︰利用索貝爾運算子（Sobel operator）進行 像素點（x, y）紋路方向角度的計算，計算 法如下︰
其中 為像素點 之 特定色彩特徵值，本研究採HIS色彩模型之亮度色彩 特徵( )

16 方向規則性檢測  熵檢測︰方向規則性檢測的定義如下 其中 影像中方向角度在區間 時發生的次數 =表示檢測影像中所有邊緣點數目和

17 方向規則性量測 無方向性紋路與單一方向性紋路之熵（ ）值有明顯區分效果

18 彩色影像瑕疵檢測---( ) 以LUV色彩模型中之（u*,v*)二特徵值指標對金手指表面破洞瑕疵進行熵（ ）檢測
彩色影像瑕疵檢測---( ) 以LUV色彩模型中之（u*,v*)二特徵值指標對金手指表面破洞瑕疵進行熵（ ）檢測 (b) 以(u*,v*)二特徵值 指標進行熵檢測結果 (a) 待測瑕疵影像

19 彩色影像瑕疵檢測---( ) 檢測範圍的所有熵（ ）值，瑕疵部份的熵值，會遠高於正常部份的熵值。 (b) 待測瑕疵影像
彩色影像瑕疵檢測---( ) 檢測範圍的所有熵（ ）值，瑕疵部份的熵值，會遠高於正常部份的熵值。 (b) 待測瑕疵影像 (a) 熵3D分佈圖，突起部份為瑕疵部份

20 彩色影像瑕疵檢測---( ) 以HIS色彩模型亮度特徵值( )指標對金手指表面刮傷瑕疵進行熵（ ）檢測 (a) 待測瑕疵影像
彩色影像瑕疵檢測---( ) 以HIS色彩模型亮度特徵值( )指標對金手指表面刮傷瑕疵進行熵（ ）檢測 (a) 待測瑕疵影像 (b) 以HIS色彩模型亮度特徵值進行熵（ ）檢測結果

21 彩色影像瑕疵檢測---( ) 檢測範圍的所有熵（ ）值，瑕疵部份的熵值，會遠高於正常部份的熵值。 (b) 待測瑕疵影像
彩色影像瑕疵檢測---( ) 檢測範圍的所有熵（ ）值，瑕疵部份的熵值，會遠高於正常部份的熵值。 (b) 待測瑕疵影像 (a) 熵3D分佈圖，凸起部份為瑕疵部份

22 變動檢測視窗大小對金手指表面瑕疵檢測的影響
視窗大小敏感度分析 (a) 原始瑕疵影像 (b) (c) (d) (e) (f) 變動檢測視窗大小對金手指表面瑕疵檢測的影響

23 色彩變異瑕疵檢測範例 (1) (a) 原始待測瑕疵影像 (b) 利用 進行檢測 (c) 採用（a*, b*）雙色彩特徵進行 檢測
(d) 採用（u*, v*）雙色彩特徵進行 檢測 (e) 採用（I2, I3）雙色彩特徵進行 檢測

24 結構變異瑕疵檢測範例(1) (a) 原始待測瑕疵影像 (b) 利用 進行檢測 (c) 採用（a*, b*）雙色彩特徵進行 檢測
(d) 採用（u*, v*）雙色彩特徵進行 檢測 (e) 採用（I2, I3）雙色彩特徵進行 檢測

25 大範圍粗糙瑕疵之檢測 (c)檢測結果 (a)無瑕疵影像 (b)大範圍粗糙瑕疵影像 金手指 Mean Std 1 0.07 0.09 2
0.28 3 0.53 0.46 4 0.40 5 0.26 0.29 6 0.15 0.16 7 0.19 金手指 Mean Std 1 1.50 0.67 2 1.22 0.63 3 1.00 0.62 4 1.27 0.78 5 0.73 6 1.37 0.74 7 1.61 0.60

26 色彩變異瑕疵檢測範例(3) (a) 原始待測瑕疵影像 (b) 利用 進行檢測 (c) 採用（a*, b*）雙色彩特徵進行 檢測
(d) 採用（u*, v*）雙色彩特徵進行 檢測 (e) 採用（I2, I3）雙色彩特徵進行 檢測

27 灰階影像與彩色影像之檢測 彩色影像提供了R、G、B三種色彩資訊，比起灰階影像所能提供的影像資訊（gray-value）多
原始待測瑕疵彩色影像 原始待測瑕疵灰階影像 利用（u*, v*）二色彩特徵指標進行熵（ ）檢測之結果 利用灰階資訊檢測之結果 利用二極化呈現之結果

28 非金手指瑕疵檢測（紡織品） (a1) 原始瑕疵影像（沾色） (b1) 原始瑕疵影像（脫線） (c1) 原始瑕疵影像（污染）
(a2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (b2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (c2) 採用（u*, v*）雙色彩特 徵進行 檢測結果

29 非金手指瑕疵檢測（紙製品） (a1) 原始瑕疵影像（沾色 ） (b1) 原始瑕疵影像（刮傷） (c1) 原始瑕疵影像（凹陷）
(a2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (b2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (c2) 採用（u*, v*）雙色彩特 徵進行 檢測結果

30 非金手指瑕疵檢測 （紙製品與金屬切削工件） (a1) 原始瑕疵影像（戳傷） (b1) 原始瑕疵影像（材質異常 ）
(c1) 原始瑕疵影像（刮傷） (a2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (b2) 採用（u*, v*）雙色彩特 徵進行 檢測結果 (c2) 採用（u*, v*）雙色彩特 徵進行 檢測結果

31 檢測實驗統計分析 誤判率（Type Ⅰ error）:不具瑕疵，卻被誤判的樣本 漏檢率（Type Ⅱ error）:具有瑕疵而漏檢的樣本
檢測結果統計表（k=2，以每根金手指為單位） 總檢測樣本數 瑕疵樣本數 漏檢樣本數 漏檢率 （Type Ⅱ error） 406 159 6 3.77％ 無瑕疵樣本數 誤判樣本數 誤判率 （Type Ⅰ error） 247 2 0.81％ 檢測結果統計表（k=2.5，以每根金手指為單位） 總檢測樣本數 瑕疵樣本數 漏檢樣本數 漏檢率 （Type Ⅱ error） 406 159 21 13.20％ 無瑕疵樣本數 誤判樣本數 誤判率 （Type Ⅰ error） 247