元 智 大 學 工 業 工 程 研 究 所 應用機器視覺於方向性紋路 之表面瑕疵檢測.

Presentation on theme: "元 智 大 學 工 業 工 程 研 究 所 應用機器視覺於方向性紋路 之表面瑕疵檢測."— Presentation transcript:

1 元 智 大 學 工 業 工 程 研 究 所 應用機器視覺於方向性紋路 之表面瑕疵檢測

2 紋路的種類 有方向性的紋路（directional texture） 無方向性之隨機紋路（random texture）
灰階變化具有規則性且依特定方向重複的現象，且呈現某些固定方向的結構特徵 如紡織品之經緯或切削加工件之刀紋等 無方向性之隨機紋路（random texture） 不具固定方向性，且隨機分佈於物體表面 例如金屬鑄件

3 舉例

4 本研究的方法 事先並不需要建立紋路的特徵指標，而是藉由傅立葉轉換可以凸顯方向性紋路之週期性特徵的特性，以及反傅立葉轉換之影像還原技術，來進行方向性紋路之表面瑕疵檢測。

5 紋路之圖例 方向性紋路-切削加工件 (a1) 原始影像 (a2) 傅立葉轉換影像

6 紋路之圖例 隨機紋路-金屬鑄件 (b1) 原始影像 (b2) 傅立葉轉換影像

7 各個流程方法之處理結果 (a) 原始影像（ ） (b) 圖(a)之傅立葉轉換影 像（ ） (c) 傅立葉轉換之霍氏累加值直方圖
像（ ） (c) 傅立葉轉換之霍氏累加值直方圖 (d) 高頻譜頻帶（頻帶寬 度 ） (e) 反傅立葉轉換影像 (f) 凸顯瑕疵

8 影像轉換 將原始影像由空間域轉為頻率域的傅立葉頻譜

9 研究方法-傅立葉轉換 (a1) 原始影像 (a2) 傅立葉轉換影像

10 研究方法-霍氏轉換 v ( ) u 原始影像 傅立葉影像

11 高週期分量之方向角度 (1) 非監督式之自動判定法：針對方向性明顯且明確的紋路，如刀紋
(2) 監督式之事先指定參數法：針對方向性不明顯且不明確的紋路，如布紋 原始影像 傅立葉影像

12 去除傅立葉頻譜上寬度為Δω之高功率頻譜頻帶 （本研究中Δω設為15）

13 影像還原 反傅立葉轉換 使得原始影像上具規律性紋路呈現為一致性的影像

14 銑削刀紋紋路之實驗結果 (a1) 無瑕疵之銑削原 始影像（ =28） (a2) 圖(a1)之傅立葉頻譜 (a3) =15之反傅立葉
始影像（ =28） (a2) 圖(a1)之傅立葉頻譜 (a3) =15之反傅立葉 影像（ =8） (a4) 檢測結果影像 (b1) 瑕疵為刮痕之銑削 原始影像（ =32） (b2) 圖(b1)之傅立葉頻譜 (b3) =15之反傅立 葉影像（ =9） (b4) 檢測結果影像

15 刨削刀紋紋路之實驗結果 (a1) 無瑕疵之刨削原 始影像（ =21） (a2) 圖(a1)之傅立葉頻 譜 (a3) =15之反傅立
始影像（ =21） (a2) 圖(a1)之傅立葉頻 譜 (a3) =15之反傅立 葉影像（ =10） (a4) 檢測結果影像 (b1) 瑕疵為刮痕之 刨削原始影像 （ =19） (b2) 圖(b1)之傅立葉頻 譜 (b3) =15之反傅立 葉影像（ =12） (b4) 檢測結果影像

16 布紋紋路之實驗結果 (a1) 無瑕疵之布紋原始 影像（ =10） (a2) 圖(a1)之傅立葉頻 譜 (a3) =15之反傅立
影像（ =10） (a2) 圖(a1)之傅立葉頻 譜 (a3) =15之反傅立 葉影像（ =3） (a4) 檢測結果影像 (b1) 瑕疵為油汙之布紋 原始影像（ =10） (b2) 圖(b1)之傅立葉頻 譜 (b3) =15之反傅立葉 影像（ =7） (b4) 檢測結果影像

17 布紋紋路之實驗結果（續） (c1) 瑕疵為毛球之布紋 原始影像（ =11） (c2) 圖(c1)之傅立葉頻 譜 (c3) =15之反傅立葉
原始影像（ =11） (c2) 圖(c1)之傅立葉頻 譜 (c3) =15之反傅立葉 影像（ =4） (c4) 檢測結果影像 (d1) 瑕疵為脫線之布紋 原始影像（ =11） (d2) 圖(d1)之傅立葉頻 譜 (d3) =15之反傅立葉 影像（ =4） (d4) 檢測結果影像

18 木紋紋路之實驗結果 (a1) 無瑕疵之木紋原始 影像（ =10） (a2) 圖(a1)之傅立葉頻譜 (a3) =15之反傅立葉
影像（ =10） (a2) 圖(a1)之傅立葉頻譜 (a3) =15之反傅立葉 影像（ =5） (a4) 檢測結果影像 (b1) 瑕疵為壓痕之木紋 原始影像（ =11） (b2) 圖(b1)之傅立葉頻 譜 (b3) =15之反傅立葉 影像（ =6） (b4) 檢測結果影像

19 木紋紋路之實驗結果（續） (c1) 瑕疵為頭髮之木紋 原始影像（不同方 向）（ =10） (c2) 圖(c1)之傅立葉頻 譜
向）（ =10） (c2) 圖(c1)之傅立葉頻 譜 (c3) =15之反傅立葉 影像（ =6） (c4) 檢測結果影像 (d1) 瑕疵為頭髮之木紋 原始影像（同方向 ）（ =10） (d2) 圖(d1)之傅立葉頻 譜 (d3) =15之反傅立葉 影像（ =6） (d4) 檢測結果影像

20 元智大學工業工程與管理研究所 應用機器視覺於隨機性紋路表面 之瑕疵檢測 研究生：黃哲韻 指導教授：蔡篤銘 博士

21 隨機性紋路在傅立葉頻譜上的特性 傅立葉頻譜上的每個頻率元素（Frequency components）的能量（功率）以灰階表示，能量愈高則灰階愈白。 頻率元素（Frequency components）之功率會呈環狀的無方向性分布。 高功率強度的頻率元素會集中分布於中心點附近。 功率強度會隨著環狀半徑的增大而遞減。 (a) 隨機性紋路影像 (b) 影像經正傅立葉轉換之頻譜 (c) 圖(b)之水平能量剖面圖

22 傅立葉頻譜的3D 能量圖 (a1) 無瑕疵紋路影像 (a2) (a1)之影像轉換 (a3) (a2)之3D 能量圖 (b1) 有瑕疵紋路影像
(b2) (b1)之影像轉換 (b3) (b2)之3D 能量圖

23 研 究 目 的 本研究提供一個應用於隨機性紋路表面的瑕疵檢測方法，利用影像轉換及影像還原的技術來去除具規律性之隨機紋路的特徵，而不需透過擷取紋路指標的方式來進行瑕疵檢測。

24 研 究 範 疇 瑕疵檢測的紋路只限於具同質性（Homogeneity）的隨機性紋路。
同質性是指紋路必須能代表規則紋路之自我相似性（self-similarity）和重複性（repetitiveness）等特徵；反之則為異質性（Heterogeneity）。 (a) 同質性（homogeneity） (b) 異質性（Heterogeneity）

25 影像轉換 將原始影像由空間域轉為頻率域的傅立葉頻譜

26 最佳半徑的選取(1) 計算每個環形半徑的平均能量值
每個環形半徑對應在傅立葉頻譜上的位置 影像大小： 待測影像的每個環形的能量平均值： 半徑為 之環形上的總點數： 頻率元素的功率強度（能量）： 傅立葉頻譜上的座標 中心點的座標 平均能量圖

27 最佳半徑的選取(2) 選擇曲率最大時的半徑來決定最佳的半徑發生的地方
(a1) 無瑕疵紋路影像 (a2) (a1)之影像轉換 瑕疵貢獻能量較多的範圍 defect-free texture defective texture 轉折點 (最大曲率發生的位置) 無瑕疵與有瑕疵紋路之 平均能量圖 (a1) 無瑕疵紋路影像 (b1) 有瑕疵紋路影像 (b2) (b1)之影像轉換

28 最大曲率 影像大小 間距： （註：本研究將 設為2） 半徑 在 平均能量圖中的斜率角度： 半徑在平均能量圖中的曲率： 最大曲率的最佳半徑：

29 四種可能去除隨機性紋路的策略 去除中心點 去除最佳半徑以內之頻率元素 去除最佳半徑以外的頻率元素（不含去除中心點）
去除中心點與最佳半徑以外的頻率元素

30 1.去除中心點 隨機性紋路特徵仍存在於影像之中 僅去除中心點之頻率元素是無法有效去除規律性紋路 (a2) (a1) 去除中心點的頻率元素
(b1) 有瑕疵紋路影像 (b2) (b1) 去除中心點的頻率元素 (b3) (b2)的影像還原

31 2.去除最佳半徑以內 之頻率元素 已明顯減少規律性之紋路 同時將瑕疵刪除而無法有效凸顯異常區域 (a2) (a1)去除最佳半徑以內的頻率元素
(b1) 有瑕疵紋路影像 (b2) (b1)去除最佳半徑以內的頻率元素 (b3) (b2)的影像還原

32 3.去除最佳半徑以外的頻率元素（不含去除中心點）
紋路特徵已變模糊 (a2) (a1)去除最佳半徑以外的頻率元素（不包含中心點） (a1) 無瑕疵紋路影像 (a3) (a2)的影像還原 但仍殘留少部份之紋路圖樣 (b2) (b1)去除最佳半徑以外的頻率元素（不包含中心點） (b1) 有瑕疵紋路影像 (b3) (b2)的影像還原

33 4.去除中心點與最佳半徑以外 的頻率元素（本研究採用策略4）
規律性隨機紋路特徵已趨近於一致性 (a2) (a1)去除中心點與最佳半徑以外的頻率元素 (a1) 無瑕疵紋路影像 (a3) (a2)的影像還原 強化瑕疵與背景之對比，且凸顯出異常區域的瑕疵 (b2) (b1)去除中心點與最佳半徑以外的頻率元素 (b1) 有瑕疵紋路影像 (b3) (b2)的影像還原

34 影像還原 反傅立葉轉換 使得原始影像上具規律性紋路呈現為一致性的影像 其中

35 最佳半徑 的敏感度(1) (a)隨機性紋路 (b) r= 7 (c) r= 8 (d) r= 9 (e) r= 10
最佳半徑 的敏感度(1) (a)隨機性紋路 (b) r= 7 (c) r= 8 (d) r= 9 (e) r= 10 (f) 最佳半徑= 11 (g) r= 12 (h) r= 13 (i) r= 25 (j) r= 30

36 最佳半徑 的敏感度(2) 最佳半徑 在1~5 像素點的變動內敏感度不高 (a) 隨機性紋路 (b) r= 7 (c) r= 10
最佳半徑 的敏感度(2) 最佳半徑 在1~5 像素點的變動內敏感度不高 (a) 隨機性紋路 (b) r= 7 (c) r= 10 (d) r= 16 (e) r= 17 (f) 最佳半徑= 18 (g) r= 19 (h) r= 20 (i) r= 25 (j) r= 30

37 二值化影像分割 使用管制界限法來區隔出還原影像中的瑕疵與背景，使得瑕疵凸顯出來。 反傅立葉轉換影像上所有像素點灰階值 的平均值 及標準差
反傅立葉轉換影像上所有像素點灰階值 的平均值 及標準差 實驗結果建議檢測參數 k = 5

38 表面瑕疵檢測的結果 砂紙紋路 (a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 11)
(a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 11) (a4) 檢測結果影像 (k=5) (b1) 有瑕疵之紋路 影像 (b2) (b1)之傅立葉頻譜 (b3) 反傅立葉影像 (r = 13) (b4) 檢測結果影像 (k=5)

39 表面瑕疵檢測的結果 皮革紋路 (a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 11)
(k=5) (b1) 有瑕疵之紋路 影像 (b2) (b1)之傅立葉頻譜 (b3) 反傅立葉影像 (r = 18) (b4) 檢測結果影像 (k=5)

40 表面瑕疵檢測的結果 軟木塞紋路 (a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 12)
(a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 12) (a4) 檢測結果影像 (k=5) (b1) 有瑕疵之紋路 影像 (b2) (b1)之傅立葉頻譜 (b3) 反傅立葉影像 (r = 11) (b4) 檢測結果影像 (k=5)

41 表面瑕疵檢測的結果 鑄件紋路 (a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 17)
(a1) 無瑕疵之紋路 影像 (a2) (a1)之傅立葉頻譜 (a3) 反傅立葉影像 (r = 17) (a4) 檢測結果影像 (k=5) (b1) 有瑕疵之紋路 影像 (b2) (b1)之傅立葉頻譜 (b3) 反傅立葉影像 (r = 11) (b4) 檢測結果影像 (k=5)