元 智 大 學 工 業 工 程 研 究 所 應用於紋路分析之最佳賈柏過濾器設計
研 究 目 的 瑕疵檢測及紋路異常檢測 檢測紋路表面是否有發生瑕疵以及異常紋路存 在。 多紋路分割 將多紋路影像分解成若干個子區域,每個子區 檢測紋路表面是否有發生瑕疵以及異常紋路存 在。 多紋路分割 將多紋路影像分解成若干個子區域,每個子區 域對應一種紋路,並可以此方法進行紋路分類。
研 究 方 法 本研究最主要是要擷取代表紋路的最佳能量,使用的是以旋積(convolution)的方法,一般旋積的表示法為 f(x,y)為紋路之灰階影像,h(x,y)為轉換函數,本研究之 h(x,y) 利用賈柏轉換法(Gabor transform)設計而來。
賈 柏 轉 換 法 賈柏轉換法(Gabor transform)是由一個繁複的非線性方程式所構成,在轉換式裡包含三個參數,頻率(frequency)ψ,相角(orientation)θ,及帶寬(bandwidth)σ,將轉換法定義如下: ,
賈 柏 轉 換 法 為一複數,可寫為 包含 實部: 虛部:
賈 柏 轉 換 法 接著以賈柏函數Gσ ,ψ,θ(x,y)對影像 f(x,y)做旋積,其表示法如下: G(x,y)實部部份: 其中 k 決定Gabor filter之視窗大小為M×M, M = 2k+1。
賈 柏 轉 換 法 影像中像素點(x , y)之能量(Energy)定義如下: 求取影像 f(x,y)之能量E(x,y)的最佳值,便以 所得之解 ψ、θ、σ 設計一個視窗為M×M的最 佳Gabor filter。
文 獻 探 討 本研究最主要是著重於Gabor filters 的設計,因此在此探討以前學者所使用之方法: Jain and Chen在 Gabor filter 的設計上,將高斯函數之帶寬參數σ當成已知值,而ψ、θ的決定以如下之方法進行配對:
目 標 函 數 之 設 計 ---紋路上瑕疵區的檢測 視窗,所取的視窗大小要能表現出紋路的重複性,根 首先在標準紋路影像上任意取一個 M×M pixels 的 視窗,所取的視窗大小要能表現出紋路的重複性,根 據前述賈柏轉換法最佳能量的計算方式,在瑕疵區檢 測上,求其最小能量值
目 標 函 數 之 設 計 ---紋路上瑕疵區的檢測 因此 在檢測正常紋路影像,E(x,y) 0, 而瑕疵(異常)紋路,E(x,y) >0 因此便可利用此能量差異以檢測出紋路上之瑕疵。
實驗結果與討論 ---瑕疵檢測之效果 本研究在瑕疵檢測樣本的選擇上,主要分為方 向性紋路及隨機性紋路, 實驗結果與討論 ---瑕疵檢測之效果 本研究在瑕疵檢測樣本的選擇上,主要分為方 向性紋路及隨機性紋路, 1、方向性紋路:人工紋路、布紋及銑削和刨 削紋路。 2、隨機性紋路:沙紙紋路及皮革紋路
實驗結果與討論 ---瑕疵檢測結論 從原始影像經過賈柏轉換法(Gabor transform) 處理後所得之3D能量圖可看出,由求目標函數最 小能量值所得之參數( ψ、θ、σ )所設計出之 賈柏過濾器,在有瑕疵點存在之處,其能量值異 常的偏高,能量灰階圖亦有一明顯的白點存在, 因此目標函數之設計運用在瑕疵檢測為一可行之 方法。
瑕疵檢測之效果 1.1、方向性紋路-----在人工紋路瑕疵檢測方面 以65×65檢測人工紋路之瑕疵 檢測人工紋路之瑕疵所顯示之 能量灰階值 x y E 以65×65檢測人工紋路之瑕疵 檢測人工紋路之瑕疵所顯示之 能量灰階值 檢測人工紋路之瑕疵所顯示之3D能量分布圖
瑕疵檢測之效果 1.2、方向性紋路-----在布紋脫線檢測方面 以65×65檢測布紋脫線之瑕疵 檢測布紋之瑕疵所得之能量 灰階圖 以65×65檢測布紋脫線之瑕疵 檢測布紋之瑕疵所得之能量 灰階圖 y x E 布紋瑕疵檢測所顯示之3D能量分布圖
瑕疵檢測之效果 脫線 y x E 布紋瑕疵檢測所顯示之3D能量分布圖 以65×65檢測布紋脫線之瑕疵 檢測布紋之瑕疵所得之能量 灰階圖
瑕疵檢測之效果 1.3、方向性紋路-----在銑削工件刮痕檢測方面 以65×65檢測銑削工件之刮痕 檢測銑削工件刮痕所得之能量 灰階值 y x E 以65×65檢測銑削工件之刮痕 檢測銑削工件刮痕所得之能量 灰階值 銑削工件刮痕檢測所得之3D能量分布圖
瑕疵檢測之效果 2.1、隨機性紋路-----在皮革刮痕檢測方面 以65×65檢測皮革之刮痕 檢測皮革刮痕所得之能量 灰階值 以65×65檢測皮革之刮痕 檢測皮革刮痕所得之能量 灰階值 皮革刮痕檢測所得之3D能量分布圖 x
瑕疵檢測之效果 2.2、隨機性紋路-----在沙紙刮痕檢測方面 以65×65檢測沙紙之刮痕 檢測沙紙刮痕所得之能量 灰階值 以65×65檢測沙紙之刮痕 檢測沙紙刮痕所得之能量 灰階值 x y E 沙紙刮痕檢測所得之3D能量分布圖
視窗靈敏度分析 65×65 pixels所檢測出之瑕疵 53×53 pixels所檢測出之瑕疵 脫線 65×65 pixels所檢測出之瑕疵 53×53 pixels所檢測出之瑕疵 有瑕疵之原始布紋(脫線) 41×41 pixels所檢測出之瑕疵 25×25 pixels所檢測出之瑕疵
光源變化對賈柏轉換法的影響 標準紋路特徵值之原始影像 檢測布紋脫線所得之能量 光源改變2(暗) 光源改變2檢測所得之能量 灰階圖。 標準紋路特徵值之原始影像 檢測布紋脫線所得之能量 光源改變2(暗) 光源改變2檢測所得之能量 灰階圖。 (訓練用) 灰階圖。 光源改變1(亮) 光源改變1檢測所得之能量 灰階圖。
元智大學工業工程研究所 彩色紋路之表面瑕疵檢測 學 生:黃國唐 指導教授:蔡篤銘 博士
研究動機 以彩色技術進行瑕疵檢測時,一般是使用色彩分割(color segmentation)的技術,但當瑕疵與正常規則紋路顏色相同時,色彩分割的技術則無法區分瑕疵與正常規則紋路。例如 毛衣之脫線瑕疵
研究動機 由於傳統灰階影像在瑕疵檢測的應用上,當瑕疵的空間位置、灰階分佈與表面之規則紋路都一致時,則無法凸顯出瑕疵。 (a)彩色影像 (b) (a)圖之灰階影像
傳統賈柏轉換法 傳統賈柏轉換法為使用影像之灰階值 與賈柏轉換法 旋積(convolution)而得之能量值 進行紋路分析,可定義為 可表示為 傳統賈柏轉換法為使用影像之灰階值 與賈柏轉換法 旋積(convolution)而得之能量值 進行紋路分析,可定義為 可表示為 其中 表示複數的模數(modulus), 為旋積之運算。
色彩模型–LAB色彩模型 優點:具有均勻色差空間 UCS (Uniform chromaticity color space)的特性,和人類的視覺經驗最為相似。 代表亮度 代表紅色-綠色的成分 代表黃色-藍色的成分 可修正為 代表飽和度(Saturation) 代表色相(Hue) 本研究採用 和 兩個色彩特徵代表影像之色彩資訊
色彩模型–Drg色彩模型 優點:彩色邊緣偵測能力優於RGB模型。 代表亮度 R值對D正規化的特徵值 G值對D正規化的特徵值
彩色賈柏轉換法 依據傳統賈柏轉換從彩色影像的色彩模型(color model) 中取兩個主要色彩特徵(color features),令一個為實部 (real part),另一個為虛部(imaginary part),兩個色 彩特徵組合成一複數形式來取代灰階影像的灰階值。 令 和 代表彩色影像中像素點的兩個色彩特徵值。本研究選擇與亮度無關的色彩特徵代表紋路之色彩資訊,例如Drg色彩模型中 與 ,組合成 或 之複數形式。
彩色賈柏轉換法 而彩色賈柏轉換可定義為 Ç 其中 的定義如同傳統賈柏轉換法, Ç 為一複數。 實部: Ç 虛部: Ç
彩色賈柏轉換 影像中像素點 在W W 視窗中之彩色能量 的定義為 Ç 求取代表標準紋路影像之彩色能量 的最佳賈柏參數值 ,接著以此最佳賈柏參數值設計一個視窗為W W 的最佳賈柏過濾器(Gabor filter),進行 彩色紋路之瑕疵檢測。
瑕疵檢測之目標函數設計Ⅰ: 首先在標準紋路影像上任意取一個 W W pixels 的視窗,所取的視窗大小要能表現出紋路的重複性,求其最小能量值,即 Ç Min s.t. 的最大值設為標準視窗之邊長。因為賈柏參數值的些微跳動對彩色能量值並不敏感,所以本研究將賈柏參數 值的解析度(resolution)設為1。
瑕疵檢測之目標函數設計Ⅱ: 為了使所擷取之標準規則紋路的特徵更為平滑(smooth) ,可同時擷取多個訓練視窗代表標準規則紋路之特徵。 令 表示標準紋路中第i個樣本(視窗)的彩色能量值,n個訓練視窗之目標函數可定義為
瑕疵檢測之目標函數設計(續) 由於 為一個大於零的正值。 所以在檢測正常紋路影像, , 而瑕疵(異常)紋路, 由於 為一個大於零的正值。 所以在檢測正常紋路影像, , 而瑕疵(異常)紋路, 因此便可利用此能量差異以檢測出紋路上之瑕疵。
訓練視窗大小為6565 訓練視窗大小為5353 瑕疵影像 訓練視窗大小為4141 訓練視窗大小為2525
訓練視窗大小為6565 訓練視窗大小為5353 瑕疵影像 訓練視窗大小為4141 訓練視窗大小為2525
正常光源之影像(訓練) 光源變亮之影像 光源變暗之影像 正常光源檢測所得之 能量灰階圖 光源變亮檢測所得之 能量灰階圖 光源變暗檢測所得之 能量灰階圖
正常光源之影像(訓練) 光源變亮之影像 光源變暗之影像 正常光源檢測所得之 能量灰階圖 光源變亮檢測所得之 能量灰階圖 光源變暗檢測所得之 能量灰階圖
訓練視窗 瑕疵影像 使用 與 進行瑕疵檢測之灰階能量圖 無瑕疵影像 無瑕疵影像之檢測結果 使用 與 進行瑕疵檢測之灰階能量圖
訓練視窗 無瑕疵影像 瑕疵影像 檢測無瑕疵影像 之灰階能量圖 檢測瑕疵影像 之灰階能量圖 測試視窗
以色彩特徵 與目標函數為 進行紡織品瑕疵檢測結果之3D能量圖
訓練視窗 瑕疵影像 使用 與 進行瑕疵檢測之灰階能量圖 無瑕疵影像 無瑕疵影像之檢測結果 使用 與 進行瑕疵檢測之灰階能量圖
使用 與 進行瑕疵檢測之灰階能量圖 使用 與 進行瑕疵檢測之灰階能量圖 使用 與 進行瑕疵檢測之灰階能量圖 使用 與 進行瑕疵檢測之灰階能量圖 使用 與 進行瑕疵檢測之灰階能量圖 使用 與 進行瑕疵檢測之灰階能量圖
以色彩特徵 與目標函數為 進行紡織品瑕疵檢測結果之3D能量圖