Noise in Image Processing Graduate Institute of Photonics and Optoelectronics National Taiwan University (台大光電所) r04941126 Yi-Li Duan (段以利)

Outline ※ 什麼是雜訊(noise) ※ 雜訊(noise)的類型 ※ 去除雜訊(noise)的方法 ※ 去除影像上的模糊 * 鹽和胡椒雜訊 (Salt and Pepper Noise ) * 高斯雜訊 (Gaussian Noise ) * 斑點雜訊 (Speckle Noise ) * 週期性雜訊 (Periodic Noise ) ※ 去除雜訊(noise)的方法 * 空間濾波 * 頻率域濾波 ※ 去除影像上的模糊 * 反轉濾波 * Wiener濾波 ※ Future Work

什麼是雜訊(noise) 因為外來干擾而造成任何形式的影像訊號劣化，都可稱為雜訊(noise)。若影像經由電子方式，透過衛星或無限傳播或網路電纜，由一地傳到另一地，影像訊號就可能會產生錯誤。錯誤顯示在輸出影像上的形式，會依照訊號所受干擾的類型而有所不同。一般都可以分析出會發生何種錯誤，影像會出現哪一種類型的雜訊，因此可以選擇最適合的方法來去除雜訊。 去除影像雜訊是影像復原技術中重要的一環。

雜訊(noise)的類型 ※ 鹽和胡椒雜訊 (Salt and Pepper Noise ) ※ 高斯雜訊 (Gaussian Noise ) ※ 斑點雜訊 (Speckle Noise ) ※ 週期性雜訊 (Periodic Noise )

gray RGB

RGB gray

Salt and Pepper Noise also called Impulse Noise Shot Noise Binary Noise 通常是因為影像訊號 受到突如其來的強烈 干擾而產生。 呈現方式是整個影像 任意散佈黑色或白色 (或兩者皆有)的像素。 可調參數：受到干擾的像素百分比

Gaussian noise 是white noise的理想型態，是由訊號中隨機的擾動而造成。 white noise最常見於頻道未調好的電視螢幕。 高斯雜訊是呈常態分佈的白雜訊。 影像I (矩陣I之元素為影像的像素值) 高斯雜訊N (矩陣N的元素呈常態分佈) I+N 便可得到有雜訊的影像 可調參數：雜訊的平均值與變異數

Salt and Pepper Noise, also called Impulse Noise or Shot Noise or Binary Noise

Gaussian noise (平均值為0，變異數為0.01)

可調參數：N(常態分佈)的平均值與變異數 影像的像素值加上亂數數值可產生高斯雜訊， 而影像的像素值乘上亂數數值則會產生斑點雜訊(speckle noise)，因此斑點雜訊又可稱為乘積雜訊(multiplicative noise)。斑點雜訊對雷達應用來說一直是主要問題的所在。 影像I (矩陣I之元素為影像的像素值) 高斯雜訊N (矩陣N的元素呈常態分佈) I(1+N) 便可得到有雜訊的影像 可調參數：N(常態分佈)的平均值與變異數

斑點雜訊(speckle noise)，乘積雜訊(multiplicative noise)。

週期性雜訊(periodic noise)，呈現方式是影像上出現條狀效果。 tw1=imread('yb.jpg'); t1=rgb2gray(tw1); s1 = size(t1); [x1,y1]=meshgrid(1:s1(1),1:s1(2)); x12=x1'; y12=y1'; p1=sin(x12/3+y12/5)+1; size(p1) t1_pn=(im2double(t1)+p1/2)/2; figure(); imshow(t1_pn);

週期性雜訊(periodic noise)，呈現方式是影像上出現條狀效果。

去除雜訊(noise)的方法 ※ 鹽和胡椒雜訊 (Salt and Pepper Noise ) ※ 高斯雜訊 (Gaussian Noise ) ※ 斑點雜訊 (Speckle Noise ) 空間濾波 ※ 週期性雜訊 (Periodic Noise ) 頻率域濾波

去除鹽和胡椒雜訊 受到鹽和胡椒雜訊干擾的像素屬於影像的高頻部分，可用中位數濾波(median filtering)或排序濾波(rank-order filtering) 的方法去除這些雜訊。

10%受干擾 使用3x3中位數濾波

t1_sp2=imnoise(t1,'salt & pepper',0.2); figure(); imshow(t1_sp2); 去除鹽和胡椒雜訊 中位數濾波(median filtering) t1_sp2=imnoise(t1,'salt & pepper',0.2); figure(); imshow(t1_sp2); t1_sp_m3=medfilt2(t1_sp2,[5 5]); imshow(t1_sp_m3);

20%受干擾 使用3x3中位數濾波

20%受干擾 使用5x5中位數濾波

去除鹽和胡椒雜訊 歧異點(outliers) 像素灰階值和鄰域像素特別不同 優點：計算速度比中位數濾波快 缺點：效果比不上中位數濾波

去除高斯雜訊 受到高斯雜訊干擾的影像，可用影像平均法或平均濾波或可適性濾波(adaptive filters)方法去除這些雜訊。 可適性濾波器依照影像中不同的位置，有時比較類似中位數濾波器，有時又比較類似平均濾波器。這樣的濾波器可以藉由利用遮罩下數值的局部統計特性，去除影像中的高斯雜訊。

去除高斯雜訊 最小均方誤差濾波器(minimum mean-square error filter)為可適性濾波器的一種。這是一種非線性的空間濾波器，和所有的空間濾波器一樣，是將遮罩下的灰階值代入函數運算。

受到平均值為0，變異數為0.005 的高斯雜訊干擾 使用3x3可適性濾波

受到平均值為0，變異數為0.005 的高斯雜訊干擾 使用5x5可適性濾波

受到平均值為0，變異數為0.005 的高斯雜訊干擾 使用7x7可適性濾波

受到平均值為0，變異數為0.005 的高斯雜訊干擾 使用9x9可適性濾波

去除高斯雜訊 可適性濾波器的缺點： 1.對於低變異數的高斯雜訊有較好的濾除 效果。 2.會使影像模糊。

受到平均值為0，變異數為0.5 的高斯雜訊干擾 使用3x3可適性濾波

受到平均值為0，變異數為0.5 的高斯雜訊干擾 使用5x5可適性濾波

受到平均值為0，變異數為0.5 的高斯雜訊干擾 使用7x7可適性濾波

受到平均值為0，變異數為0.5 的高斯雜訊干擾 使用9x9可適性濾波

5x5 3x3 7x7 9x9

去除影像上的模糊 反轉濾波： 去除動態模糊可視為反轉濾波的特例。 要去除影像的模糊現象，必須將其Fourier transform的結果除以模糊濾波器的Fourier transform，所以必須先要產生一個模糊濾波器的Fourier transform的矩陣，再進行反轉濾波。

去除動態模糊 (1) 直接進行除法 (2) 對除法設限（可調參數）

黑板上的文字 - RGB

黑板上的文字 - gray

黑板上的文字 – 模糊化

黑板上的文字 – 去模糊(1)

黑板上的文字 – 去模糊(2)

黑板上的文字 – 去模糊(3)

Wiener濾波 原始8x8 棋盤

Wiener濾波 模糊又有雜訊的棋盤

Wiener濾波 反轉濾波的結果

Wiener濾波 使用常數比值的Wiener濾波的結果

Wiener濾波 使用自相關函數的Wiener濾波的結果

Summary (1) ※ 因為外來干擾而造成任何形式的影像訊號劣化， 都可稱為雜訊(noise)。 ※ 雜訊(noise)的類型有 * 鹽和胡椒雜訊 (Salt and Pepper Noise ) * 高斯雜訊 (Gaussian Noise ) * 斑點雜訊 (Speckle Noise ) * 週期性雜訊 (Periodic Noise ) ※ 去除雜訊(noise)的方法 * 鹽和胡椒雜訊、高斯雜訊 、斑點雜訊可使用 空間濾波去除雜訊。 * 週期性雜訊可使用頻率域濾波去除雜訊。 ※ 去除影像上的模糊 * 反轉濾波 * Wiener濾波

※ 受到鹽和胡椒雜訊干擾的像素屬於影像的高 頻部分，可用中位數濾波(median filtering)或 Summary (2) ※ 受到鹽和胡椒雜訊干擾的像素屬於影像的高 頻部分，可用中位數濾波(median filtering)或 排序濾波(rank-order filtering)的方法去除這些 雜訊。 ※ 受到高斯雜訊干擾的影像，可用影像平均法 或平均濾波或可適性濾波(adaptive filters)方 法去除這些雜訊。最小均方誤差濾波器 (minimum mean-square error filter)為可適性濾 波器的一種。

Summary (3) ※ 去除動態模糊可視為反轉濾波的特例。要去除影像的模糊現象，必須將其Fourier transform的結果除以模糊濾波器的Fourier transform，所以必須先要產生一個模糊濾波器的Fourier transform的矩陣，再進行反轉濾波。若對除法設限，可得到較好的結果。 ※ 對模糊又有雜訊的影像，使用自相關函數 的Wiener濾波，可得到較好的結果。

Future Work ※ 研究其他分佈類型的雜訊 ※ 使用頻率域濾波降低週期性雜訊 ※ 使用Lucy-Richardson演算法的 疊代非線性復原 ※ 盲目反摺積 ※ 投影的影像復原

Thanks for your attention! Questions or comments ?