第二章 數位影像基礎 視覺感知的要素 2.2 光與電磁頻譜 2.3 影像的感應與擷取 2.4 影像的取樣和量化

Presentation on theme: "第二章 數位影像基礎 視覺感知的要素 2.2 光與電磁頻譜 2.3 影像的感應與擷取 2.4 影像的取樣和量化"— Presentation transcript:

1 第二章 數位影像基礎 2 2.1 視覺感知的要素 2.2 光與電磁頻譜 2.3 影像的感應與擷取 2.4 影像的取樣和量化
CHAPTER 第二章　數位影像基礎 2.1 視覺感知的要素 2.2 光與電磁頻譜 2.3 影像的感應與擷取 2.4 影像的取樣和量化 2.5 像素間的一些基本關係 2.6 簡介用於數位影像處理的數學工具 摘　　要 參考文獻與進階讀物 習　　題

2 2.1　視覺感知的要素 2.1.1 人眼的構造 人眼近似一個圓球，其平均直徑約20毫米，其外圍包有三層膜：角膜 (cornea) 和鞏膜 (sclera) 外殼、脈絡膜 (choroid) 和視網膜 (retina)。 第2章 數位影像基礎 P.34

3 圖2.1 人類眼睛橫剖面的簡化圖形 第2章 數位影像基礎 P.34

4 眼睛最裡層的膜是視網膜，它位於整個球面內之後。
眼睛外之物體來的光成像在視網膜上，在視網膜表面上離散光受體的分佈，形成了圖案視覺。光受體有兩種：錐狀體 (cones) 和桿狀體 (rods)。每隻眼睛錐狀體的數目在600萬到700萬間。 主要位於視網膜中央部分的中央凹 (fovea)，並且對色彩很敏感。 第2章 數位影像基礎 P.34

5 透過這些錐狀體可以分辨出微小的細節，錐狀體都與自身的神經末梢相連。控制眼睛的肌肉旋轉眼球直到感興趣物體的影像落在中央凹上。錐狀體視覺稱為白晝 (photopic) 視覺或亮光視覺。
　桿狀體 ，約7,500萬到15,000萬，分佈在視網膜表面。 分佈面積大且幾個桿狀體和一個神經末梢相連，所以 能分辨的細節減少。桿狀體用來獲得視野中大體上的影像，不含彩色視覺，但對低亮度卻很敏感，例如白天看起來色彩鮮明的物體，在月光下卻看不出色彩，這是因為只有桿狀體受到了刺激。此現象稱為夜視覺 (scotopic) 或昏暗視覺。 第2章 數位影像基礎 P.35

6 圖2.2顯示右眼橫剖面上的桿狀體和錐狀體的密度，此剖面通過眼睛視覺神經的突出區域。此區域中沒有光受體的部分造成所謂的盲點 (blind spot)
圖2.3 視網膜上桿狀體和錐狀體的 第2章 數位影像基礎 P.35

7 眼睛中影像的形成 在一般的相機中，透鏡有固定的焦距，且藉由改變透鏡與成像平面之間的距離來達成對各種不同距離的聚焦， 人眼的運作原理是相反的，亦即水晶體和成像區域 ( 視網膜 ) 之間的距離是固定的，而要獲得適當對焦所需的焦距是由改變水晶體的形狀來達成。 第2章 數位影像基礎 P.36

8 2.1.3 亮度的適應與鑑別 數位影像是以強度的離散集合顯示，所以眼睛對不同亮度準位的鑑別能力在呈現影像處理結果上是重要的考量。
亮度的適應與鑑別 　數位影像是以強度的離散集合顯示，所以眼睛對不同亮度準位的鑑別能力在呈現影像處理結果上是重要的考量。 實驗證明顯示主觀亮度 (subjective brightness) ( 人的視覺系統所感受的強度 ) 是射入眼內光強度的對數函數，圖2.4 ( 光強度對主觀亮度圖形 ) 展示此一特性。圖中的長實線表示視覺系統所能適應的光強度範圍，在只有白晝視覺時，此範圍大約為。由夜視覺到白晝視覺是逐漸變化的，其大致範圍由0.001到0.1毫lambert ( 對數刻度中為 -3到1毫lambert)，正如此範圍內該適應曲線的一對分支所示。 第2章 數位影像基礎 P.37

9 解釋圖2.4所描繪令人印象深刻之動態範圍的關鍵在於視覺系統不能同時在如此寬的範圍內操作。反之，視覺系統是透過改變其整體敏感度，即所謂的亮度適應現象 (brightness adaptation) 來完成這種大範圍的變動。 與整個適應範圍相比，視覺系統能同時鑑別的光強度準位的總範圍是相當小的。對於任一組給定的條件，視覺系統的目前敏感度準位稱為亮度適應準位 (brightness adaption level)。 第2章 數位影像基礎 P.37

10 圖2.4 顯示一特定適應準位之主觀亮度感的範圍 第2章 數位影像基礎 P.37

11 下面兩個現象清楚的說明，感覺到的亮度不是光強度的簡單函數。第一個現象是基於視覺系統在不同強度區域的邊界有不足或過度的傾向，圖2
下面兩個現象清楚的說明，感覺到的亮度不是光強度的簡單函數。第一個現象是基於視覺系統在不同強度區域的邊界有不足或過度的傾向，圖2.7(a) 是此現象的一個明顯例子。雖然每個條紋中的光強度固定，但實際上感覺到的卻是一個在邊界附近強烈的亮度扇形皺褶圖案 圖2.7 馬赫帶效應的圖示。感受到的強度不是實際強度的簡單 第2章 數位影像基礎 P.39

12 第二個現象稱為聯合對比度 (simultaneous contrast)，這是指一個區域所感覺到的亮度不單只與其強度有關，如圖2
圖2.8 聯合對比度的例子。所有在內部的方形都有相同的強度， 但是當背景逐漸變亮時，它們漸漸變暗。 第2章 數位影像基礎 P.40

13 2.2 光與電磁頻譜 光是人眼可以感受到之電磁放射的一種。
2.2　光與電磁頻譜 光是人眼可以感受到之電磁放射的一種。 電磁頻譜的可見光波段的範圍大約是從0.43 m ( 紫色 ) 到0.79 m ( 紅色 )。 人類感受到一個物體的顏色是由物體上的反射光的特性來決定的。對所有可見光波長的反射光都相當平衡的一個物體，觀察者看成白色。不過，一個只反射有限可見頻譜範圍的物體會顯示各種顏色。例如，綠色物體反射出主要在500到570 nm的光波長範圍而吸收其他波長的大部分能量。 第2章 數位影像基礎 P.40

14 光亮是對於光的感受的一種主觀描述方式，在實際上不可能被量測。它使強度的非彩色概念具體化，而且是描述顏色飽滿度上的重要因素之一。
正如前面所注意到的，彩色光所涵蓋的電磁能量頻譜大約是從0.43到0.79 m。除頻率外，有三種基本量被用來描述彩色光源的品質：光輝 (radiance)、亮度 (luminance) 與光亮 (brightness)。光輝是從光源流出來的總能量，通常以瓦 (W) 計。亮度提供觀察者感受光源能量大小的一種衡量，以流明 (lm) 計。 光亮是對於光的感受的一種主觀描述方式，在實際上不可能被量測。它使強度的非彩色概念具體化，而且是描述顏色飽滿度上的重要因素之一。 第2章 數位影像基礎 P.43

15 2.3 影像的感應與擷取 影像是由「照明」源和取像「景物」各元素對該來源的反射或吸收的能量組合所產生的。
2.3　影像的感應與擷取 影像是由「照明」源和取像「景物」各元素對該來源的反射或吸收的能量組合所產生的。 圖2.12顯示三個主要的感應器排列方式，用來將照明能量轉換成數位影像。想法很簡單：藉著輸入電力和對能感受特定能量的感應材料的結合，將進來的能量轉換成電壓。輸出電壓波形是感應器的響應，將這個響應數位化就可從每一個感應器獲得數位的量。 第2章 數位影像基礎 P.44

16 2.3.1 單一感應器取像 圖2.12(a) 顯示一個單一感應器的組成。或許我們最熟悉的這種單一感應器是光二極體 。 a) 單一成像的感應器
單一感應器取像 圖2.12(a) 顯示一個單一感應器的組成。或許我們最熟悉的這種單一感應器是光二極體 。 a) 單一成像的感應器 第2章 數位影像基礎 P.44

17 為了使用單一感應器產生一張2-D的影像，在感應器和所要成像的區域之間，在x和y方向上都需要相對的移動。圖2
圖2.13 結合一個單一的感應器與運動來產生一張二維的影像 第2章 數位影像基礎 P.44

18 使用長條感應器取像 比單一感應器更常被使用的幾何形狀是以長條感應器的形式呈現的線形感應器排列，長條感應器提供一個方向上的像素，與長條感應器垂直的移動則提供另一方向上的成像，如圖2.14(a) 所示。 (b) 線形感應器 第2章 數位影像基礎 P.46

19 圖2.14 (a) 用一個長條線性感應器的影像擷取 第2章 數位影像基礎 P.46

20 2.3 使用感應器陣列取像 圖2.12(c) 顯示以二維陣列形式排列的個別感應器。許多電磁和一些超音波感應裝置經常排列成陣列的形式，這也是在數位相機上看到的主流排列方式。 (c) 陣列感應 第2章 數位影像基礎 P.47

21 圖2.15顯示了陣列式感應器的主要使用方式。此圖顯示從一個景物元素反射照明源的能量
圖2.15 一個數位影像擷取處理的例子：(a) 能量 (「照明」) 源；(b) 一個景物的元素；(c) 成像系統；(d) 將景物投影到影像平面上；(e) 數位化的影像。 第2章 數位影像基礎 P.47

22 2.3.4 一個簡單的影像形成模型 用f(x, y) 的二維函數來表示影像。 0 < f(x, y) < 
一個簡單的影像形成模型 用f(x, y) 的二維函數來表示影像。 0 < f(x, y) <  函數f(x, y) 可用兩個分量表示 照明 (illumination) 和反射 (reflec­tion) 分量，記為i(x, y) 和r(x, y)，兩函數以乘積結合形成f(x, y)︰ f(x, y) = i(x, y)r(x, y) 其中 < i(x, y) <  且 < r(x, y) < 1 反射界於0 ( 全吸收 ) 和1 ( 全反射 ) 之間 第2章 數位影像基礎 P.48

23 2.4 影像的取樣和量化 為了產生數位影像，我們需要把連續感應的資料轉換化成數位的形式。這包括兩個過程︰
2.4　影像的取樣和量化 為了產生數位影像，我們需要把連續感應的資料轉換化成數位的形式。這包括兩個過程︰ 取樣 (sampling) 和量化 (quantization)。 第2章 數位影像基礎 P.49

24 取樣和量化的基本概念 一張影像對於x和y座標以及振幅都可能是連續的。為了將其轉化成數位的形式，我們必須對其兩個座標以及振幅函數取樣。將座標值數位化稱為取樣 (sampling)；將振幅值數位化稱為量化 (quantization)。 圖2.16(b) 中的一維函數是圖2.16(a) 沿AB線段的振幅 ( 強度準位 ) 值圖形。 隨機變動是影像雜訊所致。 沿著AB線段等間隔取樣，如圖2.16(c) 所示。 第2章 數位影像基礎 P.50

25 圖2.16 產生一張數位影像：(a) 連續的影像；(b) 在連續影像上從A到B的掃描線，用來說明取樣和量化的概念；(c) 取樣和量化；
第2章 數位影像基礎 P.50

26 圖2. 17(a) 顯示投射在一個感應器陣列平面上的一張連續影像，圖2
圖2.17(a) 顯示投射在一個感應器陣列平面上的一張連續影像，圖2.17(b) 顯示取樣和量化後的影像。顯然，數位影像的品質大體上取決於用在取樣和量化中的取樣和離散強度準位的數目。 圖2.17 (a) 連續影像投影到感應器的陣列上；(b) 影像取樣和量化後的結果。 第2章 數位影像基礎 P.51

27 描繪數位影像 數位影像 (digital image)連續影像取樣成一個二維陣列f(x, y) ( 含M列與N行 )，其中 (x, y) 是離散座標。 第2章 數位影像基礎 P.52

28 共有三種表示f(x, y) 的基本方式。圖2.18(a) 是函數的圖形，其中二個軸定出空間位置，且第三個軸是兩個空間變數x和y之函數f( 強度 ) 的值。
第2章 數位影像基礎 P.52

29 圖2.18(b) 中的表示法更常見。它顯示f(x, y) 會出現在螢幕或照片上的樣子。
在此圖中，只有三個等間距的強度值。若強度正規化到區間 [0, 1] 上，則影像中的每一點有值0、0.5或1。 圖2.18 (b) 影像顯示成一個視覺上的強度陣列 第2章 數位影像基礎 P.53

30 第三個表示法只是把f的數值顯示成 一個陣列 ( 矩陣 )。 圖2.18 (c) 影像顯示成一個二維數值陣列
(0, .5和1分別代表黑、灰和白色 )。 第2章 數位影像基礎 P.53

31 空間與強度解析度 空間解析度 (spatial resolution) 有幾種說法，每單位距離有幾對線 (line pairs per unit distance) 以及每單位距離的點 ( 或像素 ) 數 [dots (pixels) per unit distance] 例如，如果一條線的寬度為0.1 mm，則每單位距離 (mm) 有五對線。影像解析度的一個廣為使用的定義是每單位距離最大可分辨的 (discernible) 線對數 ( 例如每毫米100對線 )。每單位距離的點數是常用於列印與出版業的影像解析度量測單位。 第2章 數位影像基礎 P.55

32 第2章 數位影像基礎 P.55 圖2.20 降低空間解析度的典型效應。影像以如下解析度顯示： 1250 dpi； (b) 300 dpi；
(c) 150 dpi；以及 (d) 72 dpi。加入細的黑邊框是為了清楚表達， 它不是資料的一部分。 第2章 數位影像基礎 P.55

33 強度解析度 (intensity resolution) 指最小可分辨的強度準位變化。
強度準位的數目通常是2的整數乘冪 例如，我們常說一個強度量化成256準位的影像有8位元的強度解析度。 第2章 數位影像基礎 P.56

34 圖2.21 452  374，256階的影像。 (b)~(d) 在保持影像大小為定值下，用128、64和32個強度準位顯示的影像。 第2章 數位影像基礎 P.59

35 圖2.21( 續 ) (e)~(h) 用16、8、4和2個強度準位所顯示的影像。( 原始影像提供者：Dr. David R. Pickens，放射學與輻射科學部門，Van­derbilt大學醫學中心。) 第2章 數位影像基礎 P.60

36 2.4.4 影像內插 基本上，內插 (interpolation) 是用已知的資料去預測在未知位置處之值的一種過程。
影像內插 基本上，內插 (interpolation) 是用已知的資料去預測在未知位置處之值的一種過程。 最近鄰插補它指定給每一個新位置在原影像中最鄰近該位置的強度值 。 產生不理想人造物的傾向，雙線性插補 (bilinear interpolation)，使用四個最鄰近的點來估測一個所給位置處的強度。令 (x, y) 為我們要指定一強度值之位置的座標 第2章 數位影像基礎 P.62

37  注意到由於xy項的關係，雙線性插補不是線性的－這與其名稱相反。
(x, y) = ax + by + cxy + d 雙立方插補此方法涉及一個點的十六個最近鄰。 指定給點 (x, y) 的強度值是用下列方程式獲得： 第2章 數位影像基礎 P.62

38 2.5 像素間的一些基本關係 2.5.1 像素的近鄰 在座標 (x, y) 的像素p有四個水平和垂直方向的近鄰，其座標為
2.5　像素間的一些基本關係 像素的近鄰 在座標 (x, y) 的像素p有四個水平和垂直方向的近鄰，其座標為 (x + 1, y), (x - 1, y), (x, y + 1), (x, y - 1) 為p的4近鄰 (4-neighbors) 的像素集合，以 表示。 第2章 數位影像基礎 P.64

39 p的四個對角 (diagonal) 近鄰的座標是
(x + 1, y + 1), (x + 1, y - 1), (x - 1, y + 1), (x - 1, y - 1) 表示成 。這些點連同4近鄰一起稱為p的8近鄰 (8-neighbors)，表示成 第2章 數位影像基礎 P.64

40 2.5.2 鄰接性、連通性、區域和邊界 令V是用來定義鄰接性的強度值集合。 我們考慮三種鄰接性：
2.5.2 鄰接性、連通性、區域和邊界 令V是用來定義鄰接性的強度值集合。 我們考慮三種鄰接性： (a)4- 鄰接性 (4-adjacency)：若q在集合 中， 則取值於V的兩個像素p和q是4- 鄰接的。 (b)8- 鄰接性 (8-adjacency)：若q在集合 中， 則取值於V的兩個像素p和q是8- 鄰接的。 (c)m- 鄰接性 (m-adjacency) ( 混合鄰接性 )：若以下的條件成立，則取值於V的兩個像素p和q是m- 鄰接的︰ (i)q在 中，或 (ii)q在 中並且 沒有值來自於V的像素。  第2章 數位影像基礎 P.65

41 令S代表一影像中像素的子集。如果S中的兩個像素p和q之間存在一條全部由S中的像素組成的路徑，則稱p和q在S中是連通的 (connected)。對S中的任意像素p，與其相連通之S中的像素集合稱為S的連通成分 (connected component)。如果只有一個連通成分，則集合S稱為連通集合 (connected set)。 令R為一個影像中像素的子集。若R是一個連通集合，則我們稱R是影像的區域 (region)。若兩區域 和 的聯集形成連通集合，則稱其為相鄰的 (adjacent)，而不相鄰的區域稱為不相連 (disjoint)。 第2章 數位影像基礎 P.66

42 我們稱 中的所有點為影像的前景 (foreground)，而在 的所有點稱為背景 (background)。
假定一影像含有K個不相連的區域，k = 1, 2, …, K，且沒有任一個觸及邊界2。令 表示所有K個區域的聯集，並令 表示所有K個區域的聯集，並令代表其補集 我們稱 中的所有點為影像的前景 (foreground)，而在 的所有點稱為背景 (background)。 區域R的邊界 (boundary) [ 亦稱邊 (border) 或輪廓 (contour)] 是指與R的補集中的點相鄰之點所形成的集合，另一種說法是一個區域的邊界是指在區域中至少有一個背景近鄰之像素的集合。 上述定義有時稱為區域的內邊界 (inner border)，以便和它的外邊界 (outer border) 區別，其中外邊界是背景中對應的邊界。 第2章 數位影像基礎 P.66

43 2.6 簡介用於數位影像處理的數學工具 2.6.1 陣列對矩陣運算
2.6　簡介用於數位影像處理的數學工具 2.6.1 陣列對矩陣運算 涉及一或多張影像的陣列 (array) 運算是以一個像素接一個像素 (pixel-by-pixel) 為基礎來執行。 例如，考慮如下的2  2影像： & 第2章 數位影像基礎 P.69

44 這兩個影像的陣列乘積 (array product) 為
反之，矩陣乘積 (matrix product) 為 除非有特別聲明，否則我們在整本書中均假定陣列運算。 第2章 數位影像基礎 P.69

45 2.6.2 線性對非線性運算 H[f(x, y)] = g(x, y) 影像處理方法最重要的分類方式之一是線性或非線性。
線性對非線性運算 　影像處理方法最重要的分類方式之一是線性或非線性。 一個運算子H，它對一所給的輸入影像f(x, y) 產生一輸出影像g(x, y)： H[f(x, y)] = g(x, y) 第2章 數位影像基礎 P.69

46 若下式成立，則說H是線性運算子 (linear operator)：
其中 , , 和 分別是任意常數以及 ( 同樣大小的 ) 影像。 第2章 數位影像基礎 P.70

47 2.6.3 算術運算 影像間的算術運算是陣列運算，四個算術運算表示成
算術運算 影像間的算術運算是陣列運算，四個算術運算表示成 其中x = 0, 1, 2, …, M - 1，y = 0, 1, 2, …, N - 1，M和N為影像列和行的大小。 第2章 數位影像基礎 P.71

48 2.6.5 空間運算  單一像素運算 空間運算分成三大類：(1) 單一像素運算； (2) 鄰域運算，以及 (3) 幾何空間轉換。
空間運算 空間運算分成三大類：(1) 單一像素運算； (2) 鄰域運算，以及 (3) 幾何空間轉換。  單一像素運算 在一張數位影像上執行的最簡單運算是根據個a別像素的強度來修改其值，可表示成形式如下的轉換函數： 第2章 數位影像基礎 P.81

49 Z是原影像中一個像素的強度，而s是經處理影像中對應像素的 ( 映射 ) 強度。
圖2.34 用於得到一張8位元影像底片的強度轉換函數。虛線箭頭顯示一任意輸入強度值 至其對應 Z是原影像中一個像素的強度，而s是經處理影像中對應像素的 ( 映射 ) 強度。 第2章 數位影像基礎 P.82

50  幾何空間轉換和影像對準 幾何轉換修改一張影像中各像素之間的空間關係。這些轉換常被稱為橡皮板 (rubber-sheet) 轉換，就數位影像處理而言，幾何轉換由兩個基本運算所組成：(1) 座標的空間轉換，以及 (2) 指定強度值給經空間轉換後之像素的強度內插。 　　座標轉換可表示成 (x, y) = T{(, w)} (, w) 為原影像中的像素座標而 (x, y) 為經轉換影像中對應像素的座標。 最常用的空間座標轉換之一是近親轉換 (affine transform) (Wolberg [1990])，它有如下的一般形式： 第2章 數位影像基礎 P.83

51 第二個方法 [ 稱為反映射 (inverse mapping)] 掃描輸出像素的位置，並在每一個位置 (x, y) 用
實際上，我們可以兩個基本的方式來運用 (2.6-23) 式。第一個方式 [ 稱為前向映射 (forward mapping)] 包括掃描輸入影像的像素，然後在每一個位置 (, w) 處，直接用 (2.6-23) 式計算輸出影像中對應像素的空間位置 (x, y)。 第二個方法 [ 稱為反映射 (inverse mapping)] 掃描輸出像素的位置，並在每一個位置 (x, y) 用 計算在輸入影像中的對應位置，然後 ( 用2.4.4節中討論過的技術之一 ) 在最近的輸入像素間內插以求得輸出像素值的強度。 第2章 數位影像基礎 P.85

52 影像對準是數位影像處理的一個重要應用，用來對齊有相同景物的兩張或更多張影像。
　 影像對準是數位影像處理的一個重要應用，用來對齊有相同景物的兩張或更多張影像。 在影像對準中，從輸入產生輸出影像的特定轉換一般而言是未知的。 於是問題是去估測轉換函數，然後用它來對準兩張影像。 解決剛才討論之問題的主要方法之一是用連接點 (tie points) [ 亦稱控制點 (control point)]，它們是在輸入和參考影像中位置精準被知道的對應點。有許多選取連接點的方式，從以互動的方法選取它們到運用演算法試著自動偵測這些點。 第2章 數位影像基礎 P.86

53 2.6.7 影像轉換 影像處理方法都直接作用在輸入影像的像素上， 即直接在空間域 (spatial domain) 上處理。
影像轉換 影像處理方法都直接作用在輸入影像的像素上， 即直接在空間域 (spatial domain) 上處理。 在某些情況中， 以如下的方式安排最好：對輸入影像進行轉換，在轉換域 (transform domain) 中執行特定的工作，然後用反轉換回到空間域。 圖2.39 操作於線性轉換域中的一般方法 第2章 數位影像基礎 P.90