學生：林育暉 指導教授：蔣依吾 國立中山大學資訊工程學系

Presentation on theme: "學生：林育暉 指導教授：蔣依吾 國立中山大學資訊工程學系"— Presentation transcript:

1 學生：林育暉 指導教授：蔣依吾 國立中山大學資訊工程學系
高、低解析度手機雙鏡頭之影像融合 Image fusion of smart phone equipped with high- and low-resolution dual cameras 學生：林育暉 指導教授：蔣依吾 國立中山大學資訊工程學系 中華民國105年7月 各位老師、口試委員大家好，我今天要報告的是”高、低解析度手機雙鏡頭之影像融合”，我是林育暉，指導教授為蔣依吾教授

2 大綱 簡介 相關研究 雙鏡頭之影像融合 實驗成果 結論
首先簡單的介紹研究大綱，主要分為簡介、相關研究、雙鏡頭之影像融合與我們的實驗成果，最後我們會討論研究結果進行結論

3 智慧型手機鏡頭構造 智慧型手機鏡頭主要構造包括 鏡頭組 對焦馬達 IR濾鏡 感光元件 PCB軟性電路板
首先，我們先談一下智慧型手機的鏡頭，手機鏡頭元件是由傳統相機鏡頭與感光元件縮小而來。 主要構造包括鏡頭組、對焦馬達、IR濾鏡、感光元件與PCB軟性電路板五個部分 [1]，鏡頭組由數個光學透鏡與保護玻璃組成，對焦馬達提供鏡頭基座與調焦功能，IR濾鏡能有效避免紅外光進入而影響提升成像品質，感光元件將光學影像轉換為電子訊號，由大量光電傳感器(或稱感光單元)所組成，將光能量轉換成電訊號，也是本篇論文最關心的部分，最後經軟性PCB電路輸出

4 感光元件與解析度 智慧型手機鏡頭以CMOS感光元件為應用主流，相較傳統CCD具備諸多優勢。 CCD CMOS 設計 單一感光器
CCD CMOS 設計 單一感光器 感光器連結放大器 成本 高 低 解析度 中 靈敏度 同樣面積下較高 雜訊比 耗能比 反應速度 慢 快 製造機具 特殊訂製機台 可使用記憶體或處理器製造機 現在智慧型手機感光元件以CMOS為主流，CMOS成本低、耗能低且反應速度較快，能在相同面積上建置更多感光單元，因此解析度也較高，但帶來的缺點是什麼?靈敏度降低與雜訊比提升，我後面會稍作解釋

5 感光元件與解析度 感光元件大小受手機體型限制。 感光單元受光面積有限。 解析度提升後，單位像素感光能力、色彩表現與飽和度受限模組尺寸而降低。
因為手機體積有限，所以感光元件大小也受到限制(手機的感光元件大都是1/3”~1/2.3”)，如果要在這麼小的面積上塞入更多感光單元會發生什麼事? 解析度提升後，會導致受光面積降低代表著單位像素的感光能力、色彩表現與飽和度受限模組尺寸而降低。 因此縮小感光單元將造成拍攝品質劣化。

6 高、低解析度鏡頭優勢 高解析度鏡頭優勢： 低解析度鏡頭優勢： 具影像細節紋理資訊 高進光量 低雜訊
除了前面說的缺點，高解析度鏡頭仍保有其優勢，也就是具有細節紋理資訊，可以想像200萬畫素與2000萬畫素的差異，如果將200萬解析度的影像放大，便會發現影像成粗糙的顆粒狀。 而低解析度因為感光單元較大具有以下優勢:高進光量、低雜訊與低動態模糊 之後會提到這些優勢可以為我們帶來什麼好處

7 手機雙鏡頭 同時配置兩顆主鏡頭，用以強化拍照效果或增加其應用。
HTC One M8 同時配置兩顆主鏡頭，用以強化拍照效果或增加其應用。 市面上已有一些雙鏡頭產品，利用雙鏡頭達成3D效能、景深計算、追蹤面部、超廣角、增補畫素、多光圈、變焦功能等。 Corephotonics公司設計之雙鏡頭設備 接著我們來談手機雙鏡頭，手機雙鏡頭是指於手機背蓋上新增一個鏡頭，使主鏡頭配置成為兩顆，用以強化拍照效果或增加其應用。 市面上已有一些手機雙鏡頭產品，像是htc、lg、華為都有類似產品，他們利用雙鏡頭達成3D效能、景深計算、追蹤面部、超廣角、增補畫素、多光圈、變焦功能等。 我們舉一些實際的例子 利用雙鏡頭記錄景深，可以達到拍攝後再對焦的效果。 而利用兩顆不同焦距的鏡頭，可以達到光學變焦，而非常見的數位變焦，左邊這張影像為數位變焦，我們可以看到影像因放大而成模糊狀態，而右邊數位變焦的影像則不會

8 研究目的 本論文透過不同解析度雙鏡頭進行影像融合。 結合高、低解析度雙鏡頭優勢資訊，來達到改善成像品質的效果。 最後來談研究目的
高、低解析度的鏡頭各自有其優勢，但目前尚未有廠商進行研發 因此本論文將利用不同解析度雙鏡頭進行影像融合，藉以結合高、低解析度雙鏡頭優勢資訊，來達到改善成像品質效果。

9 大綱 簡介 相關研究 雙鏡頭之影像融合 實驗成果 結論 接著在進入我們的方法前，我們先討論一些相關的研究

10 影像融合 將兩個或更多個影像組合為單一影像。 提取來源影像特徵、優勢資訊或其他影像中缺乏之訊息。 透過適當權重與規則進行融合。
什麼是影像融合? 所謂影像融合為將兩個或更多個影像組合為單一影像之方法，自多張影像中提取特徵、優勢資訊或其他影像中缺乏之訊息，將資訊透過適當比重與規則進行融合，提升影像品質與資訊細節。換言之，影像融合目的為整合來自多個影像的冗餘資訊(redundant information)創建具有更豐富訊息之合成影像 透過冗餘資訊之整合，影像融合可提升影像合成之準確性及可靠性。

11 影像融合 一些透過雙鏡頭或單鏡頭連續拍攝之影像融合技術應用已被開發 融合可見光鏡頭影像與紅外線鏡頭影像。 融合不同焦距之影像。
融合不同曝光度之影像，高動態範圍成像 (HDR：High Dynamic Range Imaging)技術。 一些透過雙鏡頭或單鏡頭連續拍攝之影像融合技術應用已被開發 如融合可見光鏡頭影像與紅外線鏡頭影像，因為紅外線鏡頭拍攝的影像相當於熱能的分布狀態，難以辨識，因此需與可見光影像作結合，我們才能分辨畫面中適哪些物體具有較高熱能。 或是利用不同焦距之成像，將各自準確對焦、具有細節紋理之區域，融合為一完整清晰之影像[12]。或利用HDR法進行融合，HDR法透過單鏡頭快速連續拍攝，透過使用不同快門時間擷取影像 或是HDR技術，HDR為目前智慧型手機普遍配備的改善成像品質方法，利用不同曝光程度之影像分析不同動態範圍之亮度改變與細節，推導真實亮度。

12 影像融合 影像融合分為 空間域融合法：直接對像素進行處理。
頻域融合法：利用傅立葉、小波或曲波等轉換將影像由空間域轉換至頻域，於頻域依預定融合規則進行影像融合。 影像融合目前已被開發且技術成熟之方法有以下幾種：(1)色調、飽和度與亮度(HSI)變換之融合法[14]，(2)主成分分析 (PCA)融合法[15]，(3)多尺度轉換融合法。其中常見之多尺度轉換融合法包括高通濾波法(High-pass filter)[16]、金字塔法(Pyramid method) [17]、小波轉換法(Wavelet transforms) [18]與曲波轉換法(Curvelet transforms) [14]。

13 小波轉換 目的：將影像分解至小組件中，再從分解成分中提取不同資訊。 優點：將原始資訊分解，可加速分析速度與準確度。
小波轉換在影像和信號處理領域為一個重要方法，將影像分解至小組件中，再從分解成分中提取不同資訊。透過小波轉換進行不同尺度之分析，分解影像於空間和頻率域中之定位影像信息

14 小波轉換 分解 透過水平方向與垂直方向各別進行一次分解，將來源影像分解為低頻區域(LL)與高頻區域(HL、LH、HH)。
能對低頻部分進行多次分解，將訊息分解為更小區塊，並可從各區塊中提取特徵與訊息集合。 小波轉換影像融合技術包含分解與重構兩部分，分解過程先將來源影像進行小波轉換，透過水平方向與垂直方向各別進行一次分解，將來源影像分解為低頻區域(LL)與高頻區域(HL、LH、HH)，如下圖3，並能對低頻部分進行多次分解，將訊息分解為更小區塊，並可從各區塊中提取特徵與訊息集合，重建時經由融合規則結合為新係數集合，最後通過逆轉換將其轉換回單一影像資料，獲得高品質與高解析度之融合影像。

15 小波轉換 重構 重構時經由融合規則結合為新係數集合。 透過逆轉換將其轉換回單一影像資料，獲得高品質與高解析度之融合影像。
重構時經由融合規則結合為新係數集合，最後通過逆轉換將其轉換回單一影像資料，獲得高品質與高解析度之融合影像

16 大綱 簡介 相關研究 雙鏡頭之影像融合 實驗成果 結論

17 融合步驟

18 雙鏡頭取像 採用兩台不同解析度之手機，結合雙機架與三腳腳架作為固定。 模擬配備雙鏡頭之智慧型手機，取得穩定影像品質。
可同時獲得兩幅不同解析度之高品質影像作為測試影像。

19 影像校正 兩個鏡頭於空間中無法完全重疊 成像之間尚未對齊，空間中相同一點於成像中可能落在不同位置。
P點為空間中一點，O與O’分別為兩台相機之光心，p與p’分別表示p點落於成像中之位置

20 影像校正 來源影像於影像融合前須先進行影像校正。 以高解析度影像為參考目標，將低解析度影像與之對齊。

21 影像校正 首先將低解析度影像透過內插法放大至與高解析度影像相同大小。 將高解析度影像進行小波轉換。
找出高頻區域(HH)中係數最高之位置，並對應至原始影像。 首先於高解析度影像中分割出65x65之小區塊稱之為目標區塊，並於低解析度影像中之相對位置周圍進行掃描，由於兩台相機間多為水平平移關係，可預測其成像中各點對應關係應具較多水平平移， 利用計算兩區塊間之均方差(mean square error)計算其相似度並記錄，接著將中心像素由左至右、由上至下移動一像素，重複比較與目標區塊進行比較，直到抵達掃描範圍最右下端，掃描過程中相似度最高之區塊其中心點稱之為匹配點(match point)，即表示兩張影像中該區域之對應點關係， 接著重複移動目標區塊，選定新掃描範圍進行相同比較步驟，最後將低解析度影像依對應點關係進行調整，即可將兩影像進行對齊，以利進行影像融合之工作

22 影像校正 於高解析度影像該點為中心分割出65x65之區塊作為目標區塊。 於低解析度影像設定掃描範圍，比較兩影像中各區塊相似度。
相似度最高之區塊其中心點稱之為匹配點(match point)，即表示兩張影像之對應關係。 首先於高解析度影像中分割出65x65之小區塊稱之為目標區塊，並於低解析度影像中之相對位置周圍進行掃描，由於兩台相機間多為水平平移關係，可預測其成像中各點對應關係應具較多水平平移， 利用計算兩區塊間之均方差(mean square error)計算其相似度並記錄，接著將中心像素由左至右、由上至下移動一像素，重複比較與目標區塊進行比較，直到抵達掃描範圍最右下端，掃描過程中相似度最高之區塊其中心點稱之為匹配點(match point)，即表示兩張影像中該區域之對應點關係， 接著重複移動目標區塊，選定新掃描範圍進行相同比較步驟，最後將低解析度影像依對應點關係進行調整，即可將兩影像進行對齊，以利進行影像融合之工作

23 小波轉換 校正完成之影像便能透過小波轉換進行分解。 將影像轉換為係數集合並依據融合規則進行融合。

24 融合規則 為進行影像融合時對不同區域進行處理之遵循條件。 設計方式為對各區域影像進行評估，依需求調整提取之內容比重。 校正完成

25 融合規則 高頻區域之係數表示為影像中紋理與細節變化資訊 因此對高頻區域使用最大值法保留較大之高頻係數，即原影像中細節變化之資訊。
𝐷 𝑥,𝑦 = 𝑚𝑎𝑥 𝐷 𝑙 𝑥,𝑦 , 𝐷 ℎ 𝑥,𝑦

26 融合規則 低頻區域之處理，首先將影像由 RGB色彩空間轉換至HSI色彩空間。
進行色調(Hue)、飽和度(Saturation)與亮度(Intensity)評估。 低頻區域之係數表示為影像中較為平滑之訊號，相當於區域平均亮度。

27 融合規則 比較與分析高、低解析度來源影像之品質。 評估適當融合權重，融合時依照權重比例進行融合。

28 融合權重 具備細節紋理、可視性、優良對比與飽和度之位置賦予較高權重。 欠曝與過曝、雜點、模糊不清與可視性低之位置賦予較低權重。
進行影像融合時，融合權重為影響融合結果品質之關鍵，融合前需對欲融合之來源影像進行評估，藉由比較來源影像是否出現過曝與欠曝、模糊與雜訊，並比較對比、飽和度、可視性與紋理品質給予各來源影像對應位置適當權重比例

29 融合權重 過去影像融合多採單一準則計算權重。 本論文透過結合三種準則進行影像品質評估 非對稱邏輯法 梯度演算法 基於JND之影像評估法

30 非對稱邏輯法 過曝與欠曝影像 融合應於正常區域進行，以提升影像之可視性，減少視覺偽影。 通常於部分區域無法正常表示。
包含其他影像未能表示之區域。 融合應於正常區域進行，以提升影像之可視性，減少視覺偽影。 過曝與欠曝影像通常能包含部分其他影像未能表示之區域[21]，但同時於部分區域無法正常顯示，所以融合應於能正確顯示區域進行，以便提升影像之可視性(visibility)同時減少視覺偽影(visual artifacts) [13]，透過非對稱邏輯(asymmetric logic function)評估區域融合質量[21]，最亮與最暗區域指定為0值，而其他區域賦予0~1間之值，使過暗與過亮區域獲得較低權重，而亮度適中區域獲得較高權重，如下式(6)，其中a, b, c用作控制非對稱邏輯函數之曲線，本論文中設定a=3.2, b=-1.3, c=0.4。

31 非對稱邏輯法 非對稱邏輯(asymmetric logic function)可評估區域融合質量。
最亮與最暗區域為0值其他區域賦予0~1間之值。 𝐸 𝑖 𝑥,𝑦 =1− 1 𝑎 log 𝐼 𝑖 𝑥, 𝑦 1 𝑐 1− 𝐼 𝑖 𝑥, 𝑦 1 𝑐 −𝑏 過曝與欠曝影像通常能包含部分其他影像未能表示之區域[21]，但同時於部分區域無法正常顯示，所以融合應於能正確顯示區域進行，以便提升影像之可視性(visibility)同時減少視覺偽影(visual artifacts) [13]，透過非對稱邏輯(asymmetric logic function)評估區域融合質量[21]，最亮與最暗區域指定為0值，而其他區域賦予0~1間之值，使過暗與過亮區域獲得較低權重，而亮度適中區域獲得較高權重，如下式(6)，其中a, b, c用作控制非對稱邏輯函數之曲線，本論文中設定a=3.2, b=-1.3, c=0.4。

32 梯度演算法 梯度大小可為紋理品質之參考。 梯度越大表示該範圍可能有更詳細亮度變化。 梯度越小表示該範圍可能較為模糊，缺 少細節資訊。
𝑉 𝑖 𝑥, 𝑦 = 𝑚 𝑖 (𝑥,𝑦) 𝑖=1 𝑁 𝑚 𝑖 𝑥,𝑦 +∈ , 梯度訊息為利用一階2D高斯導數計算，梯度大小可為紋理品質之參考，梯度越大表示該範圍可能有更詳細亮度變化，梯度小表示該範圍可能較為模糊，缺少細節資訊[14-15]，計算方式如下式(7)，其中 𝑚 𝑖 (𝑥,𝑦)表示 𝐼 𝑖 (𝑥,𝑦)位置像素之梯度大小，𝜖為一極小值，本論文中設定為 10 −25 ，用以避免奇點(singular point)，即該點於來源影像中梯度皆為0之情形。

33 基於JND之影像評估法 使用最小可覺差JND做為評估影像可視性與顯著性之評估標準。
JND指在人類視覺系統（HVS）不察覺之最大失真，常用做影像質量之視覺顯著性(visual saliency)測量。 對於評估影像可視性與顯著性，則使用最小可覺差JND做為評估標準，JND指在人類視覺系統(HVS：Human Visual System）不察覺之最大失真，給定感知閥值(perceptual threshold)[22]，用做影像質量之視覺顯著性(visual saliency)測量[17]

34 基於JND之影像評估法 JND透過考慮紋理、平均背景亮度與影像可視性等，推導影像權重。
於影像品質較高區域，如色彩對比度 或飽和度較高之區域給予較高權重。 𝐽 𝑖 𝑥, 𝑦 = 𝐽 𝑖 𝑙 𝑥,𝑦 + 𝐽 𝑖 𝑡 𝑥,𝑦 − 𝐾 𝑙,𝑡 𝑥,𝑦 ×𝑚𝑖𝑛 𝐽 𝑖 𝑙 𝑥,𝑦 , 𝐽 𝑖 𝑡 𝑥,𝑦 透過JND推導影像權重，考慮紋理、平均背景亮度與影像可視性等，在影像品質較高區域，如色彩對比度或飽和度較高之區域給予較高權重 𝐽 𝑖 𝑙 (𝑥,𝑦) 表示色彩評估 𝐽 𝑖 𝑡 (𝑥,𝑦) 表可視性評估 𝐾 𝑙,𝑡 (𝑥,𝑦) 用做計算兩者重疊效應，本論文中設定為0.3。

35 基於JND之影像評估法 𝐽 𝑖 𝑙 (𝑥,𝑦) 為色彩評估
𝐽 𝑖 𝑙 𝑥,𝑦 = 17 1− 𝐼(𝑥, 𝑦) , 𝑖𝑓 𝐼(𝑥, 𝑦) ≤ 𝐼(𝑥, 𝑦) −127 +3, 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 𝐼(𝑥, 𝑦) = 𝑖=1 5 𝑗=1 5 𝐼 𝑥−3+𝑖,𝑦−3+𝑗 ．𝐵 𝑖, 𝑗 𝐽 𝑖 𝑙 (𝑥,𝑦) 表示色彩評估，透過低通濾波器B(𝑖,𝑗)計算影像區域平均背景亮度 𝐼(𝑥, 𝑦) ，並以127為閥值進行不同處理。

36 基於JND之影像評估法 𝐽 𝑖 𝑡 (𝑥,𝑦) 為可視性評估 𝐽 𝑖 𝑡 𝑥,𝑦 = max 𝑘=1,2,3,4 𝑔𝑟𝑎𝑑 𝑘 𝑥, 𝑦
𝑔𝑟𝑎𝑑 𝑘 𝑥, 𝑦 = 𝑖=1 5 𝑗=1 5 𝐼 𝑥−3+𝑖,𝑦−3+𝑗 ． 𝑔 𝑘 𝑥, 𝑦 𝐽 𝑖 𝑡 (𝑥,𝑦) 表可視性評估，利用像素周圍局部變化來計算，其中 𝑔 𝑘 𝑥, 𝑦 為四種不同之高通濾波器

37 融合權重 最後合併上述三種評估方式之權重 作為融合時之權重
𝑊 𝑖 𝑥, 𝑦 = 𝐸 𝑖 𝑥,𝑦 × 𝑉 𝑖 𝑥, 𝑦 × 𝐽 𝑖 𝑥, 𝑦 𝑖=1 𝑁 𝐸 𝑖 𝑥,𝑦 × 𝑉 𝑖 𝑥, 𝑦 × 𝐽 𝑖 𝑥, 𝑦 𝑅 𝑥,𝑦 = 𝑖=1 𝑁 𝑊 𝑖 𝑥, 𝑦 × 𝐹 𝑖 𝑥, 𝑦 利用連乘方式合併三種評估方式之權重，並依兩來源影像之權重調整比例，使權重合為1 其中R為新係數集合，F為來源係數集合，W為對應之權重係數

38 大綱 簡介 相關研究 雙鏡頭之影像融合 實驗成果 結論

39 比較方法 影像品質改善評估之依據 平均亮度 對比度 銳利度 我們利用比較影像平均亮度、對比度與銳利度作為影像評估之依據。接下來會依序做說明。

40 平均亮度 計算平均亮度作為亮度改善之評估標準。 利用對影像進行灰階化，加總所有 像素值進行平均。
𝐼 𝑚𝑒𝑎𝑛 = 𝑥=1 𝑤 𝑦=1 ℎ 𝐼 𝑥,𝑦 𝑤×ℎ 計算平均亮度作為亮度改善之評估標準，利用對影像進行灰階化，加總所有像素值進行平均，如下式(14)，其中𝐼(𝑥,𝑦)表影像中(𝑥,𝑦)位置之灰階亮度值。

41 對比度 對比度表示影像中亮暗之變化程度，表示影像畫質之清晰程度。 計算對比度可作為影像細節對比改 善之評估標準。
𝐼 𝜎 = 𝑥=1 𝑤 𝑦=1 ℎ (𝐼 𝑥,𝑦 − 𝐼 𝑚𝑒𝑎𝑛 ) 2 𝑤×ℎ 對比度表示影像中亮暗之變化程度，通常表現影像畫質之清晰程度，計算對比度可作為影像細節對比改善之評估標準。 對比度使用統計方法標準差計算，如下式，標準差為影像所有像素之亮度值與平均值之間偏離幅度，用以量度資料分佈、分散情形，衡量資料值偏離算術平均值程度。標準差越小，則影像對比越小，反之則對比越大。

42 銳利度 SFR(spatial frequency response)演算 法常用作衡量影像銳利度。
計算方式包含使用高通濾波器，將 像素與鄰近區域進行比較。 比較影像平均亮度、對比度與訊噪比(SNR：Signal-to-noise ratio)作為影像評估之依據。

43 室外低光照 於室外低光照之情況，如夜景成像。 可有效提升暗區亮度，辨明黑暗中 物體輪廓與顏色變化。

44 室外低光照 室外低光照高解析度原圖 室外低光照融合結果 室外低光照低解析度原圖 低解析度 高解析度 影像融合 平均亮度 15.63 7.10
低解析度 高解析度 影像融合 平均亮度 15.63 7.10 12.89 對比度 23.36 13.37 20.28 銳利度 2.62 2.31 2.43

45 室外低光照 高解析度局部 低解析度局部 融合結果局部 低解析度 高解析度 影像融合 平均亮度 14.61 5.68 12.34 對比度
低解析度 高解析度 影像融合 平均亮度 14.61 5.68 12.34 對比度 17.12 8.04 14.99 銳利度 1.95 1.07 1.97 高解析度原圖中無法分辨暗區建築影像，融合結果由於亮度與對比提升，可見到建築建築輪廓與窗戶紋理。

46 室內低光照 於室內低光照之情況，如未開燈或 光線較暗之室內。 可有效提升暗區亮度與對比。

47 室內低光照 室內低光照高解析度原圖 室內低光照融合結果 室內低光照低解析度原圖 低解析度 高解析度 影像融合 平均亮度 48.62
低解析度 高解析度 影像融合 平均亮度 48.62 28.61 39.03 對比度 30.28 20.55 25.29 銳利度 0.24 0.38 0.33 室內低光照低解析度原圖

48 室內低光照 高解析度局部 低解析度局部 融合結果局部 低解析度 高解析度 影像融合 平均亮度 10.37 4.63 7.71 對比度
低解析度 高解析度 影像融合 平均亮度 10.37 4.63 7.71 對比度 13.86 7.06 11.43 銳利度 0.17 0.06 0.11 欠曝嚴重區域，由於影像對比度提升，高解析度原圖中工具箱輪廓與字樣難以辨識，融合結果輪廓與字樣清楚

49 室內低光照 高解析度局部 低解析度局部 融合結果局部 低解析度 高解析度 影像融合 平均亮度 18.57 8.53 14.68 對比度
低解析度 高解析度 影像融合 平均亮度 18.57 8.53 14.68 對比度 19.57 10.59 16.67 銳利度 0.25 0.16 0.26 高解析度原圖中暗區對比不足，融合結果由於亮度與對比提升，色彩較為鮮明，銳利度也較前兩者來的好

50 動態影像 高解析度鏡頭為增加進光量而延長快門時間。 使成像呈現嚴重動態模糊，大幅降低影像品質。
藉由影像融合，可參考快門時間較短之低解析度相機成像，改善動態模糊之情形。

51 動態影像 動態影像高解析度原圖 動態影像融合結果 動態影像低解析度原圖 低解析度 高解析度 影像融合 平均亮度 189.82 188.17
低解析度 高解析度 影像融合 平均亮度 189.82 188.17 189.32 對比度 75.41 75.99 75.84 銳利度 3.13 3.79 4.08 動態影像低解析度原圖 動態影像中，我們可以看到因為高解析度影像曝光時間較長，且手部區域由於有移動，因此產生動態模糊的情形 而低解析度影像則沒有此缺陷， 整體來說平均亮度與對比度差異不大，但高解析度對於邊緣的處裡較好，因此銳利度較低解析度影像高 接著看融合結果中，平均亮度與對比度與來源影像差不多，但因其解決了動態模糊之問題，其銳利度較前兩者高

52 動態影像 高解析度局部 低解析度局部 融合結果局部 低解析度 高解析度 影像融合 平均亮度 166.14 165.42 165.98 對比度
低解析度 高解析度 影像融合 平均亮度 166.14 165.42 165.98 對比度 70.45 60.29 69.44 銳利度 8.87 7.36 8.10 放大手部區域來看，高解析度影像中動態模糊較明顯，因此銳利度也較低，於融合結果中動態模糊已顯著降低，還原手部影像與模糊遮蔽區域線條細節，銳利度因此提升。

53 影像品質 本論文將與Debevec之HDR方法與Z hang之影像融合方法比較
評估透過前述權重進行小波轉換之 影像融合對於影像品質改善之成效。 [Zhang 10]同樣使用小波轉換之影像融合法，但其低頻區域只考慮亮度。

54 影像品質 連續拍攝五張不同曝光時間(2秒至 1/30秒)之高解析度影像。 其餘參數為：解析度 5312x2988、 ISO100、F1.9。
(a)~(e) 曝光時間依序為1/30s, 1/8s, 1/4s, 1/2s, 2s 連續拍攝五張不同曝光時間(2秒至 1/30秒)之高解析度影像。 其餘參數為：解析度 5312x2988、 ISO100、F1.9。

55 影像品質 同時拍攝一張低解析度影像，快門 時間為1/4s，其餘參數與高解析度 影像相同。

56 影像品質 Debevec之HDR法結果 本論文影像融合結果 Zhang之影像融合結果
低解析度影像部分則透過本論文之方法，與快門時間1/4秒之高解析度影像進行融合 Zhang之影像融合結果

57 影像品質 比較兩種結果之平均亮度、對比度與銳利度。 低解析度 高解析度 Debevec Zhang 本論文結果 平均亮度 194.65
低解析度 高解析度 Debevec Zhang 本論文結果 平均亮度 194.65 184.00 159.07 190.14 188.76 對比度 43.84 43.50 43.91 44.25 44.39 銳利度 3.52 3.79 2.20 2.76 4.24 結果顯示透過小波轉換進行影像融合之方法，於改善影像品質中，不論於影像品質、平均亮度與影像對比度都明顯優於HDR方法與[Wen 03] 由於Debevec 97方法參考了多張不同曝光度之影像作為計算，雖然其對比度較原始影像獲得提升，但因為其疊加了多張影像，對於平均亮度與邊緣銳利度表現都較差 由於Zhang 10中僅評估亮度作為融合依據，因此其平均亮度較本論文方法高，幾乎落在高低解析度兩影像之間 而本論文結果由於利用梯度演算法與JND影像評估法，給予可視性與色彩評估，因此具有較好的對比度與銳利度

58 大綱 簡介 相關研究 雙鏡頭之影像融合 實驗成果 結論

59 結論 本論文採取利用高、低解析度雙鏡 頭同時取像，對各影像評估品質， 進行影像融合。
研究結果證實，能最大化高、低解析度鏡頭兩者優勢、補足各自缺乏資訊，於單一影像中呈現。

60 結論 成功產生具有更好色彩外觀、亮度、 對比與更多紋理細節之成像品質。 較現有手機常見之HDR融合技術更佳，可有效改善現有成像技術。

61 感謝聆聽 於正常光照時仍保有高解析度細節並降低因快門時間延長與感光值提高造成之動態模糊與影像雜訊，同時提升影像中之暗區亮度；於低光照時能有效提升因受光量不足而降低之影像亮度、避免欠曝與模糊等缺失，提升色彩對比，顯現原高解析度影像中無法辨識之色彩細節變化；於動態影像中，能降低因高解析度鏡頭為增加進光量而延長快門時間造成之動態模糊，清楚顯示原高解析度影像中模糊不清之區域。實驗結果表明，該方法成功產生具有更好色彩外觀、亮度、對比與更多紋理細節，且較現有之HDR融合技術更佳之成像品質，可有效改善現有成像技術。