指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生: 張佑瑋 口試時間:中華民國94年7月15日

Presentation on theme: "指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生: 張佑瑋 口試時間:中華民國94年7月15日"— Presentation transcript:

1 指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生: 張佑瑋 口試時間:中華民國94年7月15日
自動灰階影像上色系統 指導老師: 楊傳凱 教授 口試委員: 楊傳凱 教授 項天瑞 教授 李育杰 教授 學生: 張佑瑋 口試時間:中華民國94年7月15日

2 大綱 第一章 緒論 第二章 文獻探討 第三章 彩色化 第四章 實驗結果 第五章 結論 背景 研究動機 影像彩色化流程
灰階影像彩色化(grayscale image colorization) 材質合成(texture synthesis) 第三章 彩色化 流程簡介 方法簡介 第四章 實驗結果 實驗環境 實驗結果 第五章 結論

3 第一章 緒論 背景 灰階影像彩色化科學上之實用性 醫學影像(MRI，CT，X-Ray)

4 第一章 緒論 背景 灰階影像彩色化科學上之實用性 醫學影像(MRI，CT，X-Ray) 衛星影像

5 第一章 緒論 背景 灰階影像彩色化科學上之實用性 醫學影像(MRI，CT，X-Ray) 衛星影像 電子顯微鏡影像

6 第一章 緒論 背景 灰階影像彩色化科學上之實用性 灰階影像彩色化娛樂上之實用性 醫學影像(MRI，CT，X-Ray) 衛星影像
電子顯微鏡影像 灰階影像彩色化娛樂上之實用性 黑白圖片/電影之彩色化

7 灰階影像彩色化之問題 如何將灰階影像彩色化?
The goal of our project is to add color to (or colorize) greyscale images.

8 灰階影像彩色化之問題 如何將灰階影像彩色化? Here is a greyscale photo of George Bush.

9 灰階影像彩色化之問題 Is his tie blue or green? 如何將灰階影像彩色化?
In order to colorize the picture, we need figure such things as the color of his tie. By just looking at this picture its hard to tell if its blue or green? Is his tie blue or green?

10 灰階影像彩色化之問題 Red!! 如何將灰階影像彩色化?
Actually it is red. The point is that there not enough information in a greyscale image to colorize it correctly. Red!!

11 灰階影像彩色化之問題 如何將灰階影像彩色化? 議題: 沒有正確解答 需要有想像力 如何能減少人為介入?
Since there is no exact solution to the problem we need to be somewhat creative in how we choose colors. However, we hope to minimize the labor involved in this task.

12 研究動機 Welsh et al. 提出「將灰階影像著色(Transferring Color to Grayscale Image)」之論文 優點:簡便 缺點:秏時、沒有一般性

13 Welsh 方法 目標影像 Our approach is similar in spirit as Reinhard but involves a very different algorithm. Here is our target greyscale image that we want to colorize.

14 Welsh 方法 + 選擇彩色來源影像 Target ??? ??? 來源影像
The user chooses a source image which they we wish to obtain the color mood from.

15 Welsh 方法 + 選擇彩色來源影像 從來源影像中尋找最合適目標影像的像素 來源影像 目標影像
Then for each pixel in the target image, we search for pixel matches in the source image using neighborhood information.

16 Welsh 方法 + 選擇彩色來源影像 從來源影像中尋找最合適目標影像的像素 Target Source 從像素的鄰域來考慮
The best match is selected based entirely on local neighborhood statistics around that pixel.

17 Welsh 方法 + = 選擇彩色來源影像 從來源影像中尋找最合適目標影像的像素 轉換顏色 Target Source 從像素的鄰域來考慮
Then we transfer the color information of that best match to the greyscale pixel.

18 Welsh 方法 + = 選擇彩色來源影像 從來源影像中尋找最合適目標影像的像素 轉換顏色 重覆每個像素 Target Final
Source + = 選擇彩色來源影像 從來源影像中尋找最合適目標影像的像素 從像素的鄰域來考慮 轉換顏色 重覆每個像素 This is repeated for all pixels in the target image to obtain the final image on the right.

19 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images

20 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images
兩張不同影像之風格轉換 將圖(b)的特徵成功的傳遞到(a)中，最後的成果見圖(c)

21 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images
灰階影像上色 Transferring Color to Grayscale Images 可以由一張來源的彩色圖和一張灰階圖，然後參考彩色圖並且將灰階圖「上色」成彩色

22 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images
灰階影像上色 Transferring Color to Grayscale Images 最佳化上色 Colorization using Optimization (a) (b) (c) 最左邊的影像(a)為黑白圖，上面的彩色線條是人為上色，中間的圖(b)是產生出來的結果，右邊的圖(c)是原圖

23 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images
灰階影像上色 Transferring Color to Grayscale Images 最佳化上色 Colorization using Optimization 快速灰階影像彩色化 Fast Colorization of Gray Images 影像分群 彩色化方法 1.利用5x5大小的鄰域，把25個像素值均列入考慮計算。 2.只考慮5x5微影像的平均(mean)和標準差(standard deviation) 3.結合1&2的方法綜合考慮

24 第二章 文獻探討 灰階影像彩色化 兩張影像間顏色轉換 Color transfer between images
灰階影像上色 Transferring Color to Grayscale Images 最佳化上色 Colorization using Optimization 快速灰階影像彩色化 Fast Colorization of Gray Images 數位典藏灰階圖照之彩色化技術 Color Transform for Digital Library Grey-value Images 利用四分樹分割灰階和彩色影像 判斷紋理特徵 參考Welsh方法上色

25 第二章 文獻探討 材質合成 利用樹狀結構來快速合成材質 Fast Texture Synthesis using Tree-Structure Vector Quantization 多層次金字塔結構(pyramid structure) 樹狀結構的向量式量化(Tree Structure Vector Quantization)

26 第二章 文獻探討 材質合成 利用樹狀結構來快速合成材質 Fast Texture Synthesis using Tree-Structure Vector Quantization 自然材質合成 Synthesizing Natural Textures 考慮鄰域像素的關聯性

27 第二章 文獻探討 材質合成 利用樹狀結構來快速合成材質 Fast Texture Synthesis using Tree-Structure Vector Quantization 自然材質合成 Synthesizing Natural Textures 影像類比 Image Analogies 利用A和A’相對關係類比到B因而得到B’。 A A’ B B’

28 第二章 文獻探討 材質合成 利用樹狀結構來快速合成材質 Fast Texture Synthesis using Tree-Structure Vector Quantization 自然材質合成 Synthesizing Natural Textures 影像類比 Image Analogies 利用A和A’相對關係類比到B因而得到B’。 灰階影像彩色化

29 利用影像類比將灰階影像彩色化 A A’ B B’

30 第三章 彩色化 影像彩色化流程

31 灰階影像 G 彩色影像 C 顏色轉換 正規化 分群演算法 最相似鄰域比對 灰階影像上色 彩色化灰階影像 G’ 影像金字塔 G1 G1’ 影像修正 一致化修正

32 第三章 彩色化 L2 norm 若我們選取的鄰域所成的集合為N時，L2 norm的表示為 其中誤差距離E就是我們的彩色鄰域Nc (以c為中心
的鄰域)和灰階鄰域Ng (以g為中心的鄰域)的 L2 norm值。C表示彩色的影像，G表示灰階影像，而 p表示在這鄰域內的像素。

33 第三章 彩色化 L2 norm 缺點 E(N1,N2)=9 E(N1,N3)=9 N1,N2,N3三者應是同一物件材質? 5 5 5
鄰域N1 鄰域N2 鄰域N3

34 第三章 彩色化 L2 norm 缺點 E(N1,N2)=9 E(N1,N3)=9 N1,N2,N3三者應是同一物件材質? 解決方法
梯度法(gradient) 鄰域N1 鄰域N2 鄰域N3

35 第三章 彩色化 梯度法(gradient) 梯度的表示如下:
N為所要測量的鄰域，q是當前的像素位置，p是q的鄰居，也就是位於q的上下左右四個位置的像素。 以下圖三個鄰域為例: G(N1)=0，G(N2)=0, G(N3)=(6-6)+(6-4)+(6-6)+(6-6)=2 N1和N2應該是同一物件的材質。 鄰域N1 鄰域N2 鄰域N3

36 第三章 彩色化 鄰域愈大轉換準確度愈高，則計算成本增加，所需時間變多 如何在準確度和計算成本以及速度上同時達到最佳化?

37 第三章 彩色化 鄰域愈大轉換準確度愈高，則計算成本增加，所需時間變多 如何在準確度和計算成本以及速度上同時達到最佳化?
利用影像金字塔(pyramid)

38 影像金字塔(pyramid) 來源影像 目標影像 ↓ ↓ 來源影像level 1 目標影像level 1

39 彩色化流程 色彩空間轉換 RGB→lαβ

40 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度
其中C(p)是指彩色影像中每個像素的明亮值，mC和σC表示彩色影像中明亮度的平均值和標準差，而mG和σG表示灰階影像中的明亮度的平均和標準差。

41 調整彩色影像的明亮度 Source-Before Target Source-After 調整前之來源影像 目標影像 調整後之來源影像
Next we globally re-map the luminance histograms between the source and target images so they match better. This is like Reinhard’s method of shifting and scaling the values to fit better. Source-After 調整後之來源影像

42 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度 樹狀結構量化(TSVQ) 加速影像上色速度

43 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度 樹狀結構量化(TSVQ)
原始影像(pyramid 0)微影像鄰域大小為9×9, 3×3，以微影像 l 的平均值、標準差、梯度分別建立9×9, 3×3兩量化樹 若有需要，建立粗略影像(pyramid 1)微影像鄰域大小為5×5, 3×3，以微影像 l 的平均值、標準差、梯度分別建立5×5, 3×3兩量化樹 分別從量化樹中尋找最適合的像素鄰域

44 樹狀結構量化(TSVQ) 每一Depth中，左列為分群的情況，右列為編碼的示意圖，其中紅點為此群的代表點

45 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度 樹狀結構量化(TSVQ) 色彩空間轉換 lαβ → RGB

46 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度 樹狀結構量化(TSVQ) 色彩空間轉換 lαβ → RGB
參照粗略影像(pyramid 1)修正原始影像(pyramid 0)

47 參照粗略影像修正原始影像 ＋ = 彩色化目標影像level 1 彩色化之目標影像 levle0 level 1 修正 level 0 ＋ =

48 彩色化流程 色彩空間轉換 RGB→lαβ 調整彩色影像的明亮度 樹狀結構量化(TSVQ) 色彩空間轉換 lαβ → RGB
參照粗略影像(pyramid 1)修正原始影像(pyramid 0) 影像一致化 以3×3統計所有像素梯度

49 影像一致化 每張影像梯度值分佈不一定相同

50 影像一致化 每張影像梯度值分佈不一定相同 以等比例方法來一致化

51 影像一致化各階段之影響 ＋ ＝ 來源影像 目標影像 彩色化之目標影像 levle0 ↓ ↓ ＋ = 來源影像level 1
level 1 修正 level 0 一致化後影像

52 第四章 實驗結果 實驗環境 記錄的影像彩色化時間是指將灰階影像彩色化後並且完整地呈現在螢幕上所需的時間 中央處理器
Pentium IV 2.53 GHz 主記憶體 512MB 作業系統 Windows XP 軟體 Visual C++.NET

53 第四章 實驗結果 原始影像 A 灰階影像 A2 Welsh結果 A 我們結果A4

54 Welsh結果 B3 我們結果B4 Blasi結果B5
第四章 實驗結果 原始影像 B 灰階影像 B2 Welsh結果 B 我們結果B Blasi結果B5

55 第四章 實驗結果 原始影像 C 灰階影像 C2 Welsh結果 C 我們結果 C Blasi結果C5

56 第四章 實驗結果 原始圖D 灰階圖D2 Welsh法D 我們結果D4 原始圖 E 灰階圖 E2 Welsh法E 我們結果E4

57 第四章 實驗結果 原始圖F 灰階圖F2 Welsh法F3 我們結果F4 原始圖G 灰階圖G2 Welsh法G 我們結果G4

58 第四章 實驗結果 原始圖H1 灰階圖H2 Welsh法H3 我們結果H4 原始圖I 灰階圖I2 Welsh法I 我們結果I4

59 第四章 實驗結果 原始圖J1 灰階圖J2 Welsh法J3 我們結果J4 來源圖 K1 目標圖 K2 原目標圖 K3
Blasi 法 K 我們的方法 K5

60 第四章 實驗結果 來源圖 L1 目標圖 L2 原目標圖 L3 Blasi 法 L4 我們的方法 L5
來源圖 M 目標圖 M 原目標圖 M3 Blasi 法M 我們的方法M5

61 第四章 實驗結果 一致化改良 考慮上下、左右兩組像素之RGB顏色 改良前 a b

62 第四章 實驗結果 一致化改良 考慮上下、左右兩組像素之RGB顏色 a圖彩色化效果變好但是b圖變差
在影像著色上，很難找到一個方法是可以對每張影像都達到最好的效果 改良後 a b

63 第四章 實驗結果 我們實作時間

64 圖片 Level 1 Level 0 影像修正 一致化 所花時間 全影像搜尋 A4 227×146 5.33s 40.53s 0.13s 9.22s 55.20s 1385s B4 149×159 2.98s 21.55s 0.08s 4.22s 28.83s 1560s C4 2.52s 16.14s 0.09s 未執行 18.75s 611s D4 141×106 1.80s 10.83s 0.05s 1.89s 14.56s 191s E4 2.14s 15.17s 0.06s 2.11s 19.48s F4 1.95s 10.22s 1.84s 14.06s 190s G4 137×97 1.94s 12.97s 0.80s 15.75s 821s H4 132×88 1.19s 7.70s 0.03s 1.47s 10.39s 740s I4 9.47s 3.30s 14.95s 189s J4 112×149 2.72s 14.09s 1.00s 17.88s 301s K4 126×126 0.95s 5.51s 1.42s 7.95s 245s L4 182×136 2.64s 15.42s 0.11s 1.72s 19.85s 672s M4 2.95s 17.53s 2.02s 22.58s 676s

65 第四章 實驗結果 我們實作時間 Welsh實作時間， Blasi的實作時間
其設備為Pentium3 900Mhz CPU及Matlab實作，彩色化影像的時間為15秒至4分鐘 Blasi的實作時間 其配備為dual Athlon XP2000+，記憶大小為1GB RAM，作業系統為Linux平台的Red Hat8.0

66 Blasi的實作時間 圖片 方法1 方法2 方法3 B5 739s 130s 86s 38s 762s 146s C5 2700s 542s
K4 157s 46s 18s 9s 160s 69s L4 946s 153s 111s 48s 974s 190s M4 953s 93s 98s 978s 105s 每一欄方法的右邊數據為未加速，以全影像搜尋的結果， 而左邊為採用反極策略(antipole strategy)來建構影像資料， 以加速搜尋速度的果。

67 Blasi的實作時間 圖片 方法1 方法2 方法3 我們的方法 B5 739s 130s 86s 38s 762s 146s 28.83s
C5 2700s 542s 280s 133s 2980s 627s 18.75s 611s K4 157s 46s 18s 9s 160s 69s 7.95s 245s L4 946s 153s 111s 48s 974s 190s 19.85s 672s M4 953s 93s 98s 978s 105s 22.58s 676s

68 第五章 結論 在本論文中，我們提出一個很簡單也很有效率的方法來將灰階影像彩色化 本論文之貢獻 以梯度來取代L2 norm
固定鄰域大小及使用影像金字塔 在原始影像以9x9和3x3 在粗略影像以5x5和3x3 以TSVQ加速著色速度 一致化修正顏色不連續之情形

69 第五章 結論 缺點:當兩材質特性十分相似時，在其判定上就可能出錯
無論是以L2 norm或是以統計方式求平均值、變異數或是梯度都難以發現沙灘、海和天空有任何顯著的不同 原始圖K 灰階圖K2 Welsh法K 我們結果K4

70 第五章 結論 未來之展望 結合人工智慧和影像分割的技術增加顏色比對正確率 建立影像資料庫，達到完全自動化

71 報告結束 謝謝各位口試委員

72 Wei

73 synthesizing natural textures