Guo Dong, Member, IEEE, and Ming Xie, Member, IEEE

Presentation on theme: "Guo Dong, Member, IEEE, and Ming Xie, Member, IEEE"— Presentation transcript:

1 Guo Dong, Member, IEEE, and Ming Xie, Member, IEEE
Color Clustering and Learning for Image Segmentation Based on Neural Networks 基於神經網路的顏色群聚和學習圖像分割 陳雅甄 2011年12月16日 Guo Dong, Member, IEEE, and Ming Xie, Member, IEEE

2 目錄 Abstract INTRODUCTION COLOR REPRESENTATION
UNSUPERVISED SEGMENTATION SUPERVISED SEGMENTATION EXPERIMENTAL EVALUATIONS Conclusion 2018/8/8

3 一、 Abstract~1 An image segmentation system is proposed for the segmentation of color image based on neural networks. The segmentation system comprises unsupervised segmentation and supervised segmentation. The unsupervised segmentation is achieved by a two-level approach, i.e., color reduction and color clustering. 基於神經網絡的彩色圖像分割圖像分割系統，為了正確測量色差。分割系統，包括無監督分割和監督分割，無監督分割是通過兩個層次的方法，色彩減少和顏色群聚。 提出了基於神經網絡的彩色圖像分割圖像分割系統。 2. 分割系統，包括無監督分割和監督分割。 無監督分割是實現兩個層次的方法，即色彩還原和顏色聚類。 2018/8/8

4 一、 Abstract~2 The supervised segmentation involves color learning and pixel classification A procedure of hierarchical prototype learning (HPL) is used to generate the different sizes of color prototypes from the sample of object colors. The experimental results show that the system has the desired ability for the segmentation of color image in a variety of vision tasks. 監督分割則包含了顏色學習和像素分類， hierarchical prototype learning (HPL) 的程序是用來產生大小不同的顏色類型樣本。這些顏色的類型提供了很好的估計物體顏色 實驗結果表明，該系統具有彩色圖像分割在各種視覺任務所需的能力分割。 4. 監督分割涉及顏色學習和像素分類 5. 分層原型學習（ HPL ）的程序是用來產生大小不同的顏色原型對象顏色的樣品。這些顏色的原型對象顏色提供了很好的估計 6. 實驗結果表明，該系統具有彩色圖像分割在各種視覺任務所需的能力。 2018/8/8

5 二 、INTRODUCTION~1 Image segmentation is the first important process in numerous applications of computer vision. In most cases, the segmentation of color image demonstrates to be more useful than the segmentation of monochrome image. It should be a self-supporting system that requires the unsupervised segmentation to work cooperatively with the supervised segmentation. 彩色圖像分割被運用在很多電腦顯示，是很重要的過程，主要由同質或相似的圖片做區分，在大多數情況下，彩色圖像分割超過單色圖像的分割有用，因為彩色圖像比單色圖像可表現更多圖像特徵，圖像分割的一個完整系統應該包括無監督和監督分割。它是一個自我資源系統，要求無監督式分割與監督式分割合作。 1. 彩色圖像分割被運用在很多電腦顯示，是很重要的過程。 在大多數情況下，彩色圖像分割超過單色圖像的分割有用，因為彩色圖像比單色圖像可表現更多圖像特徵。 圖像分割的一個完整系統應該包括無監督和監督分割。它是一個自我資源系統，要求無監督式分割與監督式分割合作。 2018/8/8

6 二 、INTRODUCTION~2 1.UNSUPERVISED SEGMENTATION
The spatial compactness and color homogeneity are two desirable properties in unsupervised segmentation, which lead to image-domain and feature-space based segmentation Techniques According to the strategy of spatial grouping, image-domain techniques include split-and-merge, region growing and edge detection techniques. 在無監督分割的優良特性，空間緊湊性和色彩的同質性兩種，導致圖像域和功能空間的分割技術。 按照空間群集的策略，圖像域技術，包括分割和融合，區域增長和邊緣偵測技術。 2018/8/8

7 二 、INTRODUCTION~3 There have been extensive studies on them in the literature. Markov random field (MRF) In splitting and merging phases are operated by the watershed transform and self-organizing map (SOM), The minimum vector dispersion (MVD) operator is proposed to reduce the color vector to a scalar value in . In feature-space based techniques, image segmentation is accomplished by exploiting the homogeneous regions in feature space. The common techniques include histogram thresholding and color clustering. 無監督式分割在文獻中被廣泛的研究。 （Markov random field ，MRF）的定義在四叉樹結構代表的過程中，彩色區域的過程中發送連續性 拆分和合併。 拆分和合併階段由各自地分水嶺變換和自組織映射操作（self-organizing map ，SOM） (minimum vector dispersion ，MVD)的運算值，建議用於減少色彩向量的純量值 在逐步測量邊緣上它是一種自由差值運算子，這在真正的邊緣上 可產生有利的結果 特徵空間基礎的技術，圖像分割是通過利用在特徵空間的同質區域。常用的技術包括直方圖閾值和顏色聚類。 2018/8/8

8 二 、INTRODUCTION~4 The nonparametric clustering is a promising solution in color clustering. The standard techniques can be categorized as hierarchical or partitional clustering. The common techniques include histogram thresholding and color clustering. In hierarchical clustering, only local neighbors involve the cluster merging/splitting by the form of dendrograms. 在顏色聚類內非參數群類是一個可行解決方案，可歸分為分層或劃分的群聚。 常用的技術包括直方圖閾值顏色群聚 直方圖閾值是求在3個顏色直方圖的峰或谷或三三維（3 - D ）直方圖。 顏色直方圖峽谷通過分水嶺算法。 在分層中，只有當地的鄰居涉及樹狀成的集群 而劃分中，直接分成不相交的群聚然後設置最小的標準功能數據 2018/8/8

9 二 、INTRODUCTION~5 2. SUPERVISED SEGMENTATION
In supervised segmentation, the pixel classifier is trained for the best partition of color space using the sample of object colors segmentation are evaluated in , including maximum likelihood, decision tree, nearest neighbor and neural networks The segmentation of image frames is hierarchized by three classifiers, i.e., k nearest neighbor, näive bayes, and support vector machine In image segmentation is performed by a procedure of supervised pixel classification. 在監督式分割，訓練顏色樣本作為像素分類，圖像將分割的像素分配一個預定的類別 常用的分割技巧 ，其中包括決策樹、相近鄰居和類神經網絡 分割圖像是由三個群聚，k近鄰，貝葉斯和支撐向量機劃分等級。(k nearest neighbor, näive bayes, and support vector machine) 在監督式分割，圖像分割用於分配最小距離決定每個像素的顏色紋理空間中一個預定的類別。 2018/8/8

10 二 、INTRODUCTION~6 3.Artificial Neural Networks
Artificial Neural Networks offer many important properties to the segmentation of color image In unsupervised segmentation,Uchiyama employed the competitive learning (CL) self-organizing map ( SOM) has been used for the segmentation of color image in the literature, is used to capture the dominant colors of the image in the literature. The SOM clustering is fully studied by the two stages in i.e., using SOM to produce the prototypes that are clustered in the second stage. Some clustering algorithms are employed for the prototype clustering. 類神經網絡 類神經網絡提供了許多重要的屬性圖像的色彩分割，例如，極度、非線性映射，適應性，和錯誤的容忍等。 在無人監督的分割，內山學者採用競爭學習（ competitive learning ，CL ）他能夠收斂到局部的顏色群聚最佳解決方案 SOM，已被用於彩色圖像分割的著作，是用來捕捉圖像中的主要的顏色。 SOM群聚是由兩個階段，使用SOM產生群聚的原型，第二個階段。一些群聚算法使用原型群據。 2018/8/8

11 二 、INTRODUCTION~7 Simulated annealing (SA) has been used to gain the best overall segmentation of color image in. The SA is used to seek the MAP of MRF parameters. In , an invariant transform is proposed to remove highlight and shading effects using Dichromatic Reflection Model. SA is used to control the updates of representative patterns during SOM learning in. （Simulated annealing ，SA），已被用於獲得 SA是用來尋求中期預測參數的地圖。 SA是用來控制在SOM的學習中有代表樣本的模式更新。 2018/8/8

12 二 、INTRODUCTION~8 4.Description of Problem
The segmentation of color image has been proved to be difficult because it involves a vast amount of data processing. In color representation, perception uniform guarantees the proper measure of color differences, which is often neglected in many segmentation methods. However, colors are highly correlated in the nonuniform color space, it is inaccurate to estimate the color differences by the dis-tance measure. 4.Description of Problem 彩色圖像分割已被證明是困難的，因為它涉及到大量的數據處理 在色彩表現，統一一致，顏色差異的適當措施，這往往是在許多分割方法是忽視的 在顏色不均勻的空間高度相關，這是不準確的估計顯示距離測量的顏色差異。 顏色高度不均勻與空間相關，這是不準確的估計距離測量色差。 2018/8/8

13 二、INTRODUCTION~9 System Structure 系統
圖片L*u*v*表現放到→無監督式內的→顏色減少→顏色群聚→無監督式的結果 HPL學習動作←給分類器 ←取顏色樣本←↓ 監督式學習→↓像素分類 →監督式的結果 2018/8/8

14 三、 COLOR REPRESENTATION~1
1、RGB to CIE XYZ 2、 CIE XYZ to L*u*v* 3、 CIE L*u*v* to Modified L*u*v* 因為在學者參考的那篇文獻當中有說到Modified L*u*v*是最好的，所以就要經過這三個轉換，一開始是以Modified L*u*v*為主， 所以圖片的 RGB與 ModifiedL*u*v* 之間沒有轉換的公式， 所以RGB首先必須要變換到與他顏色相近的CIE XYZ標準，因為Modified L*u*v*是CIE L*u*v*延伸出來的，所以在以CIE XYZ的標準下去轉成CIE L*u*v*，最後再轉成Modified L*u*v*。 2018/8/8

15 四、UNSUPERVISED SEGMENTATION~1
The image colors appear to be a massive and noisy nature in the color space. The SA color clus-tering is a good solution of seeking the optimal color clusters from a global scope. As stated in, color reduction can lessen the compu-tational cost, and diminish the sensitivity of clustering to the noise data. 彩色圖片通常會有很多的顏色，常見的群聚方法很容易只選取到部份最優的地方。 SA顏色群聚是比較好的，它是從實際使用情況範圍內尋求最佳的色彩群聚。但是計算時間較高，所以使用SOM為色彩減少和SA為顏色群聚這兩層，色彩減少主要用於大量的色彩分割，色彩減少可以減少計算成本和分群時較敏感的資料。 。 2018/8/8

16 四、UNSUPERVISED SEGMENTATION~1
1、 Color Reduction Initialization: SOM map to be 16 *16 , radius R=16, 5, and learning rate a= 0.05, 0.02. Input: Competitive Process: 顏色減少 初始化：一開始定義SOM的 map為16 * 16，先後通過兩個階段得到半徑R =16，5，和微調值learning rate a = 0.05，0.02。 2)輸入:輸入顏色值 。 3)Modified L*u*v*三維矩陣透過類神經網路轉射到M*N的二維陣列。 2018/8/8

17 四、UNSUPERVISED SEGMENTATION~2
1、 Color Reduction Cooperative Process: winning neuron’c 的topological neighbors by Gaussian function centered at neuron with the effective scope of Adaptive Process: The weights of “winning neuron” Iteration: The new ’winning’ neuron is chosen by repeating the procedure from step 2 until al iterations have been made 4)用高斯函式取有效的範圍 5)計算出權重 6)重複2~5之間的步驟直到圖片以完全做完，就輸出。 2018/8/8

18 Free template from www.brainybetty.com
SOM的色彩還原。  （一）L*u*v*三維矩陣透過類神經網路轉射到M*N的二維陣列。  （二）原圖。  （三）RGB在色彩空間的色點分佈。  （四）L*u*v*在色彩空間的色點分佈。  （E）SOM訓練後的權重向量圖。  （F）色彩還原的結果。 2018/8/8 Free template from

19 四、UNSUPERVISED SEGMENTATION~2
2、 Color Clustering The color reduction transforms X into M based on SOM learning, where M is a set of 2-D vectors M Given the number of color clusters M,color clustering attempts to organize the data set into a set of clusters C The SA mimics the principle of annealing in the physical domain. The optimal solution is obtained by consisting in randomly perturbing the system, and gradually decreasing the randomness to a low final level. It provides a good solution for the color clustering. 顏色群聚 色彩減少轉由X換成M放到SOM裡面學習，其中M是一個集合 顏色群聚組成一組數據集的群聚 再把M聚類組織的數據設置成群聚C 再找出最新進的群聚做歸類 其中利用SA計算出最佳中心點→ z 最大限度地減少能源功能 →J SA集群開始隨機數據集，最初被分配到集群隨機，和 聚類中心計算 開始找出最低的成本，降低點再重複的分配。當集群是在低能量的狀態，這意味著，最小化。 2018/8/8

20 Free template from www.brainybetty.com
顯示的SA集群的一個例子 （A）從人像映射 (b). 結合SOM的結果，色彩減少，得到顏色群聚結果。 (c) Modified L*u*v*色彩空間在修改後的聚類結果 (d)分割結果. 2018/8/8 Free template from

21 五、SUPERVISED SEGMENTATION~1
The supervised segmentation includes color sample learning and pixel classification. 1、 RCE Learning RCE neural network is a supervised pattern classifier used for the estimation of feature region. The main drawback of RCE learning is the requirement of a complete sample set for all classes Another drawback is that all prototypes are generated with the fixed size in one class, which are not accurate and efficient for region estimation. 監督式分割包括顏色學習和像素分類。 RCE的神經網絡是一種監督模式分類使用  功能區域的估計 他的主要缺點是所有類必須是一套完整的樣本要求。 另一個缺點是，所有的原型是一類固定大小的區域估計，這是不準確。 2018/8/8

22 五、SUPERVISED SEGMENTATION~2
2、Hierarchical Prototype Learning The color region of human hand can not be well estimated by the fixed size of color prototypes in RCE training. This is due to the nonuniform distribution of object colors. 人手的顏色區域不能得到很好的估計在色彩的原形RCE培訓固定的大小的顏色原型。這是由於物體顏色分佈不均勻。 在一些地區，一些小規模的圓形是適當的，而其他的地方的原型大尺吋更適合 2018/8/8

23 Free template from www.brainybetty.com
我們使用SOM - SA的顏色群聚 人的手，從圖像背景。該分類結果顯示在圖（b）和（ C）。 手的顏色分佈圖5 （D ） RCE的神經網絡是由訓練手的顏色樣本圖（D） 。讓球形的大小原型分別為 5.0 ，20.0 。 圖（e）和（F）顯示顏色的原型RCE學習產生。 在圖 （E） 手的顏色區域封閉與低半徑5.0彩色原型， 圖5 （F）而是一個巨大的的數量過多會導致顏色的原型過度分割 在繁重的計算負荷像素的分類。顯示手的顏色區域為 OV 在監督分割，它出現了一個非常不規則的色彩空間 。基於樣本學習，它建立了物件的準確、高效的顏色模型。 HPL 圖5（G） - （N）顯示不同半徑的顏色原型在8次迭代產生。 （N ）在第一個四次迭代，兩個 DOM -inant地區有效封閉四個大型彩色原類型。整個顏色區域是全封閉的由themultiscale在圖的顏色原型 . 圖5（ O）顯示從連接的代表色提取的原型 2018/8/8 Free template from

24 五、SUPERVISED SEGMENTATION~3
3、Pixel Classification The supervised segmentation can be straightforwardly per- formed on the test image using . Given the test image containing an object of interest (e.g., hand gesture), the pixel is classified as the object if it is committed to any in . Otherwise, is regarded as the image background. 像素分類 測試使用的形象，可以直截了當地形成監督分割。 鑑於測試圖像包含感興趣的對象（如手勢） 被列為對象，如果它是致力於任何的像素。 否則被視為圖像的背景 2018/8/8

25 六、EXPERIMENTAL EVALUATIONS ~1
The usage of neural networks is able to produce the good segmentation results with a low computational cost. Extensive experiments have been conducted to evaluate the performance of the system. 該類神經網絡已進行了廣泛的實驗，以評估系統的性能。 使用類神經網絡能夠產生具有低計算成本的良好分割結果。 2018/8/8

26 六、EXPERIMENTAL EVALUATIONS ~3
Computational Cost: SA 計算成本高 SOM-SA 可以快速執行 計算成本來說 SA 計算成本高 SOM-SA 可以快速執行 以一張和1000的彩色圖像 SA用了12小時在執行退火 但是SOM-SA 才花了19秒就完成 2018/8/8

27 六、EXPERIMENTAL EVALUATIONS ~2 2、UNSUPERVISED SEGMENTATION
分割結果 Fig. 6.使用不同顏色的分割結果的比較群聚方法. Original color image. 原圖 (b) SOM的顏色聚類. Q = (c) SA的集群。Q = (d) SOM - SA的顏色聚類. Q = (e) CL - SA的顏色聚類. Q = (b) SOM (c) SA (d) SOM-SA (e) CL-SA 2018/8/8 Free template from

28 Free template from www.brainybetty.com
這張圖片無監督式分割的SOM – SA，對各種顏色的圖像做測試 2018/8/8 Free template from

29 六、EXPERIMENTAL EVALUATIONS ~2
3、SUPERVISED SEGMENTATION HPL學習上，提供準確路線學習基礎上顏色原型對象的樣本 圖A所顯示的是一張手的手勢 監督分割是用於段的手勢從圖像背景 圖（b） - （e）監督結果 分割使用的HPL學習，顏色閾值和顏色直方圖。 監督分割使用的HPL學習，展現最好的分割結果 2018/8/8

30 七、Conclusion The HPL learning and pixel classification are applicable for the supervised segmentation of the object in vision tasks. The HPL learning provides an efficient and accurate way for the estimation of object colors. The object can be properly segmented from the image background based on the color prototypes. In summary, this segmentation system is a promising tool for the segmentation of color images based on neural networks. The generality of the system makes it applicable in a wide range of computer vision tasks. 監督分割 在視覺任務的對象適用於在HPL的學習和像素 分類。在HPL學習提供了一個高效，準確的分類物體顏色的方法。 基於顏色的原型從圖像背景的對象，就可適當分段。 基於神經網絡的彩色圖像的分割。 “ 一般性的系統使得它在適用範圍廣於電腦視覺效果。 2018/8/8