4.資料集群 Clustering 集群範例一:鳶尾花各種集群模型 集群範例二:動物園的動物分群 集群範例三:電信公司的客戶分群 集群範例四:蛋白質攝取集群分析 4 2 3 1 集群範例三:電信公司的客戶分群

函數【kmeans】 【pamk】 【hclust】 【dbscan】檔案iris 150 records 5 fields 資料集群範例 一 函數【kmeans】 【pamk】 【hclust】 【dbscan】檔案iris 150 records 5 fields

集群分析 集群分析就是將異質的群體區隔，分成一些同質性較高的子群組或集群，不需要事先定義好該如何分類，也不需要訓練組資料，而是靠資料自身的相似性集群在一起，最常使用在市場區隔的應用上 分為分割式(Partitional)集群:K-Means和K-Medoids clustering 和非分割式(Non-Partitional)集群: Hierarchical和Density-based clustering

K-平均數(K-Means)集群 K平均法(K-means)是最受使用者歡迎以及最佳的集群分析法之一， K-Means演算法是麥昆(J. B. MacQueen)於1967年正式發表，由於原理簡單、計算快速，屬於前設式的集群演算法，也就是必須先設定集群的數量，然後根據該設定找出最佳的集群結構 分割式分群法，主要目標是在大量的資料點中找出代表性的資料點(cluster center)，以少數代表點來代表大量的資料

分群注意事項 各個Cluster的大小: 要確保Cluster具代表性，原則上5-10% 為最低門檻

kmeans程式碼(iris) #kmeans iris: 150 records #iris2=iris[,sapply(iris,is.numeric)] 取所有數值資料的指令 iris2=iris[,-5] set.seed(1234) kmeans.result=kmeans(iris2,3) kmeans.result table(iris$Species,kmeans.result$cluster) plot(iris2,col=kmeans.result$cluster)

預測分群結果與叢集中心

iris的散佈圖矩陣

利用集群找出離群值 #find 5 largest distances between objects and cluster centers kmeans.result$centers centers=kmeans.result$centers[kmeans.result$cluster,] head(centers) distances=sqrt(rowSums((iris2-centers)^2)) outliers=order(distances,decreasing=T)[1:5] outliers iris2[outliers,] plot(iris2[c("Sepal.Length", "Sepal.Width")], col=kmeans.result$cluster) points(kmeans.result$centers[,c("Sepal.Length", "Sepal.Width")], col=1:3, pch=8, cex=2) points(iris2[outliers,c("Sepal.Length", "Sepal.Width")], col=4, pch='+', cex=2)

找出5個離群值

離群值和集群中心

K-物件(K-Medoids)集群 以集群中最具代表性的點Medoid作為集群中心，亦即利用真正的物件代表集群 K-Medoids最經典演算法是分割環繞物件(PAM,Partitioning Around Medoids)，由Kaufman and Rousseeuw於1987年提出 可使用cluster套件的pam函數 或fpc套件的pamk函數，使用此函數時，使用者不必決定分成幾組，但結果不一定理想

pamk的程式碼(自動分2群) iris2=iris[,-5] library(fpc) pamk.result=pamk(iris2) table(iris$Species, pamk.result$pamobject$clustering) layout(matrix(c(1,2),1,2)) plot(pamk.result$pamobject) layout(matrix(1))

pamk執行結果

pamk集群圖0.69=(51*0.81+99*0.62)/150

pam的程式碼(設定成3群) iris2=iris[,-5] library(cluster) pam.result=pam(iris2,3) pam.result table(iris$Species,pam.result$clustering) layout(matrix(c(1,2),1,2)) plot(pam.result) layout(matrix(1))

pam函數執行結果

pam函數集群圖

Silhouette Measure Silhouett係數是用來比較集群模型的準則，計算每筆紀錄(B-A)/max(A,B)的平均值 Silhouett係數範圍在-1 (非常差的模型)和1 (非常好的模型)之間，可丟棄Silhouett係數為負值的模型

NbClust分群指標 亦可使用NbClust 套組的NbClust函數協助使用者決定分群的數目 程式碼如下: library(NbClust) iris2=iris[,-5] result=NbClust(iris2,distance="euclidean",min.nc=2,max.nc=6,method="kmeans", index="all") Result$Best.partition

分群指標執行結果

階層式(Hierarchical)集群 以階層架構的方式反覆進行分裂或聚合 ，以產生最後的樹狀架構，可從樹狀圖取得任何想要的集群數，缺點是只適合小量資料 常見的階層式集群法包括： method=”average“，平均距離的平均連鎖法 method=”simple“，最小距離的單一連鎖法 method=”complete“，最大距離的完全連鎖法 method=”ward.D“或 "ward.D2"，Ward的最小變異法

階層式集群程式碼 iris2=iris[,-5] index=sample(1:nrow(iris2),40) #抽取40筆 irissample=iris2[index,] hclust.result=hclust(dist(irissample),method= “ward.D2”) #dist函數 distance matrix compute hclust.result plot(hclust.result,labels=iris$Species[index]) rect.hclust(hclust.result,k=3,border="red") groups=cutree(hclust.result,k=3) table(iris$Species[index],groups)

階層式集群執行結果

階層式集群樹狀圖

密度基礎(Density-based)集群 fpc套件的DBSCAN演算法可提供數值資料的密度基礎集群 DBSCAN的兩個重要參數: eps:可達區域，定義鄰近地區的大小 MinPts:可達區域的最小點數 如果某個點鄰近地區的點數大於minPts ，那麼這個點就是一個密度點，所有從這個點可達的鄰近地區的點就被分成同一個集群

dbscan的程式碼 #dbscan iris: 150 records iris2=iris[,-5] library(fpc) dbscan.result=dbscan(iris2,eps=0.42,MinPts=5) dbscan.result table(iris$Species, dbscan.result$cluster) plot(dbscan.result,iris2) plot(dbscan.result,iris2[c(1,4)]) plotcluster(iris2,dbscan.result$cluster)

dbscan的執行結果 0表示離群值的集群 預測結果有3個離群值歸為集群0

dbscan集群圖

放大的dbscan集群圖

dbscan分成4個集群

dbscan預測的程式碼 #predict irisnew2.txt 10 records irisnew2=read.table("d:\\stella\\R\\iris_new2.txt",header=T, sep=",") irisnew2=na.exclude(irisnew2) pred=predict(dbscan.result,iris2,irisnew2) pred plot(dbscan.result,iris2[c(1,4)]) points(irisnew2[c(1,4)], pch="*", col=1+pred, cex=3)

預測到3個離群值的集群0(黑色)

函數【kmeans】檔案zoo.txt 101 records 18 fields 資料集群範例二 函數【kmeans】檔案zoo.txt 101 records 18 fields

動物園的動物分群應用 本範例的動物分群資料，取自美國加州大學歐文分校的機械學習資料庫，將動物分為7群http://archive.ics.uci.edu/ml/datasets/Zoo 這個動物園的動物資料集包含了101筆的紀錄，資料當中包含了如下所列的18個欄位： 1. 動物的名字(animal name)：唯一值 2. 是否具有毛髮(hair)：Boolean值 3. 身體是否有羽毛(feathers)：Boolean值 4. 是否會下蛋(eggs)：Boolean值 5. 是否會產奶(milk)：Boolean值 6. 是否在空中(airborne)：Boolean值

7. 是否在水中(aquatic)：Boolean值。 8. 是否會獵食(predator)：Boolean值。 9 7. 是否在水中(aquatic)：Boolean值。 8. 是否會獵食(predator)：Boolean值。 9. 是否有牙齒(toothed)：Boolean值。 10. 是否有骨幹(backbone)：Boolean值。 11. 是否會呼吸(breathes)：Boolean值。 12. 是否有毒(venomous)：Boolean值。 13. 是否有鰭(fins)：Boolean值。 14. 腿的數量(legs)：{0,2,4,5,6,8}集合的數字。 15. 是否有尾巴(tail)：Boolean值。 16. 是否被馴化(domestic)：Boolean值。 17. 是否屬貓科(catsize)：Boolean值。 18. 類型(type)：在[1,7]範圍內的整數值

kmeans程式碼(zoo) #zoo: 101 records zoo=read.table("d:\\stella\\R\\zoo.txt",header=T,sep=",") zoo=na.exclude(zoo) #kzoo=zoo[,sapply(zoo,is.numeric)] 取所有數值資料 kzoo=zoo[,-c(1,18)] set.seed(777) kresult=kmeans(kzoo,7) kresult table(kresult$cluster) table(zoo$type,kresult$cluster) kresult$size pie(kresult$size)

預測分群結果與叢集中心

矩陣分析結果

函數【kmeans】檔案churn.txt 1477 records 16 fields 資料集群範例三 函數【kmeans】檔案churn.txt 1477 records 16 fields

電信公司的客戶分群 以churn.txt這三個數值欄位當作分群模型的輸入

分群執行程式碼 churnall=read.table("d:\\stella\\R\\churn.txt",header=T, sep=",") churnall=na.exclude(churnall) churn=churnall[,c(2:4)] churn.result=kmeans(churn,5) table(churn.result$cluster) pie(table(churn.result$cluster)) table(churnall$CHURNED,churn.result$cluster) barplot(table(churnall$CHURNED,churn.result$cluster), col=2:4) legend(0,600,c("Current","Invol","Vol"),col=2:4,pch=15) head(churnall[churn.result$cluster==4,]) #Invol都在群集4

分群執行結果

檢視模型叢集大小

CHURNED在叢集中的分配圖

Modeler叢集大小

CHURNED在叢集中的分配圖

離群值與極端值偵測 #Univariate Outlier Detection boxplot.stats(churn[,3])$out outliers=which(churn[,3] %in% boxplot.stats(churn[,3])$out) outliers extremes=subset(churn,churn[,3]>sd(churn[,3]*5)) extremes boxplot(churn[,3])

找出離群值與極端值

函數【pamk】 【kmeans】 檔案protein.txt 25 records 10 fields 資料集群範例四 函數【pamk】 【kmeans】 檔案protein.txt 25 records 10 fields

蛋白質攝取集群分析程式碼 proteinall=read.table("d:\\stella\\R\\protein.txt",header=T) (proteinall=na.exclude(proteinall)) protein=proteinall[,c(2:3)] library(fpc) protein.result=pamk(protein) protein.result$nc protein.result=kmeans(protein,3) #nc table(protein.result$cluster) df=data.frame(protein,Country= proteinall$Country,Cluster=protein.result$cluster) df[order(df$Cluster),] plot(protein,col=df$Cluster)

蛋白質攝取的檔案 *以紅肉白肉進行集群分析

蛋白質攝取集群分析結果 1紅白肉攝取少(北歐 地中海) 2白肉攝取多紅肉攝取少(東歐) 3紅白肉攝取多(西歐)

蛋白質攝取集群分析圖