【機械学習-データ分類】シルエット法でクラスター数を調べる｜サンプルコード紹介

import numpy as np
import pandas as pd
from sklearn.cluster import KMeans
import pylab as plt
from matplotlib import cm
from sklearn.metrics import silhouette_samples

data = pd.DataFrame({'国語':[65,80,88,62,80,82,67,78,82,69],
                     '数学':[65,67,79,70,92,83,67,73,73,85]},
                   index=['Aさん','Bさん','Cさん','Dさん','Eさん','Fさん','Gさん','Hさん','Iさん','Jさん'])

name = ('Aさん','Bさん','Cさん','Dさん','Eさん','Fさん','Gさん','Hさん','Iさん','Jさん')

plt.scatter(x=data['国語'], y=data['数学'])
plt.xlabel('国語')
plt.ylabel('数学')
plt.show()

km = KMeans(n_clusters=4,
            init='k-means++',     
            n_init=10,
            max_iter=300,
            random_state=0)

# クラスタ分類→[2, 1, 0, 2, 3, 0, 2, 1, 1, 3]
y_km = km.fit_predict(data)                         

# クラスタの重複をなくす→[0, 1, 2, 3]
cluster_labels = np.unique(y_km) 

# 配列の数：指定したクラスタ数→４
n_clusters = cluster_labels.shape[0] 

#シルエット係数を計算(引数：サンプルデータ, クラスター番号、ユークリッド距離でシルエット係数計算)
silhouette_vals = silhouette_samples(data,y_km,metric='euclidean')

y_ax_lower, y_ax_upper = 0,0
yticks = []
for i,c in enumerate(cluster_labels):
    c_silhouette_vals = silhouette_vals[y_km==c]
    c_silhouette_vals.sort()
    # サンプルの個数を足していく
    y_ax_upper +=len(c_silhouette_vals)
    # グラフ表示の色を作成
    color=cm.jet(float(i)/n_clusters)
    # 棒グラフを作成
    plt.barh(range(y_ax_lower,y_ax_upper),
        c_silhouette_vals,
        height=1.0,
        edgecolor='none',
        color=color
    )
    # クラスタラベルの表示位置
    yticks.append((y_ax_lower+y_ax_upper)/2.)
    # 底辺の値に棒の幅を足していく
    y_ax_lower += len(c_silhouette_vals)
    
#平均の位置に線を引く
silhouette_avg=np.mean(silhouette_vals)
plt.axvline(silhouette_avg,color="red",linestyle="--")
plt.ylabel("Cluster")
plt.xlabel("Silhouette coefficient")

class_data_list = []
result_class_num = 0

# 2〜データ個数の9割りまでクラスタ数を指定する
loop_num = int(len(data.index) * 0.9)
for class_num in range(2, loop_num):
    # クラスタ分類
    km = KMeans(n_clusters=class_num,
            init='k-means++',     
            n_init=10,
            max_iter=300,
            random_state=0)
    y_km = km.fit_predict(data) 
    
    cluster_labels = np.unique(y_km) 

    # 配列の数
    n_clusters = cluster_labels.shape[0] 

    #シルエット係数を計算
    silhouette_vals = silhouette_samples(data,y_km,metric='euclidean')
    
    # クラスタ内のデータ数
    sil=[]
    for i,c in enumerate(cluster_labels):
        c_silhouette_vals=silhouette_vals[y_km==c]
        sil.append(len(c_silhouette_vals))
    
    # クラスタ内のデータ数の差がデータ数の2割以下であれば分割できたとみなす
    data_diff = int(len(data.index) * 0.2)
    data_diff_flg = max(sil)-min(sil) < data_diff
    # クラスタ内のシルエット係数平均値
    ave_silhouette_vals = np.average(silhouette_vals)
    
    class_data_list.append({'class_num':class_num, 'data_diff':data_diff_flg, 'ave':ave_silhouette_vals})
    
        
max_ave = 0
for class_data in class_data_list:
    if class_data['data_diff'] and (max_ave < class_data['ave']):
        max_ave = class_data['ave']
        result_class_num = class_data['class_num']
        
print(result_class_num)