1. 聚类任务的整体设计思路与方案选型鸢尾花数据集在机器学习圈子里几乎是个“国民级”的练手数据150 条样本、4 个特征、3 个类别干净得不像真实世界的数据。但正是因为它干净才特别适合拿来横向对比不同聚类算法的脾气秉性。这次任务的核心目标很明确用 K-means、层次聚类、密度聚类三种路子对同一份鸢尾花数据做无监督分组然后观察它们各自分出来的簇长什么样、跟真实标签差多少。先说清楚一个前提聚类是无监督学习训练的时候我们假装不知道每条样本属于哪一类。但鸢尾花数据集本身是带标签的所以做完聚类之后我们可以拿真实标签来评估聚类效果这属于“事后验证”不是“训练时偷看答案”。这个区分很重要很多新手会混淆这一点以为聚类用到了标签就不算无监督了。为什么选这三种算法因为它们代表了三种完全不同的聚类哲学。K-means 是“划分式”聚类的代表核心思想是先把簇心定下来然后不断调整簇心位置直到每个点到它所属簇心的距离平方和最小。层次聚类走的是“树状合并”路线从每个点自成一簇开始一层一层往上合并最后形成一棵完整的聚类树你可以从树上任意位置切一刀得到想要的簇数量。密度聚类则是“跟着密度走”它不关心簇的形状是不是球形而是把高密度区域连成簇低密度区域当作噪声或边界。这三种算法放在一起对比能让你直观感受到一个事情没有哪种聚类算法是万能的。K-means 快但只擅长抓球形簇层次聚类能给出完整的层次结构但计算量随样本数增长很快密度聚类能发现任意形状的簇但对参数特别敏感。鸢尾花数据集里三个类别在特征空间里大致是线性可分的所以三种算法都能跑出不错的结果但如果你换成月亮形状或者同心圆形状的数据K-means 就会直接崩掉而密度聚类还能稳住。从实操角度来说这次任务的流程可以拆成这么几步先把数据加载进来做必要的预处理主要是标准化然后分别跑三种聚类算法接着用外部指标比如调整兰德指数 ARI、标准化互信息 NMI和内部指标比如轮廓系数来评估聚类质量最后用降维可视化把聚类结果画出来直观对比。整个流程在 scikit-learn 里都有现成的实现代码量不大但每一步背后的参数选择和调优逻辑值得仔细抠一抠。注意聚类之前一定要做标准化。鸢尾花的四个特征——花萼长度、花萼宽度、花瓣长度、花瓣宽度——量纲虽然都是厘米但数值范围有差异花瓣长度的方差明显比花萼宽度大。如果不标准化K-means 和层次聚类里基于欧氏距离的计算会被大方差特征主导密度聚类的邻域半径也会被带偏。StandardScaler 是默认选择均值为 0、方差为 1简单直接。2. 三种聚类算法的核心细节与实操要点2.1 K-means 算法簇心迭代与 K 值选择K-means 的算法逻辑可以用一句话概括先随机选 K 个点当簇心然后把每个样本分配给离它最近的簇心接着重新计算每个簇的均值作为新簇心重复“分配-更新”这个过程直到簇心不再移动或达到最大迭代次数。听起来简单但里面有几个坑。第一个坑是初始簇心的选择。经典 K-means 用完全随机的方式选初始点这会导致每次跑出来的结果可能不一样甚至陷入很差的局部最优。scikit-learn 默认用的是 K-means 初始化它的策略是让初始簇心彼此尽可能远第一个簇心随机选后续每个簇心被选中的概率与它到已有簇心距离的平方成正比。这个改进让算法收敛更快、结果更稳定。我实测下来在鸢尾花数据上K-means 基本每次都能收敛到差不多的解而纯随机初始化偶尔会分出一个只有两三个样本的迷你簇。第二个坑是 K 值怎么定。鸢尾花数据集我们知道真实类别是 3但实际项目中你往往不知道。常用的方法是手肘法和轮廓系数法。手肘法画的是 K 从 1 到 10 的簇内平方和inertia找那个下降速度突然变缓的“肘点”。轮廓系数则是综合考量簇内紧密度和簇间分离度取值在 -1 到 1 之间越接近 1 越好。在鸢尾花上K3 时轮廓系数通常在 0.55 左右标准化后K2 时反而可能更高因为其中两个类别在特征空间里挨得比较近强行分成两簇会让轮廓系数虚高。所以不能只看指标还要结合业务理解。from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler from sklearn.datasets import load_iris from sklearn.metrics import silhouette_score, adjusted_rand_score iris load_iris() X StandardScaler().fit_transform(iris.data) y_true iris.target inertias [] sil_scores [] for k in range(2, 11): km KMeans(n_clustersk, initk-means, n_init10, random_state42) labels km.fit_predict(X) inertias.append(km.inertia_) sil_scores.append(silhouette_score(X, labels)) km_final KMeans(n_clusters3, initk-means, n_init10, random_state42) labels_km km_final.fit_predict(X) print(K-means ARI:, adjusted_rand_score(y_true, labels_km))这段代码里n_init10的意思是跑 10 次不同初始化的 K-means取 inertia 最小的那次结果。scikit-learn 新版本里默认就是 10老版本默认是 1如果你发现结果波动大先检查这个参数。random_state固定住是为了复现实际生产里可以不用固定但调参阶段固定住方便对比。2.2 层次聚类链接准则与树状图切分层次聚类分两种方向自底向上凝聚型和自顶向下分裂型。实际用得多的是凝聚型也就是每个样本一开始自成一簇然后每次找距离最近的两个簇合并直到所有样本合并成一个大簇。这个合并过程会形成一棵树叫树状图dendrogram。你可以从树上任意高度切一刀切出来的簇数量就是你要的聚类数。层次聚类的核心参数是链接准则linkage它决定了“两个簇之间的距离”怎么算。常见的几种ward合并后簇内方差增加最小的两个簇。这是 scikit-learn 的默认值倾向于产生大小比较均匀的球形簇在鸢尾花上表现通常最好。complete两个簇中距离最远的两个点之间的距离。倾向于产生紧凑的簇但对异常值敏感。average两个簇中所有点对距离的平均值。折中方案结果比较均衡。single两个簇中距离最近的两个点之间的距离。容易产生链式效应一个簇会像贪吃蛇一样把沿途的点都吞进去在鸢尾花上可能把两个类别连成一条。我试过在鸢尾花上跑这四种 linkageward 和 average 的 ARI 都能到 0.7 以上complete 稍低一点single 直接崩到 0.5 以下因为它把很多边界点串成了一条。所以如果你不确定用哪个ward 是安全的起点。from scipy.cluster.hierarchy import dendrogram, linkage, fcluster import matplotlib.pyplot as plt Z linkage(X, methodward) plt.figure(figsize(12, 6)) dendrogram(Z, truncate_modelastp, p20) plt.title(Hierarchical Clustering Dendrogram (Ward)) plt.xlabel(Sample index or cluster size) plt.ylabel(Distance) plt.show() labels_hc fcluster(Z, t3, criterionmaxclust) print(Hierarchical ARI:, adjusted_rand_score(y_true, labels_hc))树状图在样本量大的时候会糊成一团truncate_modelastp配合p20只显示最后合并的 20 个簇可读性好很多。切树的时候criterionmaxclust表示按最大簇数量切t3就是切出 3 个簇。另一种方式是criteriondistance按距离阈值切适合你已经知道簇间距离大概在什么量级的情况。层次聚类的一个硬伤是计算复杂度。凝聚型层次聚类的时间复杂度大概是 O(n³) 的朴素实现优化后能到 O(n² log n)但样本量上万之后基本就跑不动了。鸢尾花只有 150 条随便跑但你要拿它处理几万条用户行为数据就得换 K-means 或者密度聚类了。2.3 密度聚类DBSCAN 的邻域参数与噪声处理DBSCAN 的核心概念只有两个参数eps邻域半径和 min_samples邻域内最少点数。算法逻辑是如果一个点的 eps 邻域内至少有 min_samples 个点包括它自己那它就是一个核心点核心点以及它们邻域内的点互相连接形成一个簇不属于任何簇的点被标记为噪声标签为 -1。DBSCAN 最大的优势是不需要预先指定簇数量而且能发现任意形状的簇。在鸢尾花上它的表现取决于 eps 和 min_samples 怎么选。eps 太小大部分点都会变成噪声eps 太大所有点会合并成一个簇。min_samples 一般设成特征数加 1 或者特征数的两倍鸢尾花有 4 个特征min_samples 设在 4 到 8 之间比较合理。怎么选 eps常用的方法是 k-距离图。对每个点计算它到第 k 个最近邻的距离k 通常取 min_samples然后把这些距离从小到大排序画出来。曲线拐弯最明显的地方对应的距离就是比较合适的 eps。在标准化后的鸢尾花数据上这个拐点大概在 0.8 到 1.0 之间。from sklearn.cluster import DBSCAN from sklearn.neighbors import NearestNeighbors import numpy as np k 5 nbrs NearestNeighbors(n_neighborsk).fit(X) distances, indices nbrs.kneighbors(X) k_distances np.sort(distances[:, k-1], axis0) plt.figure(figsize(8, 5)) plt.plot(k_distances) plt.xlabel(Points sorted by distance) plt.ylabel(f{k}-th nearest neighbor distance) plt.title(k-distance Graph for DBSCAN eps Selection) plt.grid(True) plt.show() db DBSCAN(eps0.9, min_samples5) labels_db db.fit_predict(X) n_clusters len(set(labels_db)) - (1 if -1 in labels_db else 0) n_noise list(labels_db).count(-1) print(fDBSCAN clusters: {n_clusters}, noise points: {n_noise}) print(DBSCAN ARI:, adjusted_rand_score(y_true, labels_db))实测在鸢尾花上eps0.9、min_samples5 能分出 2 到 3 个簇噪声点大概 5 到 10 个。有意思的是DBSCAN 经常把其中两个挨得近的类别合并成一个簇然后把另一个类别单独分出来同时把两个类别交界处的一些点标成噪声。这其实反映了数据的真实结构setosa 类别跟另外两个类别离得很远而 versicolor 和 virginica 在特征空间里有重叠。K-means 强行分三簇的时候会把重叠区域切一刀而 DBSCAN 选择把模糊地带标成噪声两种处理方式没有绝对的对错取决于你的业务需求。注意DBSCAN 对参数极其敏感eps 差 0.1 结果可能天差地别。实际项目中不要只跑一组参数就下结论建议用网格搜索的方式eps 从 0.3 到 1.5 按 0.1 步进min_samples 从 3 到 10 遍历记录每组参数的簇数量和噪声比例再结合轮廓系数排除噪声点后计算来选最优组合。3. 完整实操流程与关键环节实现3.1 数据加载与标准化处理鸢尾花数据在 scikit-learn 里一行代码就能加载但加载之后别急着往模型里塞。先做几件事检查缺失值、看特征分布、做标准化。鸢尾花没有缺失值特征分布也还算正常但标准化这一步不能省。import pandas as pd from sklearn.datasets import load_iris from sklearn.preprocessing import StandardScaler iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target print(df.describe()) print(df.groupby(target).mean()) scaler StandardScaler() X_scaled scaler.fit_transform(iris.data)df.groupby(target).mean()这一步能让你直观看到三个类别在四个特征上的均值差异。setosa 的花瓣长度均值在 1.5 厘米左右另外两个类别在 4 到 5.5 厘米差距非常明显。花瓣宽度也是类似情况。花萼长度和花萼宽度的类别间差异就没那么大这也是为什么聚类的时候花瓣特征贡献更大。标准化之后每个特征的均值变成 0标准差变成 1。你可以再跑一次pd.DataFrame(X_scaled).describe()确认一下。这一步做完所有基于距离的算法都站在同一起跑线上了。3.2 三种算法并行运行与结果对比把三种算法放在同一个脚本里跑方便对比。我习惯把标签存到一个 DataFrame 里每一列对应一种算法的聚类结果最后一起算指标。from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score, silhouette_score from scipy.cluster.hierarchy import linkage, fcluster results pd.DataFrame({true: iris.target}) km KMeans(n_clusters3, initk-means, n_init10, random_state42) results[kmeans] km.fit_predict(X_scaled) Z linkage(X_scaled, methodward) results[hierarchical] fcluster(Z, t3, criterionmaxclust) db DBSCAN(eps0.9, min_samples5) results[dbscan] db.fit_predict(X_scaled) for algo in [kmeans, hierarchical, dbscan]: mask results[algo] ! -1 ari adjusted_rand_score(results.loc[mask, true], results.loc[mask, algo]) nmi normalized_mutual_info_score(results.loc[mask, true], results.loc[mask, algo]) sil silhouette_score(X_scaled[mask], results.loc[mask, algo]) print(f{algo}: ARI{ari:.3f}, NMI{nmi:.3f}, Silhouette{sil:.3f})跑完你会看到类似这样的结果具体数值会因随机种子和参数略有浮动算法ARINMI轮廓系数簇数量噪声点K-means0.730.760.4630层次聚类 (Ward)0.730.760.4530DBSCAN0.550.650.5228K-means 和层次聚类在鸢尾花上表现接近ARI 都在 0.73 左右说明它们分出来的簇跟真实类别吻合度不错但也不是完美——因为 versicolor 和 virginica 本来就有重叠任何硬聚类算法都会在边界上犯错。DBSCAN 的 ARI 低一些但它的轮廓系数反而更高因为它把模糊地带的点标成了噪声剩下的簇更紧凑。这个对比很有意思如果你追求跟真实标签最大程度吻合选 K-means如果你想要更干净的簇、允许丢弃一些边界样本DBSCAN 更合适。3.3 降维可视化与聚类边界观察光看指标不够直观把聚类结果画出来才能看出门道。鸢尾花有 4 个特征没法直接画在二维平面上用 PCA 降到 2 维是最省事的做法。from sklearn.decomposition import PCA import matplotlib.pyplot as plt pca PCA(n_components2) X_pca pca.fit_transform(X_scaled) fig, axes plt.subplots(1, 4, figsize(20, 5)) titles [True Labels, K-means, Hierarchical (Ward), DBSCAN] label_sets [iris.target, results[kmeans], results[hierarchical], results[dbscan]] for ax, title, labels in zip(axes, titles, label_sets): scatter ax.scatter(X_pca[:, 0], X_pca[:, 1], clabels, cmapviridis, edgecolork, s50) ax.set_title(title) ax.set_xlabel(PC1) ax.set_ylabel(PC2) plt.tight_layout() plt.show()PCA 降维后前两个主成分大概能解释 95% 以上的方差所以二维图基本能反映原始数据的结构。你会看到 setosa 类别在左边形成一个独立的簇另外两个类别在右边混在一起。K-means 和层次聚类会在右边强行切一刀把混在一起的点分成两簇。DBSCAN 则可能把右边整体标成一个簇或者把中间过渡区域标成噪声。如果你想看更清晰的决策边界可以用mlxtend库的plot_decision_regions或者自己用 meshgrid 生成网格点对每个网格点预测簇标签然后画等高线。不过对于聚类任务散点图加颜色区分已经足够说明问题了。提示PCA 可视化的时候记得把噪声点DBSCAN 标签为 -1单独用一种颜色标出来比如灰色或者黑色这样一眼就能看出哪些样本被算法判定为“不属于任何簇”。这个信息在业务上往往很有价值——那些被标为噪声的样本可能就是需要人工复核的异常案例。4. 常见问题排查与调参经验实录4.1 K-means 结果每次跑都不一样怎么办这是新手最常遇到的问题。原因通常是n_init设得太小或者没设random_state。scikit-learn 老版本默认n_init1只跑一次初始化结果当然不稳定。新版本默认n_init10跑 10 次取最优稳定性好很多。如果你用的是老版本手动设成 10 或者 20。另外initk-means比initrandom稳定得多除非你有特殊理由否则别用纯随机初始化。还有一个隐藏问题数据没标准化。如果某个特征数值范围特别大K-means 的簇心会被这个特征主导不同初始化之间的差异也会被放大。标准化之后这个问题基本消失。4.2 层次聚类树状图看不懂怎么切树状图的纵轴是合并时的距离横轴是样本或簇。切树的原则是找纵轴上“最长的竖线”——也就是某次合并的距离明显大于它上下两次合并的距离那个位置就是天然的切分点。在鸢尾花上ward 链接的树状图通常会在距离 10 到 15 之间有一个明显的跳跃切在那里就能得到 3 个簇。如果你不想看图可以用fcluster配合criterionmaxclust直接指定簇数量或者用criteriondistance指定距离阈值。后者适合你已经从业务上知道簇间距离大概在什么量级的情况。比如你做用户分群知道高价值用户和普通用户的特征距离至少在 2 以上那就可以把阈值设在 2。4.3 DBSCAN 把大部分点都标成噪声了这通常是因为 eps 设得太小。DBSCAN 的 eps 是邻域半径如果数据标准化之后大部分点之间的欧氏距离在 1 到 3 之间你把 eps 设成 0.3那每个点的邻域里可能只有它自己自然全成噪声了。解决办法就是画 k-距离图找拐点。或者简单粗暴一点从 0.5 开始每次加 0.1观察噪声比例直到噪声比例降到 10% 以下。另一个原因是 min_samples 设得太大。min_samples 是邻域内最少点数设成 20 的话只有非常密集的区域才能形成核心点稀疏区域全变噪声。鸢尾花只有 150 条样本min_samples 设在 4 到 8 之间比较合理。样本量大的时候可以适当调大但一般不超过特征数的两倍。4.4 三种算法结果差异很大该信哪个这个问题没有标准答案取决于你的目标。如果你有真实标签像鸢尾花这样直接算 ARI 和 NMI哪个高信哪个。但实际项目中往往没有标签这时候要看内部指标轮廓系数、Calinski-Harabasz 指数、Davies-Bouldin 指数和业务可解释性。我的经验是先跑 K-means 和层次聚类看大致分几簇合理再用 DBSCAN 验证有没有噪声点和非球形簇。如果三种算法给出的簇数量差不多那说明数据结构比较清晰如果差异很大说明数据本身可能不适合硬聚类或者需要先做特征工程。鸢尾花属于前者三种算法虽然细节不同但大方向一致——setosa 独立成簇另外两个类别要么合并要么切开。常见问题可能原因排查方法解决方案K-means 结果不稳定n_init 太小、未标准化检查 n_init 和 scalern_init10StandardScaler层次聚类树状图糊成一团样本量太大看样本数truncate_modelastpDBSCAN 全是噪声eps 太小、min_samples 太大画 k-距离图调大 eps调小 min_samples轮廓系数很高但 ARI 很低簇数量不对对比真实标签重新选 K 值三种算法结果完全不一致数据不适合硬聚类检查特征分布尝试谱聚类或高斯混合4.5 独家避坑技巧标准化与随机种子的那些事标准化看起来简单但有个细节容易忽略如果你先划分训练集和测试集再标准化一定要用训练集的均值和方差去变换测试集不能各自标准化。聚类任务通常没有训练测试划分所有数据一起标准化没问题但如果你后续要做半监督或者主动学习这个坑要提前避开。随机种子方面K-means 的random_state固定住能让结果可复现但调参阶段我建议先不固定跑 5 到 10 次不同种子看 ARI 的波动范围。如果波动超过 0.05说明算法对这个数据集不太稳定可能需要换初始化方法或者换算法。鸢尾花上 K-means 的波动通常很小0.01 以内说明数据结构对 K-means 很友好。还有一个经验DBSCAN 的 eps 和 min_samples 不要同时调。先固定 min_samples比如设成 5调 eps 找到合适的簇数量和噪声比例然后再微调 min_samples。两个参数一起调你根本分不清是哪个参数在起作用。5. 聚类效果评估与业务落地思考5.1 外部指标与内部指标的配合使用外部指标需要真实标签鸢尾花有所以能用。ARI 和 NMI 是最常用的两个。ARI 的取值范围是 -1 到 10 表示跟随机划分差不多1 表示完美吻合。NMI 的取值范围是 0 到 1越大越好。在鸢尾花上K-means 和层次聚类的 ARI 在 0.7 左右NMI 在 0.75 左右说明聚类结果跟真实类别有较强的一致性但不算完美——这很正常因为 versicolor 和 virginica 在特征空间里本来就有重叠。内部指标不需要标签轮廓系数是最常用的。它综合考量每个点到同簇其他点的平均距离紧密度和到最近簇点的平均距离分离度取值 -1 到 1。鸢尾花上K-means 的轮廓系数在 0.45 到 0.55 之间取决于 K 值DBSCAN 排除噪声点后能到 0.5 以上。注意轮廓系数对簇形状敏感它假设簇是凸的所以对 DBSCAN 发现的非球形簇轮廓系数可能偏低这时候要结合其他指标看。Calinski-Harabasz 指数也叫方差比准则是另一个内部指标计算的是簇间离散度与簇内离散度的比值越大越好。Davies-Bouldin 指数则是越小越好它衡量的是簇内散度与簇间距离的比值。这几个指标一起看能更全面地评估聚类质量。5.2 从鸢尾花到真实业务数据的迁移经验鸢尾花太干净了真实业务数据往往有缺失值、异常值、类别不平衡、高维稀疏等问题。把鸢尾花上的经验迁移到真实数据有几个地方要调整。第一缺失值处理。鸢尾花没有缺失值但真实数据经常有。聚类算法对缺失值很敏感K-means 和层次聚类没法直接处理缺失值DBSCAN 也不行。常用的做法是均值填充、中位数填充或者用 KNN 填充。如果缺失比例超过 20%考虑直接删掉这个特征。第二异常值处理。DBSCAN 本身能识别噪声点但 K-means 和层次聚类对异常值很敏感。一个极端异常值就能把 K-means 的簇心拉偏。建议在聚类之前先用 IQR 或者 Z-score 方法识别并处理异常值或者用鲁棒性更强的 K-medoids 替代 K-means。第三高维数据。鸢尾花只有 4 维真实数据动辄几十上百维。高维空间里欧氏距离会失效维度灾难所有点之间的距离都差不多。这时候要么先做降维PCA、t-SNE、UMAP要么换用余弦距离或者杰卡德距离。DBSCAN 在高维数据上尤其容易失效因为 eps 邻域在高维空间里几乎是空的。第四类别不平衡。鸢尾花三个类别各 50 条完全平衡。真实数据里往往某个簇特别大、某个簇特别小。K-means 倾向于把大簇切小、小簇合并导致小簇被吞掉。这时候可以考虑用层次聚类或者密度聚类或者对 K-means 做加权改进。5.3 聚类结果的业务解读与后续动作聚类本身不是目的聚类之后做什么才是关键。在鸢尾花上聚类结果可以用来验证分类模型的合理性或者作为半监督学习的起点。在真实业务里聚类结果通常用于用户分群、异常检测、图像分割、文档主题发现等场景。以用户分群为例你拿到聚类结果后第一件事是给每个簇打标签。看每个簇在关键特征上的均值比如高消费高频次、低消费低频次、高消费低频次等。然后针对不同群体制定运营策略。这时候聚类的可解释性比 ARI 更重要——如果某个簇的特征均值跟其他簇没有明显差异那这个簇可能没有业务意义需要重新聚类或者调整特征。异常检测场景下DBSCAN 的噪声标签直接就是异常候选。但要注意DBSCAN 标为噪声的点不一定是真异常可能只是稀疏区域的正常点。建议把噪声点单独拿出来用其他方法比如孤立森林、One-Class SVM二次验证。图像分割场景下聚类的对象是像素的颜色、纹理等特征。K-means 在图像分割里用得很多因为它快。但图像里的簇往往不是球形的DBSCAN 或者 Mean Shift 可能效果更好。不过图像像素数量大DBSCAN 的计算量会很大通常要先降采样或者用超像素预处理。我个人在实际操作中的体会是聚类算法的选择没有银弹关键是要理解每种算法的假设和局限。K-means 假设簇是球形的、大小差不多层次聚类假设簇之间有层次关系DBSCAN 假设簇是高密度区域被低密度区域分隔。你的数据符合哪个假设就用哪个算法。拿不准的时候三个都跑一遍对比结果往往能发现数据里隐藏的结构。最后再分享一个小技巧聚类之前先画一下特征的两两散点图矩阵肉眼看看有没有明显的分组结构这比任何指标都直观。
K-means、层次聚类与DBSCAN实战对比：鸢尾花数据集聚类算法选型指南
1. 聚类任务的整体设计思路与方案选型鸢尾花数据集在机器学习圈子里几乎是个“国民级”的练手数据150 条样本、4 个特征、3 个类别干净得不像真实世界的数据。但正是因为它干净才特别适合拿来横向对比不同聚类算法的脾气秉性。这次任务的核心目标很明确用 K-means、层次聚类、密度聚类三种路子对同一份鸢尾花数据做无监督分组然后观察它们各自分出来的簇长什么样、跟真实标签差多少。先说清楚一个前提聚类是无监督学习训练的时候我们假装不知道每条样本属于哪一类。但鸢尾花数据集本身是带标签的所以做完聚类之后我们可以拿真实标签来评估聚类效果这属于“事后验证”不是“训练时偷看答案”。这个区分很重要很多新手会混淆这一点以为聚类用到了标签就不算无监督了。为什么选这三种算法因为它们代表了三种完全不同的聚类哲学。K-means 是“划分式”聚类的代表核心思想是先把簇心定下来然后不断调整簇心位置直到每个点到它所属簇心的距离平方和最小。层次聚类走的是“树状合并”路线从每个点自成一簇开始一层一层往上合并最后形成一棵完整的聚类树你可以从树上任意位置切一刀得到想要的簇数量。密度聚类则是“跟着密度走”它不关心簇的形状是不是球形而是把高密度区域连成簇低密度区域当作噪声或边界。这三种算法放在一起对比能让你直观感受到一个事情没有哪种聚类算法是万能的。K-means 快但只擅长抓球形簇层次聚类能给出完整的层次结构但计算量随样本数增长很快密度聚类能发现任意形状的簇但对参数特别敏感。鸢尾花数据集里三个类别在特征空间里大致是线性可分的所以三种算法都能跑出不错的结果但如果你换成月亮形状或者同心圆形状的数据K-means 就会直接崩掉而密度聚类还能稳住。从实操角度来说这次任务的流程可以拆成这么几步先把数据加载进来做必要的预处理主要是标准化然后分别跑三种聚类算法接着用外部指标比如调整兰德指数 ARI、标准化互信息 NMI和内部指标比如轮廓系数来评估聚类质量最后用降维可视化把聚类结果画出来直观对比。整个流程在 scikit-learn 里都有现成的实现代码量不大但每一步背后的参数选择和调优逻辑值得仔细抠一抠。注意聚类之前一定要做标准化。鸢尾花的四个特征——花萼长度、花萼宽度、花瓣长度、花瓣宽度——量纲虽然都是厘米但数值范围有差异花瓣长度的方差明显比花萼宽度大。如果不标准化K-means 和层次聚类里基于欧氏距离的计算会被大方差特征主导密度聚类的邻域半径也会被带偏。StandardScaler 是默认选择均值为 0、方差为 1简单直接。2. 三种聚类算法的核心细节与实操要点2.1 K-means 算法簇心迭代与 K 值选择K-means 的算法逻辑可以用一句话概括先随机选 K 个点当簇心然后把每个样本分配给离它最近的簇心接着重新计算每个簇的均值作为新簇心重复“分配-更新”这个过程直到簇心不再移动或达到最大迭代次数。听起来简单但里面有几个坑。第一个坑是初始簇心的选择。经典 K-means 用完全随机的方式选初始点这会导致每次跑出来的结果可能不一样甚至陷入很差的局部最优。scikit-learn 默认用的是 K-means 初始化它的策略是让初始簇心彼此尽可能远第一个簇心随机选后续每个簇心被选中的概率与它到已有簇心距离的平方成正比。这个改进让算法收敛更快、结果更稳定。我实测下来在鸢尾花数据上K-means 基本每次都能收敛到差不多的解而纯随机初始化偶尔会分出一个只有两三个样本的迷你簇。第二个坑是 K 值怎么定。鸢尾花数据集我们知道真实类别是 3但实际项目中你往往不知道。常用的方法是手肘法和轮廓系数法。手肘法画的是 K 从 1 到 10 的簇内平方和inertia找那个下降速度突然变缓的“肘点”。轮廓系数则是综合考量簇内紧密度和簇间分离度取值在 -1 到 1 之间越接近 1 越好。在鸢尾花上K3 时轮廓系数通常在 0.55 左右标准化后K2 时反而可能更高因为其中两个类别在特征空间里挨得比较近强行分成两簇会让轮廓系数虚高。所以不能只看指标还要结合业务理解。from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler from sklearn.datasets import load_iris from sklearn.metrics import silhouette_score, adjusted_rand_score iris load_iris() X StandardScaler().fit_transform(iris.data) y_true iris.target inertias [] sil_scores [] for k in range(2, 11): km KMeans(n_clustersk, initk-means, n_init10, random_state42) labels km.fit_predict(X) inertias.append(km.inertia_) sil_scores.append(silhouette_score(X, labels)) km_final KMeans(n_clusters3, initk-means, n_init10, random_state42) labels_km km_final.fit_predict(X) print(K-means ARI:, adjusted_rand_score(y_true, labels_km))这段代码里n_init10的意思是跑 10 次不同初始化的 K-means取 inertia 最小的那次结果。scikit-learn 新版本里默认就是 10老版本默认是 1如果你发现结果波动大先检查这个参数。random_state固定住是为了复现实际生产里可以不用固定但调参阶段固定住方便对比。2.2 层次聚类链接准则与树状图切分层次聚类分两种方向自底向上凝聚型和自顶向下分裂型。实际用得多的是凝聚型也就是每个样本一开始自成一簇然后每次找距离最近的两个簇合并直到所有样本合并成一个大簇。这个合并过程会形成一棵树叫树状图dendrogram。你可以从树上任意高度切一刀切出来的簇数量就是你要的聚类数。层次聚类的核心参数是链接准则linkage它决定了“两个簇之间的距离”怎么算。常见的几种ward合并后簇内方差增加最小的两个簇。这是 scikit-learn 的默认值倾向于产生大小比较均匀的球形簇在鸢尾花上表现通常最好。complete两个簇中距离最远的两个点之间的距离。倾向于产生紧凑的簇但对异常值敏感。average两个簇中所有点对距离的平均值。折中方案结果比较均衡。single两个簇中距离最近的两个点之间的距离。容易产生链式效应一个簇会像贪吃蛇一样把沿途的点都吞进去在鸢尾花上可能把两个类别连成一条。我试过在鸢尾花上跑这四种 linkageward 和 average 的 ARI 都能到 0.7 以上complete 稍低一点single 直接崩到 0.5 以下因为它把很多边界点串成了一条。所以如果你不确定用哪个ward 是安全的起点。from scipy.cluster.hierarchy import dendrogram, linkage, fcluster import matplotlib.pyplot as plt Z linkage(X, methodward) plt.figure(figsize(12, 6)) dendrogram(Z, truncate_modelastp, p20) plt.title(Hierarchical Clustering Dendrogram (Ward)) plt.xlabel(Sample index or cluster size) plt.ylabel(Distance) plt.show() labels_hc fcluster(Z, t3, criterionmaxclust) print(Hierarchical ARI:, adjusted_rand_score(y_true, labels_hc))树状图在样本量大的时候会糊成一团truncate_modelastp配合p20只显示最后合并的 20 个簇可读性好很多。切树的时候criterionmaxclust表示按最大簇数量切t3就是切出 3 个簇。另一种方式是criteriondistance按距离阈值切适合你已经知道簇间距离大概在什么量级的情况。层次聚类的一个硬伤是计算复杂度。凝聚型层次聚类的时间复杂度大概是 O(n³) 的朴素实现优化后能到 O(n² log n)但样本量上万之后基本就跑不动了。鸢尾花只有 150 条随便跑但你要拿它处理几万条用户行为数据就得换 K-means 或者密度聚类了。2.3 密度聚类DBSCAN 的邻域参数与噪声处理DBSCAN 的核心概念只有两个参数eps邻域半径和 min_samples邻域内最少点数。算法逻辑是如果一个点的 eps 邻域内至少有 min_samples 个点包括它自己那它就是一个核心点核心点以及它们邻域内的点互相连接形成一个簇不属于任何簇的点被标记为噪声标签为 -1。DBSCAN 最大的优势是不需要预先指定簇数量而且能发现任意形状的簇。在鸢尾花上它的表现取决于 eps 和 min_samples 怎么选。eps 太小大部分点都会变成噪声eps 太大所有点会合并成一个簇。min_samples 一般设成特征数加 1 或者特征数的两倍鸢尾花有 4 个特征min_samples 设在 4 到 8 之间比较合理。怎么选 eps常用的方法是 k-距离图。对每个点计算它到第 k 个最近邻的距离k 通常取 min_samples然后把这些距离从小到大排序画出来。曲线拐弯最明显的地方对应的距离就是比较合适的 eps。在标准化后的鸢尾花数据上这个拐点大概在 0.8 到 1.0 之间。from sklearn.cluster import DBSCAN from sklearn.neighbors import NearestNeighbors import numpy as np k 5 nbrs NearestNeighbors(n_neighborsk).fit(X) distances, indices nbrs.kneighbors(X) k_distances np.sort(distances[:, k-1], axis0) plt.figure(figsize(8, 5)) plt.plot(k_distances) plt.xlabel(Points sorted by distance) plt.ylabel(f{k}-th nearest neighbor distance) plt.title(k-distance Graph for DBSCAN eps Selection) plt.grid(True) plt.show() db DBSCAN(eps0.9, min_samples5) labels_db db.fit_predict(X) n_clusters len(set(labels_db)) - (1 if -1 in labels_db else 0) n_noise list(labels_db).count(-1) print(fDBSCAN clusters: {n_clusters}, noise points: {n_noise}) print(DBSCAN ARI:, adjusted_rand_score(y_true, labels_db))实测在鸢尾花上eps0.9、min_samples5 能分出 2 到 3 个簇噪声点大概 5 到 10 个。有意思的是DBSCAN 经常把其中两个挨得近的类别合并成一个簇然后把另一个类别单独分出来同时把两个类别交界处的一些点标成噪声。这其实反映了数据的真实结构setosa 类别跟另外两个类别离得很远而 versicolor 和 virginica 在特征空间里有重叠。K-means 强行分三簇的时候会把重叠区域切一刀而 DBSCAN 选择把模糊地带标成噪声两种处理方式没有绝对的对错取决于你的业务需求。注意DBSCAN 对参数极其敏感eps 差 0.1 结果可能天差地别。实际项目中不要只跑一组参数就下结论建议用网格搜索的方式eps 从 0.3 到 1.5 按 0.1 步进min_samples 从 3 到 10 遍历记录每组参数的簇数量和噪声比例再结合轮廓系数排除噪声点后计算来选最优组合。3. 完整实操流程与关键环节实现3.1 数据加载与标准化处理鸢尾花数据在 scikit-learn 里一行代码就能加载但加载之后别急着往模型里塞。先做几件事检查缺失值、看特征分布、做标准化。鸢尾花没有缺失值特征分布也还算正常但标准化这一步不能省。import pandas as pd from sklearn.datasets import load_iris from sklearn.preprocessing import StandardScaler iris load_iris() df pd.DataFrame(iris.data, columnsiris.feature_names) df[target] iris.target print(df.describe()) print(df.groupby(target).mean()) scaler StandardScaler() X_scaled scaler.fit_transform(iris.data)df.groupby(target).mean()这一步能让你直观看到三个类别在四个特征上的均值差异。setosa 的花瓣长度均值在 1.5 厘米左右另外两个类别在 4 到 5.5 厘米差距非常明显。花瓣宽度也是类似情况。花萼长度和花萼宽度的类别间差异就没那么大这也是为什么聚类的时候花瓣特征贡献更大。标准化之后每个特征的均值变成 0标准差变成 1。你可以再跑一次pd.DataFrame(X_scaled).describe()确认一下。这一步做完所有基于距离的算法都站在同一起跑线上了。3.2 三种算法并行运行与结果对比把三种算法放在同一个脚本里跑方便对比。我习惯把标签存到一个 DataFrame 里每一列对应一种算法的聚类结果最后一起算指标。from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score, silhouette_score from scipy.cluster.hierarchy import linkage, fcluster results pd.DataFrame({true: iris.target}) km KMeans(n_clusters3, initk-means, n_init10, random_state42) results[kmeans] km.fit_predict(X_scaled) Z linkage(X_scaled, methodward) results[hierarchical] fcluster(Z, t3, criterionmaxclust) db DBSCAN(eps0.9, min_samples5) results[dbscan] db.fit_predict(X_scaled) for algo in [kmeans, hierarchical, dbscan]: mask results[algo] ! -1 ari adjusted_rand_score(results.loc[mask, true], results.loc[mask, algo]) nmi normalized_mutual_info_score(results.loc[mask, true], results.loc[mask, algo]) sil silhouette_score(X_scaled[mask], results.loc[mask, algo]) print(f{algo}: ARI{ari:.3f}, NMI{nmi:.3f}, Silhouette{sil:.3f})跑完你会看到类似这样的结果具体数值会因随机种子和参数略有浮动算法ARINMI轮廓系数簇数量噪声点K-means0.730.760.4630层次聚类 (Ward)0.730.760.4530DBSCAN0.550.650.5228K-means 和层次聚类在鸢尾花上表现接近ARI 都在 0.73 左右说明它们分出来的簇跟真实类别吻合度不错但也不是完美——因为 versicolor 和 virginica 本来就有重叠任何硬聚类算法都会在边界上犯错。DBSCAN 的 ARI 低一些但它的轮廓系数反而更高因为它把模糊地带的点标成了噪声剩下的簇更紧凑。这个对比很有意思如果你追求跟真实标签最大程度吻合选 K-means如果你想要更干净的簇、允许丢弃一些边界样本DBSCAN 更合适。3.3 降维可视化与聚类边界观察光看指标不够直观把聚类结果画出来才能看出门道。鸢尾花有 4 个特征没法直接画在二维平面上用 PCA 降到 2 维是最省事的做法。from sklearn.decomposition import PCA import matplotlib.pyplot as plt pca PCA(n_components2) X_pca pca.fit_transform(X_scaled) fig, axes plt.subplots(1, 4, figsize(20, 5)) titles [True Labels, K-means, Hierarchical (Ward), DBSCAN] label_sets [iris.target, results[kmeans], results[hierarchical], results[dbscan]] for ax, title, labels in zip(axes, titles, label_sets): scatter ax.scatter(X_pca[:, 0], X_pca[:, 1], clabels, cmapviridis, edgecolork, s50) ax.set_title(title) ax.set_xlabel(PC1) ax.set_ylabel(PC2) plt.tight_layout() plt.show()PCA 降维后前两个主成分大概能解释 95% 以上的方差所以二维图基本能反映原始数据的结构。你会看到 setosa 类别在左边形成一个独立的簇另外两个类别在右边混在一起。K-means 和层次聚类会在右边强行切一刀把混在一起的点分成两簇。DBSCAN 则可能把右边整体标成一个簇或者把中间过渡区域标成噪声。如果你想看更清晰的决策边界可以用mlxtend库的plot_decision_regions或者自己用 meshgrid 生成网格点对每个网格点预测簇标签然后画等高线。不过对于聚类任务散点图加颜色区分已经足够说明问题了。提示PCA 可视化的时候记得把噪声点DBSCAN 标签为 -1单独用一种颜色标出来比如灰色或者黑色这样一眼就能看出哪些样本被算法判定为“不属于任何簇”。这个信息在业务上往往很有价值——那些被标为噪声的样本可能就是需要人工复核的异常案例。4. 常见问题排查与调参经验实录4.1 K-means 结果每次跑都不一样怎么办这是新手最常遇到的问题。原因通常是n_init设得太小或者没设random_state。scikit-learn 老版本默认n_init1只跑一次初始化结果当然不稳定。新版本默认n_init10跑 10 次取最优稳定性好很多。如果你用的是老版本手动设成 10 或者 20。另外initk-means比initrandom稳定得多除非你有特殊理由否则别用纯随机初始化。还有一个隐藏问题数据没标准化。如果某个特征数值范围特别大K-means 的簇心会被这个特征主导不同初始化之间的差异也会被放大。标准化之后这个问题基本消失。4.2 层次聚类树状图看不懂怎么切树状图的纵轴是合并时的距离横轴是样本或簇。切树的原则是找纵轴上“最长的竖线”——也就是某次合并的距离明显大于它上下两次合并的距离那个位置就是天然的切分点。在鸢尾花上ward 链接的树状图通常会在距离 10 到 15 之间有一个明显的跳跃切在那里就能得到 3 个簇。如果你不想看图可以用fcluster配合criterionmaxclust直接指定簇数量或者用criteriondistance指定距离阈值。后者适合你已经从业务上知道簇间距离大概在什么量级的情况。比如你做用户分群知道高价值用户和普通用户的特征距离至少在 2 以上那就可以把阈值设在 2。4.3 DBSCAN 把大部分点都标成噪声了这通常是因为 eps 设得太小。DBSCAN 的 eps 是邻域半径如果数据标准化之后大部分点之间的欧氏距离在 1 到 3 之间你把 eps 设成 0.3那每个点的邻域里可能只有它自己自然全成噪声了。解决办法就是画 k-距离图找拐点。或者简单粗暴一点从 0.5 开始每次加 0.1观察噪声比例直到噪声比例降到 10% 以下。另一个原因是 min_samples 设得太大。min_samples 是邻域内最少点数设成 20 的话只有非常密集的区域才能形成核心点稀疏区域全变噪声。鸢尾花只有 150 条样本min_samples 设在 4 到 8 之间比较合理。样本量大的时候可以适当调大但一般不超过特征数的两倍。4.4 三种算法结果差异很大该信哪个这个问题没有标准答案取决于你的目标。如果你有真实标签像鸢尾花这样直接算 ARI 和 NMI哪个高信哪个。但实际项目中往往没有标签这时候要看内部指标轮廓系数、Calinski-Harabasz 指数、Davies-Bouldin 指数和业务可解释性。我的经验是先跑 K-means 和层次聚类看大致分几簇合理再用 DBSCAN 验证有没有噪声点和非球形簇。如果三种算法给出的簇数量差不多那说明数据结构比较清晰如果差异很大说明数据本身可能不适合硬聚类或者需要先做特征工程。鸢尾花属于前者三种算法虽然细节不同但大方向一致——setosa 独立成簇另外两个类别要么合并要么切开。常见问题可能原因排查方法解决方案K-means 结果不稳定n_init 太小、未标准化检查 n_init 和 scalern_init10StandardScaler层次聚类树状图糊成一团样本量太大看样本数truncate_modelastpDBSCAN 全是噪声eps 太小、min_samples 太大画 k-距离图调大 eps调小 min_samples轮廓系数很高但 ARI 很低簇数量不对对比真实标签重新选 K 值三种算法结果完全不一致数据不适合硬聚类检查特征分布尝试谱聚类或高斯混合4.5 独家避坑技巧标准化与随机种子的那些事标准化看起来简单但有个细节容易忽略如果你先划分训练集和测试集再标准化一定要用训练集的均值和方差去变换测试集不能各自标准化。聚类任务通常没有训练测试划分所有数据一起标准化没问题但如果你后续要做半监督或者主动学习这个坑要提前避开。随机种子方面K-means 的random_state固定住能让结果可复现但调参阶段我建议先不固定跑 5 到 10 次不同种子看 ARI 的波动范围。如果波动超过 0.05说明算法对这个数据集不太稳定可能需要换初始化方法或者换算法。鸢尾花上 K-means 的波动通常很小0.01 以内说明数据结构对 K-means 很友好。还有一个经验DBSCAN 的 eps 和 min_samples 不要同时调。先固定 min_samples比如设成 5调 eps 找到合适的簇数量和噪声比例然后再微调 min_samples。两个参数一起调你根本分不清是哪个参数在起作用。5. 聚类效果评估与业务落地思考5.1 外部指标与内部指标的配合使用外部指标需要真实标签鸢尾花有所以能用。ARI 和 NMI 是最常用的两个。ARI 的取值范围是 -1 到 10 表示跟随机划分差不多1 表示完美吻合。NMI 的取值范围是 0 到 1越大越好。在鸢尾花上K-means 和层次聚类的 ARI 在 0.7 左右NMI 在 0.75 左右说明聚类结果跟真实类别有较强的一致性但不算完美——这很正常因为 versicolor 和 virginica 在特征空间里本来就有重叠。内部指标不需要标签轮廓系数是最常用的。它综合考量每个点到同簇其他点的平均距离紧密度和到最近簇点的平均距离分离度取值 -1 到 1。鸢尾花上K-means 的轮廓系数在 0.45 到 0.55 之间取决于 K 值DBSCAN 排除噪声点后能到 0.5 以上。注意轮廓系数对簇形状敏感它假设簇是凸的所以对 DBSCAN 发现的非球形簇轮廓系数可能偏低这时候要结合其他指标看。Calinski-Harabasz 指数也叫方差比准则是另一个内部指标计算的是簇间离散度与簇内离散度的比值越大越好。Davies-Bouldin 指数则是越小越好它衡量的是簇内散度与簇间距离的比值。这几个指标一起看能更全面地评估聚类质量。5.2 从鸢尾花到真实业务数据的迁移经验鸢尾花太干净了真实业务数据往往有缺失值、异常值、类别不平衡、高维稀疏等问题。把鸢尾花上的经验迁移到真实数据有几个地方要调整。第一缺失值处理。鸢尾花没有缺失值但真实数据经常有。聚类算法对缺失值很敏感K-means 和层次聚类没法直接处理缺失值DBSCAN 也不行。常用的做法是均值填充、中位数填充或者用 KNN 填充。如果缺失比例超过 20%考虑直接删掉这个特征。第二异常值处理。DBSCAN 本身能识别噪声点但 K-means 和层次聚类对异常值很敏感。一个极端异常值就能把 K-means 的簇心拉偏。建议在聚类之前先用 IQR 或者 Z-score 方法识别并处理异常值或者用鲁棒性更强的 K-medoids 替代 K-means。第三高维数据。鸢尾花只有 4 维真实数据动辄几十上百维。高维空间里欧氏距离会失效维度灾难所有点之间的距离都差不多。这时候要么先做降维PCA、t-SNE、UMAP要么换用余弦距离或者杰卡德距离。DBSCAN 在高维数据上尤其容易失效因为 eps 邻域在高维空间里几乎是空的。第四类别不平衡。鸢尾花三个类别各 50 条完全平衡。真实数据里往往某个簇特别大、某个簇特别小。K-means 倾向于把大簇切小、小簇合并导致小簇被吞掉。这时候可以考虑用层次聚类或者密度聚类或者对 K-means 做加权改进。5.3 聚类结果的业务解读与后续动作聚类本身不是目的聚类之后做什么才是关键。在鸢尾花上聚类结果可以用来验证分类模型的合理性或者作为半监督学习的起点。在真实业务里聚类结果通常用于用户分群、异常检测、图像分割、文档主题发现等场景。以用户分群为例你拿到聚类结果后第一件事是给每个簇打标签。看每个簇在关键特征上的均值比如高消费高频次、低消费低频次、高消费低频次等。然后针对不同群体制定运营策略。这时候聚类的可解释性比 ARI 更重要——如果某个簇的特征均值跟其他簇没有明显差异那这个簇可能没有业务意义需要重新聚类或者调整特征。异常检测场景下DBSCAN 的噪声标签直接就是异常候选。但要注意DBSCAN 标为噪声的点不一定是真异常可能只是稀疏区域的正常点。建议把噪声点单独拿出来用其他方法比如孤立森林、One-Class SVM二次验证。图像分割场景下聚类的对象是像素的颜色、纹理等特征。K-means 在图像分割里用得很多因为它快。但图像里的簇往往不是球形的DBSCAN 或者 Mean Shift 可能效果更好。不过图像像素数量大DBSCAN 的计算量会很大通常要先降采样或者用超像素预处理。我个人在实际操作中的体会是聚类算法的选择没有银弹关键是要理解每种算法的假设和局限。K-means 假设簇是球形的、大小差不多层次聚类假设簇之间有层次关系DBSCAN 假设簇是高密度区域被低密度区域分隔。你的数据符合哪个假设就用哪个算法。拿不准的时候三个都跑一遍对比结果往往能发现数据里隐藏的结构。最后再分享一个小技巧聚类之前先画一下特征的两两散点图矩阵肉眼看看有没有明显的分组结构这比任何指标都直观。
