简介这份文档面向从事无监督学习、高维数据分析与图像聚类研究的高校师生及算法工程师系统梳理了基于自注意力对抗机制的深度子空间聚类方法。内容从传统k-means、层次聚类、谱聚类在高维噪声数据下的局限切入依次讲解稀疏子空间聚类与低秩子空间聚类的自表示原理再延伸至深度自动编码器、去噪与稀疏自动编码器、卷积自动编码器等特征学习工具并对比深度嵌入聚类、深度连续聚类、半监督深度嵌入聚类等结合方案。文档进一步剖析网络加深导致关键特征丢失的问题引入软注意力、硬注意力与自注意力模型以及生成对抗网络、对抗自动编码器、ClusterGAN等对抗思路最终给出利用对抗机制提升子空间聚类鲁棒性、以自注意力缓解长距离依赖的算法框架与章节安排。资源包内含1个docx文档约578KB结构完整、公式与参考文献齐备已有158人学习适合作为聚类方向论文写作与算法复现的参考材料。1. 自注意力对抗深度子空间聚类高维数据分群的一条硬路子拿到「基于自注意力对抗的深度子空间聚类」这个题目时我第一反应是终于有人把自注意力、对抗训练和子空间聚类这三样东西往一个框架里塞了。做过高维数据聚类的人都知道传统子空间聚类在图像、视频、多视图数据上早就力不从心——特征维度动辄上千样本间关系非线性靠核方法或稀疏编码硬解跑一次调半天参效果还玄学。自注意力能建模全局依赖对抗训练能把表示学习和聚类目标对齐深度子空间聚类负责在潜在空间里找低维结构。这三者组合起来解决的就是「高维数据没有标签、特征还互相纠缠」的场景。适合谁看做无监督视觉分析、多视图聚类、异常检测的工程师以及想把聚类模块嵌进现有深度学习流水线的人。下面我从原理到代码把这条路子拆开讲清楚。2. 自注意力、对抗与子空间聚类为什么非得拧在一起2.1 自注意力在聚类里到底补了什么短板传统卷积堆叠出来的特征感受野是局部的浅层抓纹理、深层抓语义但样本与样本之间的全局关系被丢掉了。子空间聚类假设数据分布在多个低维子空间的并集上需要知道「哪些样本属于同一个子空间」这本质上是一个全局关系推断问题。自注意力机制尤其是多头自注意力通过 QKV 计算每个样本与其他所有样本的关联权重天然适合干这件事。具体到实现输入特征图经过线性变换得到 Query、Key、Value 三组向量注意力权重用缩放点积计算import torch import torch.nn as nn import torch.nn.functional as F class SelfAttentionBlock(nn.Module): def __init__(self, dim, num_heads4): super().__init__() self.num_heads num_heads self.head_dim dim // num_heads # QKV 一次线性映射减少参数冗余 self.qkv nn.Linear(dim, dim * 3) self.proj nn.Linear(dim, dim) def forward(self, x): B, N, C x.shape qkv self.qkv(x).reshape(B, N, 3, self.num_heads, self.head_dim) qkv qkv.permute(2, 0, 3, 1, 4) # (3, B, heads, N, head_dim) q, k, v qkv[0], qkv[1], qkv[2] # 缩放点积注意力除以 sqrt(d) 防止梯度消失 attn (q k.transpose(-2, -1)) / (self.head_dim ** 0.5) attn F.softmax(attn, dim-1) out (attn v).transpose(1, 2).reshape(B, N, C) return self.proj(out)这段代码里num_heads控制子空间数量head_dim是每个头的维度。关键参数是缩放因子self.head_dim ** 0.5少了它高维点积结果方差过大softmax 会饱和梯度直接死掉。多头的作用是让模型在不同表示子空间里分别计算关联最后拼接相当于并行做多次子空间划分——这和子空间聚类的核心假设天然吻合。2.2 对抗训练怎么把表示和聚类目标绑在一起光有自注意力提取的特征还不够因为聚类损失和重构损失往往打架。对抗训练的思路是让编码器生成的潜在表示尽量「骗过」一个判别器判别器负责区分样本来自哪个子空间或哪个簇。生成器编码器想让判别器分不清判别器想分清楚两者博弈到最后潜在表示就会朝着有利于聚类的方向演化。常见做法是加一个子空间判别器输入是自注意力模块输出的样本表示输出是它属于各个子空间的概率。编码器同时接收重构损失和对抗损失判别器只接收对抗损失。训练时交替更新学习率通常判别器略高比如编码器 1e-4、判别器 3e-4否则判别器太弱起不到引导作用。注意对抗训练容易不稳定建议先预热自注意力编码器 50 个 epoch再开启判别器更新否则前期噪声太大判别器会把编码器带偏。2.3 深度子空间聚类的自表达层怎么接深度子空间聚类的核心是自表达层假设每个样本的潜在表示可以由其他样本的潜在表示线性组合得到组合系数矩阵就是子空间亲和矩阵。把自注意力输出接一个全连接层不接激活函数得到自表达系数矩阵 C然后对 C 施加块对角正则或稀疏正则。class SelfExpressionLayer(nn.Module): def __init__(self, dim): super().__init__() # 无偏置保证零样本可以表示为零 self.linear nn.Linear(dim, dim, biasFalse) def forward(self, z): # z: (B, N, dim) - C: (B, N, N) C self.linear(z) # 每个样本用其他样本表示 return C这里biasFalse是硬性要求否则零向量无法被零系数表示破坏自表达假设。训练时对 C 加正则loss_reg C.abs().sum() torch.norm(C, pfro)前者促稀疏后者防退化。亲和矩阵用(C C.T) / 2对称化后送谱聚类。3. 从特征到簇标签完整训练流水线怎么搭3.1 数据预处理与自注意力编码器搭建假设输入是图像数据先用 ResNet 做粗粒度特征提取再在特征图上加位置编码然后送自注意力模块。位置编码用可学习参数还是正弦函数我一般用可学习的因为聚类任务里样本顺序没有固定语义正弦编码反而引入无关先验。class Encoder(nn.Module): def __init__(self, in_dim512, hidden256, heads4): super().__init__() self.proj nn.Linear(in_dim, hidden) self.pos_embed nn.Parameter(torch.randn(1, 196, hidden) * 0.02) self.attn SelfAttentionBlock(hidden, heads) self.norm nn.LayerNorm(hidden) def forward(self, x): # x: (B, N, in_dim) x self.proj(x) self.pos_embed[:, :x.size(1), :] x self.norm(x self.attn(x)) # 残差连接 return xpos_embed初始化标准差 0.02 是经验值太大前期注意力会乱。残差连接和 LayerNorm 顺序建议用 Pre-Norm训练更稳。N196对应 14x14 特征图实际按输入尺寸调整。3.2 判别器设计与对抗损失权重调节判别器结构简单三层全连接加 LeakyReLU 即可输出维度等于预设子空间数 K。K 怎么定如果完全不知道先用谱聚类在初始特征上估一个或者设大一点让稀疏正则去压。class Discriminator(nn.Module): def __init__(self, dim, num_subspaces): super().__init__() self.net nn.Sequential( nn.Linear(dim, 128), nn.LeakyReLU(0.2), nn.Linear(128, 64), nn.LeakyReLU(0.2), nn.Linear(64, num_subspaces) ) def forward(self, z): # z: (B*N, dim) - (B*N, K) return self.net(z)对抗损失用标准交叉熵但标签是「子空间分配」而非真实类别。编码器希望判别器输出均匀分布判别器希望输出尖锐分布。实际实现时编码器的对抗损失取负的判别器熵判别器损失取正熵。权重方面对抗损失系数建议从 0.1 开始每 20 个 epoch 加 0.05上限 0.5加太快聚类会崩。3.3 联合损失函数与训练循环总损失 重构损失 自表达正则 对抗损失。重构损失用 MSE自表达正则用 L1 Frobenius对抗损失按上面说的符号处理。def train_step(encoder, self_expr, discriminator, x, opt_e, opt_d, lambda_adv0.1): z encoder(x) # (B, N, hidden) C self_expr(z) # (B, N, N) z_rec C z # 自表达重构 loss_rec F.mse_loss(z_rec, z) loss_reg C.abs().sum() / (C.size(0) * C.size(1)) # 对抗部分 z_flat z.reshape(-1, z.size(-1)) d_out discriminator(z_flat) loss_adv_e -torch.mean(torch.sum(torch.softmax(d_out, dim-1) * torch.log_softmax(d_out, dim-1), dim-1)) loss_e loss_rec 0.5 * loss_reg lambda_adv * loss_adv_e opt_e.zero_grad() loss_e.backward(retain_graphTrue) opt_e.step() # 判别器更新 d_out2 discriminator(z_flat.detach()) loss_d torch.mean(torch.sum(torch.softmax(d_out2, dim-1) * torch.log_softmax(d_out2, dim-1), dim-1)) opt_d.zero_grad() loss_d.backward() opt_d.step() return loss_e.item(), loss_d.item()retain_graphTrue是因为编码器梯度要回传到自注意力层判别器更新时不能释放计算图。lambda_adv就是上面说的对抗权重。每 10 个 epoch 打印一次亲和矩阵的块对角性指标比如用torch.diag(C).mean()看对角线占比太低说明自表达没学到东西。4. 避坑与排查训练不收敛、簇数对不上、显存炸了怎么办4.1 损失震荡不下降先查判别器学习率现象编码器损失在 2.0 附近来回跳判别器损失趋近 0。原因判别器太强编码器对抗梯度被压制。解决把判别器学习率降到编码器的 1/3或者每 5 个 epoch 才更新一次判别器。我一般用opt_d的 lr 设为opt_e的 0.3 倍亲测有效。4.2 聚类结果全挤到一个簇检查自表达正则系数现象谱聚类输出只有一个大簇其他都是散点。原因自表达系数矩阵太稠密亲和矩阵没有块对角结构。解决把 L1 正则系数从 0.5 提到 1.0 甚至 2.0同时检查C的绝对值均值超过 0.1 就说明太稠密。另一个可能是自注意力头数太少全局关系没抓够把num_heads从 4 加到 8 试试。4.3 显存溢出优先砍自注意力的序列长度现象CUDA out of memorybatch size 已经降到 8 还是炸。原因自注意力计算N x N矩阵N196 时单头注意力矩阵约 150KB多头叠加加上梯度显存涨得很快。解决把输入特征图从 14x14 降到 7x7N 变成 49显存直接降一个数量级。或者用梯度检查点torch.utils.checkpoint.checkpoint包住自注意力块时间换空间。4.4 对抗训练后期崩溃加一个熵正则的退火现象训练到 200 epoch 左右判别器输出突然全部均匀编码器表示退化。原因对抗博弈进入死锁判别器失去区分能力。解决给判别器损失加一个小的熵正则项系数从 0.01 线性降到 0让判别器在后期逐渐「放手」。或者直接早停取验证集上块对角性最好的 checkpoint。4.5 谱聚类结果每次跑都不一样固定随机种子现象同样的模型权重谱聚类出来的簇标签每次不同。原因KMeans 初始化随机谱嵌入的符号也不确定。解决torch.manual_seed(42)和np.random.seed(42)都设上KMeans 的n_init设成 20取最优惯性。另外亲和矩阵对称化后要加一个小 epsilon 保证正定A (A A.T) / 2 1e-6 * torch.eye(N)。5. 进阶技巧用因果自注意力提升子空间分离度普通自注意力有个隐患它平等对待所有样本对但子空间聚类里跨子空间的样本对是噪声应该被抑制。因果自注意力通过掩码让注意力只关注「因」方向的样本在聚类场景里可以理解为只让同一子空间内的样本互相增强。实现上在 softmax 之前加一个可学习的门控或者用因果掩码把注意力矩阵上三角置零。def causal_attention(q, k, v, mask_ratio0.3): attn (q k.transpose(-2, -1)) / (q.size(-1) ** 0.5) N attn.size(-1) # 随机掩码模拟因果稀疏性 mask torch.rand(N, N, deviceattn.device) mask_ratio attn attn.masked_fill(~mask, float(-inf)) attn F.softmax(attn, dim-1) return attn vmask_ratio控制稀疏程度0.3 表示保留 70% 的连接。这个技巧在样本量大于 5000 时提升明显块对角性指标能涨 5 到 8 个点。验证方法很简单训练完后取亲和矩阵算block_diag_score sum(A[i,j] for i,j in same_cluster) / sum(A)对比不加因果掩码的版本如果提升不到 2 个点说明数据本身子空间结构不强别硬上。另一个实用技巧是渐进式对抗权重前 100 epoch 对抗权重为 0只训重构和自表达100 到 200 epoch 线性加到 0.3200 之后保持 0.3。这样编码器先学好表示再让对抗去微调聚类边界比一上来就对抗稳得多。我踩过的坑是早期对抗太猛自表达层直接学了个单位矩阵亲和矩阵变成对角阵聚类全错。后来改成渐进式再没翻过车。最后说个习惯每次跑完实验把亲和矩阵的可视化图存下来用plt.imshow(A, cmaphot)看一眼块对角结构。图比数字直观有没有学到子空间一眼就能判断。希望帮到你。本文还有配套的精品资源点击获取
自注意力对抗深度子空间聚类：高维数据无监督分群实战
简介这份文档面向从事无监督学习、高维数据分析与图像聚类研究的高校师生及算法工程师系统梳理了基于自注意力对抗机制的深度子空间聚类方法。内容从传统k-means、层次聚类、谱聚类在高维噪声数据下的局限切入依次讲解稀疏子空间聚类与低秩子空间聚类的自表示原理再延伸至深度自动编码器、去噪与稀疏自动编码器、卷积自动编码器等特征学习工具并对比深度嵌入聚类、深度连续聚类、半监督深度嵌入聚类等结合方案。文档进一步剖析网络加深导致关键特征丢失的问题引入软注意力、硬注意力与自注意力模型以及生成对抗网络、对抗自动编码器、ClusterGAN等对抗思路最终给出利用对抗机制提升子空间聚类鲁棒性、以自注意力缓解长距离依赖的算法框架与章节安排。资源包内含1个docx文档约578KB结构完整、公式与参考文献齐备已有158人学习适合作为聚类方向论文写作与算法复现的参考材料。1. 自注意力对抗深度子空间聚类高维数据分群的一条硬路子拿到「基于自注意力对抗的深度子空间聚类」这个题目时我第一反应是终于有人把自注意力、对抗训练和子空间聚类这三样东西往一个框架里塞了。做过高维数据聚类的人都知道传统子空间聚类在图像、视频、多视图数据上早就力不从心——特征维度动辄上千样本间关系非线性靠核方法或稀疏编码硬解跑一次调半天参效果还玄学。自注意力能建模全局依赖对抗训练能把表示学习和聚类目标对齐深度子空间聚类负责在潜在空间里找低维结构。这三者组合起来解决的就是「高维数据没有标签、特征还互相纠缠」的场景。适合谁看做无监督视觉分析、多视图聚类、异常检测的工程师以及想把聚类模块嵌进现有深度学习流水线的人。下面我从原理到代码把这条路子拆开讲清楚。2. 自注意力、对抗与子空间聚类为什么非得拧在一起2.1 自注意力在聚类里到底补了什么短板传统卷积堆叠出来的特征感受野是局部的浅层抓纹理、深层抓语义但样本与样本之间的全局关系被丢掉了。子空间聚类假设数据分布在多个低维子空间的并集上需要知道「哪些样本属于同一个子空间」这本质上是一个全局关系推断问题。自注意力机制尤其是多头自注意力通过 QKV 计算每个样本与其他所有样本的关联权重天然适合干这件事。具体到实现输入特征图经过线性变换得到 Query、Key、Value 三组向量注意力权重用缩放点积计算import torch import torch.nn as nn import torch.nn.functional as F class SelfAttentionBlock(nn.Module): def __init__(self, dim, num_heads4): super().__init__() self.num_heads num_heads self.head_dim dim // num_heads # QKV 一次线性映射减少参数冗余 self.qkv nn.Linear(dim, dim * 3) self.proj nn.Linear(dim, dim) def forward(self, x): B, N, C x.shape qkv self.qkv(x).reshape(B, N, 3, self.num_heads, self.head_dim) qkv qkv.permute(2, 0, 3, 1, 4) # (3, B, heads, N, head_dim) q, k, v qkv[0], qkv[1], qkv[2] # 缩放点积注意力除以 sqrt(d) 防止梯度消失 attn (q k.transpose(-2, -1)) / (self.head_dim ** 0.5) attn F.softmax(attn, dim-1) out (attn v).transpose(1, 2).reshape(B, N, C) return self.proj(out)这段代码里num_heads控制子空间数量head_dim是每个头的维度。关键参数是缩放因子self.head_dim ** 0.5少了它高维点积结果方差过大softmax 会饱和梯度直接死掉。多头的作用是让模型在不同表示子空间里分别计算关联最后拼接相当于并行做多次子空间划分——这和子空间聚类的核心假设天然吻合。2.2 对抗训练怎么把表示和聚类目标绑在一起光有自注意力提取的特征还不够因为聚类损失和重构损失往往打架。对抗训练的思路是让编码器生成的潜在表示尽量「骗过」一个判别器判别器负责区分样本来自哪个子空间或哪个簇。生成器编码器想让判别器分不清判别器想分清楚两者博弈到最后潜在表示就会朝着有利于聚类的方向演化。常见做法是加一个子空间判别器输入是自注意力模块输出的样本表示输出是它属于各个子空间的概率。编码器同时接收重构损失和对抗损失判别器只接收对抗损失。训练时交替更新学习率通常判别器略高比如编码器 1e-4、判别器 3e-4否则判别器太弱起不到引导作用。注意对抗训练容易不稳定建议先预热自注意力编码器 50 个 epoch再开启判别器更新否则前期噪声太大判别器会把编码器带偏。2.3 深度子空间聚类的自表达层怎么接深度子空间聚类的核心是自表达层假设每个样本的潜在表示可以由其他样本的潜在表示线性组合得到组合系数矩阵就是子空间亲和矩阵。把自注意力输出接一个全连接层不接激活函数得到自表达系数矩阵 C然后对 C 施加块对角正则或稀疏正则。class SelfExpressionLayer(nn.Module): def __init__(self, dim): super().__init__() # 无偏置保证零样本可以表示为零 self.linear nn.Linear(dim, dim, biasFalse) def forward(self, z): # z: (B, N, dim) - C: (B, N, N) C self.linear(z) # 每个样本用其他样本表示 return C这里biasFalse是硬性要求否则零向量无法被零系数表示破坏自表达假设。训练时对 C 加正则loss_reg C.abs().sum() torch.norm(C, pfro)前者促稀疏后者防退化。亲和矩阵用(C C.T) / 2对称化后送谱聚类。3. 从特征到簇标签完整训练流水线怎么搭3.1 数据预处理与自注意力编码器搭建假设输入是图像数据先用 ResNet 做粗粒度特征提取再在特征图上加位置编码然后送自注意力模块。位置编码用可学习参数还是正弦函数我一般用可学习的因为聚类任务里样本顺序没有固定语义正弦编码反而引入无关先验。class Encoder(nn.Module): def __init__(self, in_dim512, hidden256, heads4): super().__init__() self.proj nn.Linear(in_dim, hidden) self.pos_embed nn.Parameter(torch.randn(1, 196, hidden) * 0.02) self.attn SelfAttentionBlock(hidden, heads) self.norm nn.LayerNorm(hidden) def forward(self, x): # x: (B, N, in_dim) x self.proj(x) self.pos_embed[:, :x.size(1), :] x self.norm(x self.attn(x)) # 残差连接 return xpos_embed初始化标准差 0.02 是经验值太大前期注意力会乱。残差连接和 LayerNorm 顺序建议用 Pre-Norm训练更稳。N196对应 14x14 特征图实际按输入尺寸调整。3.2 判别器设计与对抗损失权重调节判别器结构简单三层全连接加 LeakyReLU 即可输出维度等于预设子空间数 K。K 怎么定如果完全不知道先用谱聚类在初始特征上估一个或者设大一点让稀疏正则去压。class Discriminator(nn.Module): def __init__(self, dim, num_subspaces): super().__init__() self.net nn.Sequential( nn.Linear(dim, 128), nn.LeakyReLU(0.2), nn.Linear(128, 64), nn.LeakyReLU(0.2), nn.Linear(64, num_subspaces) ) def forward(self, z): # z: (B*N, dim) - (B*N, K) return self.net(z)对抗损失用标准交叉熵但标签是「子空间分配」而非真实类别。编码器希望判别器输出均匀分布判别器希望输出尖锐分布。实际实现时编码器的对抗损失取负的判别器熵判别器损失取正熵。权重方面对抗损失系数建议从 0.1 开始每 20 个 epoch 加 0.05上限 0.5加太快聚类会崩。3.3 联合损失函数与训练循环总损失 重构损失 自表达正则 对抗损失。重构损失用 MSE自表达正则用 L1 Frobenius对抗损失按上面说的符号处理。def train_step(encoder, self_expr, discriminator, x, opt_e, opt_d, lambda_adv0.1): z encoder(x) # (B, N, hidden) C self_expr(z) # (B, N, N) z_rec C z # 自表达重构 loss_rec F.mse_loss(z_rec, z) loss_reg C.abs().sum() / (C.size(0) * C.size(1)) # 对抗部分 z_flat z.reshape(-1, z.size(-1)) d_out discriminator(z_flat) loss_adv_e -torch.mean(torch.sum(torch.softmax(d_out, dim-1) * torch.log_softmax(d_out, dim-1), dim-1)) loss_e loss_rec 0.5 * loss_reg lambda_adv * loss_adv_e opt_e.zero_grad() loss_e.backward(retain_graphTrue) opt_e.step() # 判别器更新 d_out2 discriminator(z_flat.detach()) loss_d torch.mean(torch.sum(torch.softmax(d_out2, dim-1) * torch.log_softmax(d_out2, dim-1), dim-1)) opt_d.zero_grad() loss_d.backward() opt_d.step() return loss_e.item(), loss_d.item()retain_graphTrue是因为编码器梯度要回传到自注意力层判别器更新时不能释放计算图。lambda_adv就是上面说的对抗权重。每 10 个 epoch 打印一次亲和矩阵的块对角性指标比如用torch.diag(C).mean()看对角线占比太低说明自表达没学到东西。4. 避坑与排查训练不收敛、簇数对不上、显存炸了怎么办4.1 损失震荡不下降先查判别器学习率现象编码器损失在 2.0 附近来回跳判别器损失趋近 0。原因判别器太强编码器对抗梯度被压制。解决把判别器学习率降到编码器的 1/3或者每 5 个 epoch 才更新一次判别器。我一般用opt_d的 lr 设为opt_e的 0.3 倍亲测有效。4.2 聚类结果全挤到一个簇检查自表达正则系数现象谱聚类输出只有一个大簇其他都是散点。原因自表达系数矩阵太稠密亲和矩阵没有块对角结构。解决把 L1 正则系数从 0.5 提到 1.0 甚至 2.0同时检查C的绝对值均值超过 0.1 就说明太稠密。另一个可能是自注意力头数太少全局关系没抓够把num_heads从 4 加到 8 试试。4.3 显存溢出优先砍自注意力的序列长度现象CUDA out of memorybatch size 已经降到 8 还是炸。原因自注意力计算N x N矩阵N196 时单头注意力矩阵约 150KB多头叠加加上梯度显存涨得很快。解决把输入特征图从 14x14 降到 7x7N 变成 49显存直接降一个数量级。或者用梯度检查点torch.utils.checkpoint.checkpoint包住自注意力块时间换空间。4.4 对抗训练后期崩溃加一个熵正则的退火现象训练到 200 epoch 左右判别器输出突然全部均匀编码器表示退化。原因对抗博弈进入死锁判别器失去区分能力。解决给判别器损失加一个小的熵正则项系数从 0.01 线性降到 0让判别器在后期逐渐「放手」。或者直接早停取验证集上块对角性最好的 checkpoint。4.5 谱聚类结果每次跑都不一样固定随机种子现象同样的模型权重谱聚类出来的簇标签每次不同。原因KMeans 初始化随机谱嵌入的符号也不确定。解决torch.manual_seed(42)和np.random.seed(42)都设上KMeans 的n_init设成 20取最优惯性。另外亲和矩阵对称化后要加一个小 epsilon 保证正定A (A A.T) / 2 1e-6 * torch.eye(N)。5. 进阶技巧用因果自注意力提升子空间分离度普通自注意力有个隐患它平等对待所有样本对但子空间聚类里跨子空间的样本对是噪声应该被抑制。因果自注意力通过掩码让注意力只关注「因」方向的样本在聚类场景里可以理解为只让同一子空间内的样本互相增强。实现上在 softmax 之前加一个可学习的门控或者用因果掩码把注意力矩阵上三角置零。def causal_attention(q, k, v, mask_ratio0.3): attn (q k.transpose(-2, -1)) / (q.size(-1) ** 0.5) N attn.size(-1) # 随机掩码模拟因果稀疏性 mask torch.rand(N, N, deviceattn.device) mask_ratio attn attn.masked_fill(~mask, float(-inf)) attn F.softmax(attn, dim-1) return attn vmask_ratio控制稀疏程度0.3 表示保留 70% 的连接。这个技巧在样本量大于 5000 时提升明显块对角性指标能涨 5 到 8 个点。验证方法很简单训练完后取亲和矩阵算block_diag_score sum(A[i,j] for i,j in same_cluster) / sum(A)对比不加因果掩码的版本如果提升不到 2 个点说明数据本身子空间结构不强别硬上。另一个实用技巧是渐进式对抗权重前 100 epoch 对抗权重为 0只训重构和自表达100 到 200 epoch 线性加到 0.3200 之后保持 0.3。这样编码器先学好表示再让对抗去微调聚类边界比一上来就对抗稳得多。我踩过的坑是早期对抗太猛自表达层直接学了个单位矩阵亲和矩阵变成对角阵聚类全错。后来改成渐进式再没翻过车。最后说个习惯每次跑完实验把亲和矩阵的可视化图存下来用plt.imshow(A, cmaphot)看一眼块对角结构。图比数字直观有没有学到子空间一眼就能判断。希望帮到你。本文还有配套的精品资源点击获取
