2026/9/4 11:46:17
FEATURED · 精选文章 
1. 旋转等变性为什么它正在成为机器学习的新焦点如果你训练过一个图像分类模型大概率遇到过这样的“灵异事件”训练集里一张猫的照片是正着的模型识别得很准一旦把照片旋转 90 度再喂进去预测结果就开始离谱了。更麻烦的情况出现在工业场景。比如用无人机拍光伏板缺陷飞行角度不固定缺陷的朝向千变万化。你用标准数据集训练出来的 CNN 模型在出现旋转样本的测试集上精度直线下跌。这时候很多人第一反应是“数据增强不够再转几圈试试”。但问题真的只靠数据增强就能解决吗这恰恰是旋转等变性Rotational Equivariance要回答的核心问题。先说判断旋转等变性不是一种“锦上添花”的模型技巧而是深度学习架构设计中被长期忽视的归纳偏置。对于处理具有方向不确定性的视觉数据、分子构象、点云、医疗影像的任务理解并应用旋转等变性往往比盲目堆数据和调参更本质。读完这篇文章你会得到四样东西旋转等变性的精确数学定义以及它和旋转不变性的区别为什么普通 CNN 对旋转“天然不设防”在 PyTorch 中验证一个算子是否满足旋转等变性的完整代码模板实际工程里应该选择哪些轮子以及常见的认知误区。无论你是做 2D 图像、3D 点云还是分子性质预测这篇文章都会帮你建立一个更清晰的几何感知视角。2. 从“何为等变”开始一个中学几何就能理解的定义网上讲旋转等变性的资料很多但大多直接甩出公式[ f(g \cdot x) g \cdot f(x) ]先别急着划走。这个公式理解起来并不难关键是不要把它当成抽象的数学符号。2.1 用函数视角理解等变性假设你有一个函数 (f)它代表一个神经网络模型。(g) 是一个旋转变换(x) 是输入数据。公式左边 (f(g \cdot x)) 是什么意思先把输入 (x) 旋转一个角度然后把旋转后的结果喂给模型。公式右边 (g \cdot f(x)) 是什么意思先把 (x) 喂给模型得到输出然后把输出做同样的旋转。如果左右两边的结果一致就说这个函数 (f) 对这个旋转 (g) 是等变的。用一个更生活化的比喻。假如你有一个“人脸识别”系统 (f)输入是一张正脸照输出是这张脸的“关键点坐标”。你把原照片旋转 30 度模型输出的关键点坐标如果也跟着旋转 30 度那这个模型对旋转就是等变的。模型输出的特征与输入做了“同步舞蹈”。2.2 那么不变性又是什么不变性是等变性的特例。如果 (f(g \cdot x) f(x))也就是说把输入旋转之后模型的输出完全不变那这个函数就具有旋转不变性。回到人脸关键点检测的例子如果不管输入怎么旋转模型输出的都是同一个坐标集合那这其实是错误的——因为关键点应该跟着脸一起转。只有当任务是“这张脸是谁”这种分类问题时不变性才是我们想要的不管脸怎么转类别标签不变。等变性保留了输入的几何结构信息不变性丢弃了这些信息。在工程实践中很多任务需要的是等变而不是不变任务类型输出形式需要什么性质图像分类猫/狗类别标签旋转不变性目标检测边界框坐标旋转等变性框要跟着转语义分割像素级掩码旋转等变性掩码要跟着转分子性质预测能量/力能量不变力等变点云配准旋转矩阵旋转等变性不少初学者把这两个概念混为一谈结果在看论文时对“为什么分类网络可以用旋转等变结构而分割网络更需要严格等变”感到困惑。本质上就是任务需要保留还是丢弃几何信息的问题。2.3 为什么说旋转等变设计是一种归纳偏置归纳偏置是学习算法中预设的“先验信念”。卷积神经网络假设特征具有平移不变性因此用共享权重的卷积核滑动扫描整个图像。这个假设让 CNN 在图像任务上取得了巨大成功参数效率远高于全连接网络。旋转等变网络则假设特征的响应模式应当与输入的旋转协同变化而不是无视旋转。当这个假设成立时模型能大幅减少对“看遍所有旋转角度数据”的依赖。反过来说如果你知道自己的数据分布中旋转是任意的比如卫星遥感图像方向不固定而你的模型没有旋转等变预设那么就等于让模型从零开始去学习每种旋转下的特征模式——这既低效又容易过拟合。3. 卷积神经网络的“旋转盲区”问题到底出在哪里3.1 CNN 为什么对平移很友好对旋转却很吃力卷积操作的本质是滤波器在空间上的滑动。一个 3×3 卷积核检测到图像左上角的边缘特征后用同一组权重可以继续检测其他位置的边缘特征这就是权重共享带来的平移等变性。但是注意卷积核的权重在旋转后并不会自动重新排列。下图中的直觉是——一个识别“水平边缘”的滤波器遇到“旋转 90 度后的垂直边缘”时响应就消失了。这里有一个更精确的数学解释。标准卷积操作可以定义为[ (f * k)(x) \int f(y) k(x - y) dy ]把输入 (f) 旋转一个角度 (g)即 (f(x) f(g^{-1}x))则[ (f * k)(x) \int f(g^{-1}y) k(x - y) dy ]通过变量替换 (z g^{-1}y)可以推出[ (f * k)(x) \int f(z) k(x - gz) dz ]而真正的旋转等变卷积需要满足 ((f * k)(g^{-1}x)) 形式这要求卷积核 (k) 自身也必须被旋转。标准 CNN 里卷积核是固定的不会随输入旋转而旋转因此旋转等变性被破坏了。从这里我们可以得到一个清晰的技术结论标准 CNN 的权重确实是在空间上共享但只在“平移群”上共享并没有在“旋转群”上共享。因此它无法在参数层面复用旋转后的特征模式。3.2 数据增强是解药吗常用的解决思路是旋转数据增强把训练图像随机旋转一个角度让模型通过大量样本“见过”各种朝向。这样做有效但有三个显著代价参数冗余模型对每个旋转角度都要用独立的参数去拟合本质上是在用数据量换取结构上的缺陷。性能上限对 90°、180°、270° 这种“离散大旋转”增强往往只能覆盖有限角度。对任意角度的连续旋转靠有限采样不能穷尽。训练成本数据量扩大数倍训练时间线性上升而且模型容量的负担加重。这里并不是说数据增强没用它在实际工程中仍然是最简单、最稳的手段。但当你发现“旋转增强做满了测试集还是掉点”时就值得怀疑架构本身是否缺少旋转等变约束了。3.3 旋转等变网络如何从结构上解决问题如果把卷积核自身也做成“可旋转”的情况就不同了。G-CNN 系列方法就是沿着这个思路发展的它不是在数据层面穷举旋转而是在网络结构层面把标准卷积推广为“群卷积”Group Convolution让同一组卷积核在旋转后的每一个角度上共享。[ (f * k)(g) \sum_{h} f(h) k(g^{-1}h) ]这里的 (h) 和 (g) 都来自一个变换群。为了让计算可行一般先考虑离散旋转群 C4每 90 度旋转或 C8每 45 度旋转。通过这种设计网络输出特征图从原来的一维空间网格变成了“空间 旋转”的二维结构卷积核在多角度共享。这既提升了旋转泛化能力又减少了重复学习不同角度特征的参数浪费。当然理想的连续旋转等变SO(2) 群更加复杂需要用球谐函数或谐波网络等工具建模。工程上我们往往从 C4/C8 这样的离散群入手。4. 工具生态从零实现、PyTorch 原生支持和开源库讲解原理之后进入实操层面。这里先盘点主流工具避免重复造轮子。4.1 PyTorch 的“伪”旋转等变严格意义上PyTorch 原生torch.nn里并没有“旋转等变卷积层”。但是如果你只需要验证一个已有模型或算子是否满足旋转等变PyTorch 的张量操作就足够用了。思路是输入旋转后喂给模型和模型输出后旋转比较两者的差异。4.2 e2cnn最常用的等变卷积库e2cnn之前叫e2cnn_pytorch是目前最主流的 PyTorch 等变神经网络库支持离散旋转群 C4、C8以及更一般的平面等变群 p4、p4m 等。它会替换掉你的标准卷积层让你能以类似nn.Conv2d的方式构建等变网络。安装方式pip install e2cnne2cnn的 API 设计比较接近 PyTorch核心是把普通张量包装成带群结构的GeometricTensor再用R2Conv替换标准卷积。后面完整示例会展示。4.3 处理 3D 与点云数据的工具如果你在处理 3D 点云或分子结构纯 2D 旋转等变设计不适用e3nn面向 3D 欧几里得群的等变神经网络库适合分子动力学、物理模拟等场景。它基于 Tensor Field Networks用 SO(3) 群和球谐函数实现旋转等变。SE(3)-Transformers用于 3D 图数据的 SE(3) 等变 Transformer 架构已在蛋白质结构预测等任务中表现出色。工程建议先确认你的数据是 2D 图像还是 3D 几何数据再选择工具库。2D 选 e2cnn 这一类3D 上 e3nn 和 SE(3) 系列是更合适的方向。4.4 一个边界提醒需要特别说明旋转等变不等于旋转不变。在使用这些库构建模型时最终分类头是否需要等变输出取决于任务。分类任务在等变特征提取后通常还需要做一次群池化Group Pooling把所有旋转方向上的响应取平均或最大化得到不变性。初学者最大的坑就是把等变网络直接接到分类头上发现效果还不如普通 CNN就误以为等变结构没用。5. 核心实操在 PyTorch 中验证一个算子的旋转等变性完整代码下面进入动手阶段。先用一个最小实验验证概念检验一个 2D 卷积层是否对 90 度旋转满足等变性。5.1 实验设计思路实验步骤如下生成一张随机噪声图模拟真实特征输入。把输入图旋转 90 度得到旋转后的输入。分别把原始输入和旋转输入送入同一个卷积层。再把原始输入的卷积输出旋转 90 度。对比“先旋转后卷积”和“先卷积后旋转”的结果。如果两者几乎相等说明这一层对 90 度旋转满足等变性否则不满足。我们知道普通 Conv2d 不满足因此预期差异会非常大。5.2 完整代码# 文件路径verify_equivariance.py import torch import torch.nn as nn import torch.nn.functional as F def rotate_tensor_90(x: torch.Tensor) - torch.Tensor: 将 4D 张量 (B, C, H, W) 逆时针旋转 90 度。 # x 的布局是 [batch, channel, height, width] # 在 H、W 两个维度上做转置 翻转即可实现 90 度旋转 # 具体先交换 H、W再沿新 W 方向翻转 x_rot x.transpose(-1, -2) x_rot torch.flip(x_rot, dims[-1]) return x_rot def max_abs_diff(a: torch.Tensor, b: torch.Tensor) - float: 计算两个张量的最大绝对差异。 return float((a - b).abs().max().item()) def verify_equivariance(layer: nn.Module, input_tensor: torch.Tensor) - float: 验证给定 layer 对 90 度旋转是否等变。 返回: 最大绝对差异 layer.eval() with torch.no_grad(): # 路径 A: 先旋转输入再通过 layer rotated_input rotate_tensor_90(input_tensor) out_A layer(rotated_input) # 路径 B: 先通过 layer再旋转输出 out_B_raw layer(input_tensor) out_B rotate_tensor_90(out_B_raw) diff max_abs_diff(out_A, out_B) return diff def main() - None: torch.manual_seed(42) # 构造输入: 1 张图, 3 通道, 32x32 input_tensor torch.randn(1, 3, 32, 32) # 普通卷积层: 3 通道 - 16 通道, 3x3 卷积, padding1 conv_layer nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1, biasTrue) diff verify_equivariance(conv_layer, input_tensor) print(f普通 Conv2d 对 90 度旋转的等变误差: {diff:.6f}) # 作为对照组, 我们可以验证一个恒等操作: 误差应当为 0 identity_layer nn.Identity() diff_identity verify_equivariance(identity_layer, input_tensor) print(f恒等映射对 90 度旋转的等变误差: {diff_identity:.6f}) if __name__ __main__: main()5.3 运行结果与解读运行这段代码预期输出类似普通 Conv2d 对 90 度旋转的等变误差: 5.834015 恒等映射对 90 度旋转的等变误差: 0.000000恒等映射的误差为 0说明验证代码本身没有 bug——它确实能正确检验等变性因为先旋转再恒等与先恒等再旋转路径一致。而普通 Conv2d 的误差达到 5 以上——对比输入张量的标准差约为 1这个差异已经非常大了。这说明普通卷积层的输出并不携带正确的旋转对应关系。如果你把某张图的特征响应图旋转了用普通卷积提取的特征并不会跟着完成同样的旋转映射。5.4 如果把卷积核同步旋转呢上面对比显示了误差那么如何做到真正的旋转等变一种直观办法是把卷积核也旋转。我们来验证这个思路# 文件路径verify_equivariance_rotated_kernel.py import torch import torch.nn as nn import torch.nn.functional as F def rotate_tensor_90(x: torch.Tensor) - torch.Tensor: 将 4D 张量 (B, C, H, W) 逆时针旋转 90 度。 x_rot x.transpose(-1, -2) x_rot torch.flip(x_rot, dims[-1]) return x_rot def rotate_kernel_90(weight: torch.Tensor) - torch.Tensor: 将卷积核旋转 90 度。 weight 形状: (out_channels, in_channels, kh, kw) # 在 kh, kw 两个维度上做旋转 w_rot weight.transpose(-1, -2) w_rot torch.flip(w_rot, dims[-1]) return w_rot def main() - None: torch.manual_seed(7) input_tensor torch.randn(1, 3, 32, 32) conv nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1, biasFalse) # 路径 A: 输入旋转后, 用原始卷积核卷积 rotated_input rotate_tensor_90(input_tensor) out_A F.conv2d(rotated_input, conv.weight, padding1) # 路径 B: 输入不旋转, 用旋转后的卷积核卷积 rotated_weight rotate_kernel_90(conv.weight) out_B F.conv2d(input_tensor, rotated_weight, padding1) diff float((out_A - out_B).abs().max().item()) print(f输入旋转原始卷积 vs 输入原始旋转卷积核 的差异: {diff:.6f}) # 注意: 这里 bias 被去掉了, 因为 bias 需要额外处理 # 完整卷积等变还需要把 bias 也做对应变换 if __name__ __main__: main()这个实验的核心逻辑是如果输入转 90 度同时卷积核也转 90 度那么卷积的结果仍然保持一致。卷积在数学上具有平移等变性在把旋转同时施加于输入和核时能够保持输出的一致性。这为 G-CNN 中“把卷积核旋转到不同方向共享”的设计提供了直觉基础。运行后你会看到两者差异在浮点精度级别比如 1e-6 左右远小于普通卷积的差异。注意这里把bias关闭是有意的因为偏置项的等变处理更复杂需要把 bias 重新投影到旋转后的输出通道上。实际等变网络库如 e2cnn会在内部替你完成这些细节。6. 实战进阶使用 e2cnn 构建旋转等变 CNN 分类器验证完原理后我们使用 e2cnn 库搭建一个真正具备旋转等变能力的卷积网络并在旋转 MNIST 上对比它和普通 CNN 的效果。6.1 环境准备与安装首先安装依赖pip install e2cnn torch torchvision这里使用的 Python 版本建议 3.9 或更高。版本号请以实际安装为准重点演示通用思路。e2cnn 对 PyTorch 有版本兼容要求如果遇到导入错误通常是因为 PyTorch 版本过新或过旧可以选择固定 PyTorch 版本比如 2.0/2.1 系列。6.2 理解 e2cnn 的核心类型在 e2cnn 中FieldType描述特征场的类型例如C4表示特征会按照 C4 群4 次旋转变换。每个卷积层的输入输出都要用FieldType声明。GeometricTensor包装了普通 4D 张量同时记录它随群变换如何响应。R2Conv用FieldType初始化的等变卷积替代nn.Conv2d。C4 群包含四个旋转0°、90°、180°、270°。如果一个特征场设定为C4那么它的通道数必须是 4 的倍数因为每个基底特征都要复制到 4 个旋转方向上。6.3 定义旋转等变 CNN# 文件路径equivariant_cnn.py import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms from e2cnn import gspaces from e2cnn import nn as enn class RotationEquivariantCNN(nn.Module): def __init__(self, n_classes: int 10): super().__init__() # 使用 C4 群: 每 90 度旋转一次 self.r2_act gspaces.Rot2dOnR2(N4) # 输入: 1 通道灰度图 # 每个特征通道将被复制到 4 个旋转方向 in_type enn.FieldType(self.r2_act, [1] * 1) # 1 个平凡表示 # 中间层特征类型: 6 个常规特征通道(每个方向), 共 6*424 个真实通道 hidden_type enn.FieldType(self.r2_act, [1] * 6) # 输出层: 用于分类的特征 # 使用平凡表示(直接标量), 之后做群池化得到不变特征 out_type enn.FieldType(self.r2_act, [1] * 8) self.block1 enn.SequentialModule( enn.R2Conv(in_type, hidden_type, kernel_size5, padding2), enn.ReLU(hidden_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(hidden_type, stride2, kernel_size2) ) self.block2 enn.SequentialModule( enn.R2Conv(hidden_type, hidden_type, kernel_size5, padding2), enn.ReLU(hidden_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(hidden_type, stride2, kernel_size2) ) self.block3 enn.SequentialModule( enn.R2Conv(hidden_type, out_type, kernel_size5, padding2), enn.ReLU(out_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(out_type, stride2, kernel_size2) ) # 群池化: 将 C4 的 4 个方向取平均, 得到旋转不变特征 # 注意: 这里是为了分类任务, 如果要分割/检测, 不应在最后做群池化 self.invariant_map enn.GroupPooling(out_type) # 最终分类头 self.fc nn.Linear(8 * 4 * 4, n_classes) def forward(self, x: torch.Tensor) - torch.Tensor: # 把普通张量包装成 GeometricTensor x enn.GeometricTensor(x, self.block1[0].in_type) x self.block1(x) x self.block2(x) x self.block3(x) # 群池化 - 变成普通张量 x self.invariant_map(x) x x.tensor x x.view(x.size(0), -1) x self.fc(x) return x6.4 训练脚本对比普通 CNN再定义一个结构相似的普通 CNN用于对比# 文件路径train_compare.py import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 复用上面的 RotationEquivariantCNN from equivariant_cnn import RotationEquivariantCNN class PlainCNN(nn.Module): def __init__(self, n_classes: int 10): super().__init__() # 尽力设计一个参数量与等变网络接近的普通 CNN self.features nn.Sequential( nn.Conv2d(1, 24, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), nn.Conv2d(24, 24, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), nn.Conv2d(24, 32, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), ) self.classifier nn.Linear(32 * 4 * 4, n_classes) def forward(self, x: torch.Tensor) - torch.Tensor: x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x def build_rotated_mnist_loaders(batch_size: int 64): 构建两个数据集: 1. 标准 MNIST 2. 旋转 MNIST: 训练时随机旋转, 测试时固定 90 度旋转 # 标准 MNIST, 用于训练 train_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) # 旋转测试集: 全部旋转 90 度 rot_test_transform transforms.Compose([ transforms.ToTensor(), transforms.RandomRotation((90, 90)), transforms.Normalize((0.1307,), (0.3081,)), ]) train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtrain_transform) test_plain datasets.MNIST(root./data, trainFalse, downloadTrue, transformtrain_transform) test_rot datasets.MNIST(root./data, trainFalse, downloadTrue, transformrot_test_transform) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue) plain_loader DataLoader(test_plain, batch_sizebatch_size, shuffleFalse) rot_loader DataLoader(test_rot, batch_sizebatch_size, shuffleFalse) return train_loader, plain_loader, rot_loader def evaluate(model: nn.Module, loader: DataLoader, device: torch.device) - float: model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, dim1) total labels.size(0) correct (predicted labels).sum().item() return 100.0 * correct / total def train_one_model(model: nn.Module, train_loader: DataLoader, device: torch.device, epochs: int 5): criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) model.train() for epoch in range(epochs): running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) avg_loss running_loss / len(train_loader.dataset) print(fEpoch [{epoch1}/{epochs}] Loss: {avg_loss:.4f}) def main() - None: device torch.device(cuda if torch.cuda.is_available() else cpu) print(fDevice: {device}) train_loader, plain_loader, rot_loader build_rotated_mnist_loaders(batch_size64) # 训练普通 CNN plain_model PlainCNN().to(device) print(\n 训练普通 CNN ) train_one_model(plain_model, train_loader, device, epochs3) acc_plain evaluate(plain_model, plain_loader, device) acc_plain_rot evaluate(plain_model, rot_loader, device) print(f普通 CNN 标准测试集准确率: {acc_plain:.2f}%) print(f普通 CNN 旋转测试集准确率: {acc_plain_rot:.2f}%) # 训练旋转等变 CNN eq_model RotationEquivariantCNN(n_classes10).to(device) print(\n 训练旋转等变 CNN ) train_one_model(eq_model, train_loader, device, epochs3) acc_eq evaluate(eq_model, plain_loader, device) acc_eq_rot evaluate(eq_model, rot_loader, device) print(f等变 CNN 标准测试集准确率: {acc_eq:.2f}%) print(f等变 CNN 旋转测试集准确率: {acc_eq_rot:.2f}%) if __name__ __main__: main()6.5 预期效果与说明从研究文献和公开实验的普遍趋势看会出现两种典型结果普通 CNN 在标准测试集上表现不错但在 90° 旋转测试集上大幅下降训练时没有旋转增强的情况下甚至可能从 98% 掉到 80% 以下。旋转等变 CNN 在标准测试集和旋转测试集上的准确率差距很小。也就是说即使只在标准方向的数据上训练它也能对旋转数据保持稳定表现。这一点正是旋转等变在实际项目中价值的直观体现模型在没有见过“某个方向”的情况下已经通过结构设计“理解”了旋转后的特征应该长什么样。需要提醒的是这里训练轮次只设了 3是为了快速演示。正式做实验建议训练 10 轮以上结果会更稳定。E2CNN 的训练速度比普通 CNN 慢因为群卷积在内部扩展了特征通道如果你的机器没有 GPU建议适当减小 batch size 和输入分辨率。7. 运行效果与验证如何判断你的等变设计真正生效7.1 量化验证指标无论使用哪个库训练后都要回答一个问题等变结构到底有没有生效最直接的验证方法就是“旋转一致性测试”。把同一个样本旋转多个角度分别送入模型然后检查输出的变化是否与角度一致。对于分类任务理想情况是所有旋转角度下预测类别一致因为分类头后做了群池化不变性对于分割/检测任务输出应与旋转同步变化。下面是一个可以复用的验证脚本模板# 文件路径eval_rotation_consistency.py import torch import torch.nn.functional as F from torchvision import datasets, transforms from equivariant_cnn import RotationEquivariantCNN def rotate_batch(images: torch.Tensor, k: int) - torch.Tensor: 将一批图像逆时针旋转 k*90 度, k0,1,2,3 if k 0: return images # 在 H/W 维度执行 return torch.rot90(images, kk, dims[-1, -2]) def test_rotation_consistency(model_path: str eq_mnist.pt): device torch.device(cuda if torch.cuda.is_available() else cpu) model RotationEquivariantCNN(n_classes10).to(device) model.load_state_dict(torch.load(model_path, map_locationdevice)) model.eval() transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) images, labels dataset[0] images images.unsqueeze(0).to(device) # (1,1,28,28) print(旋转角度 | 预测类别 | 正确?) for k in range(4): rotated rotate_batch(images, k) with torch.no_grad(): output model(rotated) pred output.argmax(dim1).item() angle k * 90 print(f{angle:5}° | {pred} | {str(pred labels.item())}) # 判断一致性 preds [] for k in range(4): rotated rotate_batch(images, k) with torch.no_grad(): preds.append(model(rotated).argmax(dim1).item()) if len(set(preds)) 1: print(\n通过: 所有旋转角度下预测一致, 表现出旋转不变性) else: print(f\n未通过: 预测结果为 {preds}, 模型对旋转敏感) if __name__ __main__: test_rotation_consistency()7.2 预期输出示例旋转角度 | 预测类别 | 正确? 0° | 7 | True 90° | 7 | True 180° | 7 | True 270° | 7 | True 通过: 所有旋转角度下预测一致, 表现出旋转不变性如果模型没有旋转不变性四个角度的预测就会出现分歧。这一步虽然简单却能快速暴露问题——比如群池化被误删、FieldType 设置为 C1平凡群导致实际没有启用等变结构。7.3 失败排查顺序如果旋转一致性测试未通过按以下顺序排查确认模型第一层的 FieldType 是否正确。输入FieldType的平凡表示个数是否与输入通道一致。确认是否在分类前使用了群池化。忘记GroupPooling会让分类头接收到不同旋转方向分别响应的特征。确认使用库版本与 PyTorch 版本匹配。e2cnn 在不同 PyTorch 版本下 API 差异很大。做单层等变测试。把之前验证 Conv2d 的单层代码换成 e2cnn 的 R2Conv单独验证一层是否符合等变定义。打印中间层的 shape。如果某个等变层输出的真实通道数不是 4 的倍数说明 FieldType 配置有问题。8. 常见问题与排查思路在实际项目中使用旋转等变结构时以下问题很常见汇总为速查表问题现象可能原因排查方式解决方案模型训练 Loss 不下降GeometricTensor包装错误或 FieldType 输入通道数与数据不匹配检查第一层R2Conv的in_type打印x.shape与in_type.size确保两者一致旋转测试集仍明显掉点使用了 C1 平凡表示实际没有激活旋转群打印self.r2_act.fibergroup确认群元素数换成 C4 或 C8模型参数太多、训练明显变慢等变网络中每个特征都复制了 4 或 8 份检查FieldType的通道数量设置降低中间层原始通道数等变网络的“真实通道数 原始通道数 × 群大小”分类任务上效果不如普通 CNN没有在最后做群池化或者输入分辨率太小导致池化后特征不足检查网络尾部是否有GroupPooling对分类任务增加群池化对分割/检测不要加群池化导入 e2cnn 报错PyTorch 与 e2cnn 版本不兼容查看 e2cnn 官方要求在 Python 3.9 PyTorch 2.0/2.1 条件下安装必要时升级库任意角度旋转非 90° 倍数测试不理想C4 群只对 90° 旋转等变对 45° 等非目标角度不保证检查测试旋转角度是否为群元素改用 C8 群或选择基于谐波网络的 SO(2) 等变方法显存不足群卷积扩展后特征图剧增查看nvidia-smi显存占用减小 batch size、降低通道数、降低输入分辨率关于第 6 条这里多说几句。C4 群只保证 90 度旋转的等变性。如果需要任意角度的连续旋转等变比如 30°、57° 这样的角度就需要使用连续旋转群 SO(2) 的近似——e2cnn 支持更大的离散群 C8、C12或者通过谐波基函数来实现近似的连续等变。工程上要权衡诉求与模型复杂度遥感图像方向不固定但基本呈 90° 倍数分布C4 够用细胞病理图像出现任意角度旋转C8 或 SO(2) 方法更合适。9. 旋转等变背后的核心洞察与适用边界9.1 它相对于数据增强的真正优势从结果上看旋转等变网络和数据增强都能提高旋转泛化能力但两者的本质不同。数据增强是让模型“见过更多旋转”本质是经验学习——模型需要从转过的样本中重新归纳特征。旋转等变网络是让模型“理解旋转关系”本质是结构先验——卷积核在不同旋转方向上共享权重模型不需要逐角度学习。用一个类比让一个完全不懂语法的人背一万个句子他能应付见过的句型但让他把学过的句子换成疑问句、倒装句他会茫然。另一个学过语法规则的人只需要少量例句就能举一反三。旋转等变就是给模型装了“语法规则”。这个区别在标注数据稀缺的场景中会被急剧放大。比如医疗影像中的病灶方向随机但能获得的标注数据少之又少。这时候结构上的等变先验远比堆旋转增强更数据高效。9.2 不是所有任务都需要旋转等变有些图像数据自带固定的方向文档扫描件、人像照片、自动驾驶前视摄像头画面。如果任务中旋转模式本身就不多或者旋转变换并不频繁引入旋转等变结构的收益有限反而增加计算开销和实现复杂度。实用判断标准有三个你的测试数据里旋转出现的概率大吗旋转对目标语义有影响吗比如“6”旋转 180 度变成“9”文本数字旋转后语义改变此时强行让模型对所有旋转不变反而有害。数据量足够大时数据增强已经能满足需求吗如果训练数据多达百万级增强成本可接受那么数据增强仍是工程上最简单的选择。9.3 引入旋转等变的工程成本旋转等变不是免费的。以 e2cnn 为例参数量方面如果使用 C4 群特征通道会复制 4 份但不同方向共享权重参数总量相比标准卷积通常不会增加太多有时因为共享甚至更少。计算量方面群卷积需要对每个旋转方向都做一次卷积计算开销增大。典型 C4 模型的训练时间是普通 CNN 的 2-4 倍。调试难度方面FieldType、GeometricTensor、群池化这些概念有学习曲线。如果团队对几何深度学习不熟悉前期的项目排期要留出足够的试错空间。10. 扩展阅读从 2D 平面到 3D 世界和更多群结构10.1 从 C4 到 p4m不止旋转还有翻转C4 群只包含 4 个旋转。但自然图像除了旋转还有镜像翻转。把旋转和翻转组合起来会得到完整二面体群 D4——在 e2cnn 中对应FlipRot2dOnR2(N4)即 p4m 空间群。如果你的数据可能出现镜像翻转比如工业生产中零件反正面都可能出现就应该选择 p4m 而非 p4。10.2 3D 空间中的旋转等变e3nn2D 等变性只是起点。药物分子、蛋白质结构、点云配准这些问题都在 3D 空间内。3D 旋转群 SO(3) 比 C4 复杂得多一般用球谐函数构造等变特征每个特征以“阶数 l”的球谐分量表示旋转时不同阶数的分量按照 Wigner D 矩阵进行变换张量积层Tensor Product完成不同阶特征之间的信息交换。e3nn 库已经把上述数学封装成可用接口适合研究分子构象、原子间作用力等物理量——这些量的输出往往本身具有明确的旋转规则比如力是矢量旋转后要考虑方向与等变网络天然契合。10.3 理论框架等变网络本质上是群表示论的应用如果你打算深入钻研建议从三个角度依次切入群论基础群的集合定义、子群、商群、群作用。表示论基础群同态与线性表示、不可约表示、特征标。等变网络的数学语言几乎完全建立在这里。卷积的推广从“平移卷积”到“群卷积”再到“等变卷积”的推导过程。理解这些就知道一个网络层要满足等变性本质上需要“卷积核组”与输入数据在同一群作用下保持交换关系。这个过程不会太轻松但它能帮你建立从“用库”到“改库”的能力。以后遇到非标准对称性需求比如时间序列的平移不变加部分旋转不变、3D 图形的尺度对称等自己也能够推导出合适的设计。11. 最佳实践给要在项目里落地旋转等变网络的你11.1 从最小实验验证收益不建议一上来就在大规模数据集上替换主干网络。可以先取一个小的子集跑一个普通 CNN 和一个等变 CNN 的对比实验。控制变量只改变架构不做其他 trick。如果等变结构在小数据集上都不能带来旋转泛化收益那在大数据集上大概率也不会有惊喜。11.2 与数据增强的配合旋转等变替代不了数据增强的所有功能——比如随机裁剪、颜色抖动、噪声扰动等正则化手段仍然必要。推荐组合策略是使用旋转等变网络作为骨干网络从结构上处理旋转这个确定性因素保留平移/裁剪/颜色增强处理其他不确定性因素对 C4 网络可以不再做 90° 倍数的旋转增强但如果任务发生任意角度旋转建议仍添加小幅随机旋转比如 ±15°来弥补离散群对连续角度的覆盖不足。11.3 工程链路注意事项数据预处理一致性如果你在 eval 阶段使用torch.rot90测试要确保训练阶段没有对图像做与测试方向不一致的旋转预处理。模型导出兼容性e2cnn 的GeometricTensor在torch.jit.trace或onnx.export时可能不兼容。如果生产环境需要导出模型要提前验证部署链路。batch 维度e2cnn 的卷积层要求输入张量包含 batch 维度且GeometricTensor内部处理时会用到 4D 张量布局不要在网络中随意 reshape 破坏空间维度和通道维度对应关系。随机种子不同初始化下普通 CNN 和等变 CNN 的方差都不可忽略。做对比实验时固定多种子结果而不是只看一次 run。11.4 什么时候应该放弃旋转等变在不适合的场合强行使用等变结构会带来纯额外成本当数据本身已经对齐且不存在旋转分布偏移时普通 CNN 性能足够且更快。当旋转无法用一个固定离散群覆盖时比如医学图像中器官形态任意旋转C4 不够SO(2) 库的实现复杂度又很高需要评估收益。团队维护能力受限时。几何深度学习库的社区规模远小于 PyTorch 官方版本更新慢。如果项目强调长期稳健运行采用传统数据增强可能更合适。12. 总结与下一步行动建议旋转等变性是机器学习中极具洞察力的结构约束。这篇文章真正想让你带走三个认知等变性与不变性是两件事前者保留几何变换信息后者丢弃几何变换信息任务决定你怎么选择。标准 CNN 之所以对旋转敏感是因为它的权重只在平移方向上共享没有在旋转方向上共享。旋转数据增强不解决本质问题只是用数据量弥补结构缺陷。工程落地不需要自己实现群论算法e2cnn 负责 2D 离散旋转等变e3nn 负责 3D 连续旋转等变。你需要做的是先跑通最小验证再决定是否引入。如果你想继续实践这一步可以马上开始用文章中第五节的最小验证代码去测试你正在使用的一个卷积层或预训练模型看看它对 90 度旋转的等变误差到底有多大。很多从业者在跑完这个实验后会惊讶地发现自己以为“鲁棒”的模型在最简单的旋转面前其实非常脆弱。接下来可以沿着两条路线继续深入工程路线是把 e2cnn 应用到你自己的数据集上先测试后决定是否替换主干网络理论路线是学习群表示论与 G-CNN 原论文建立更系统的几何深度学习知识框架。无论选哪一条在模型设计中保留“几何结构”的意识都会让你比大多数只关注网络宽度和深度的工程师多一个维度的判断力。建议把本文收藏备用等到真正处理旋转敏感任务时再回来对照实现。
旋转等变性：让CNN从容应对任意朝向的视觉数据
1. 旋转等变性为什么它正在成为机器学习的新焦点如果你训练过一个图像分类模型大概率遇到过这样的“灵异事件”训练集里一张猫的照片是正着的模型识别得很准一旦把照片旋转 90 度再喂进去预测结果就开始离谱了。更麻烦的情况出现在工业场景。比如用无人机拍光伏板缺陷飞行角度不固定缺陷的朝向千变万化。你用标准数据集训练出来的 CNN 模型在出现旋转样本的测试集上精度直线下跌。这时候很多人第一反应是“数据增强不够再转几圈试试”。但问题真的只靠数据增强就能解决吗这恰恰是旋转等变性Rotational Equivariance要回答的核心问题。先说判断旋转等变性不是一种“锦上添花”的模型技巧而是深度学习架构设计中被长期忽视的归纳偏置。对于处理具有方向不确定性的视觉数据、分子构象、点云、医疗影像的任务理解并应用旋转等变性往往比盲目堆数据和调参更本质。读完这篇文章你会得到四样东西旋转等变性的精确数学定义以及它和旋转不变性的区别为什么普通 CNN 对旋转“天然不设防”在 PyTorch 中验证一个算子是否满足旋转等变性的完整代码模板实际工程里应该选择哪些轮子以及常见的认知误区。无论你是做 2D 图像、3D 点云还是分子性质预测这篇文章都会帮你建立一个更清晰的几何感知视角。2. 从“何为等变”开始一个中学几何就能理解的定义网上讲旋转等变性的资料很多但大多直接甩出公式[ f(g \cdot x) g \cdot f(x) ]先别急着划走。这个公式理解起来并不难关键是不要把它当成抽象的数学符号。2.1 用函数视角理解等变性假设你有一个函数 (f)它代表一个神经网络模型。(g) 是一个旋转变换(x) 是输入数据。公式左边 (f(g \cdot x)) 是什么意思先把输入 (x) 旋转一个角度然后把旋转后的结果喂给模型。公式右边 (g \cdot f(x)) 是什么意思先把 (x) 喂给模型得到输出然后把输出做同样的旋转。如果左右两边的结果一致就说这个函数 (f) 对这个旋转 (g) 是等变的。用一个更生活化的比喻。假如你有一个“人脸识别”系统 (f)输入是一张正脸照输出是这张脸的“关键点坐标”。你把原照片旋转 30 度模型输出的关键点坐标如果也跟着旋转 30 度那这个模型对旋转就是等变的。模型输出的特征与输入做了“同步舞蹈”。2.2 那么不变性又是什么不变性是等变性的特例。如果 (f(g \cdot x) f(x))也就是说把输入旋转之后模型的输出完全不变那这个函数就具有旋转不变性。回到人脸关键点检测的例子如果不管输入怎么旋转模型输出的都是同一个坐标集合那这其实是错误的——因为关键点应该跟着脸一起转。只有当任务是“这张脸是谁”这种分类问题时不变性才是我们想要的不管脸怎么转类别标签不变。等变性保留了输入的几何结构信息不变性丢弃了这些信息。在工程实践中很多任务需要的是等变而不是不变任务类型输出形式需要什么性质图像分类猫/狗类别标签旋转不变性目标检测边界框坐标旋转等变性框要跟着转语义分割像素级掩码旋转等变性掩码要跟着转分子性质预测能量/力能量不变力等变点云配准旋转矩阵旋转等变性不少初学者把这两个概念混为一谈结果在看论文时对“为什么分类网络可以用旋转等变结构而分割网络更需要严格等变”感到困惑。本质上就是任务需要保留还是丢弃几何信息的问题。2.3 为什么说旋转等变设计是一种归纳偏置归纳偏置是学习算法中预设的“先验信念”。卷积神经网络假设特征具有平移不变性因此用共享权重的卷积核滑动扫描整个图像。这个假设让 CNN 在图像任务上取得了巨大成功参数效率远高于全连接网络。旋转等变网络则假设特征的响应模式应当与输入的旋转协同变化而不是无视旋转。当这个假设成立时模型能大幅减少对“看遍所有旋转角度数据”的依赖。反过来说如果你知道自己的数据分布中旋转是任意的比如卫星遥感图像方向不固定而你的模型没有旋转等变预设那么就等于让模型从零开始去学习每种旋转下的特征模式——这既低效又容易过拟合。3. 卷积神经网络的“旋转盲区”问题到底出在哪里3.1 CNN 为什么对平移很友好对旋转却很吃力卷积操作的本质是滤波器在空间上的滑动。一个 3×3 卷积核检测到图像左上角的边缘特征后用同一组权重可以继续检测其他位置的边缘特征这就是权重共享带来的平移等变性。但是注意卷积核的权重在旋转后并不会自动重新排列。下图中的直觉是——一个识别“水平边缘”的滤波器遇到“旋转 90 度后的垂直边缘”时响应就消失了。这里有一个更精确的数学解释。标准卷积操作可以定义为[ (f * k)(x) \int f(y) k(x - y) dy ]把输入 (f) 旋转一个角度 (g)即 (f(x) f(g^{-1}x))则[ (f * k)(x) \int f(g^{-1}y) k(x - y) dy ]通过变量替换 (z g^{-1}y)可以推出[ (f * k)(x) \int f(z) k(x - gz) dz ]而真正的旋转等变卷积需要满足 ((f * k)(g^{-1}x)) 形式这要求卷积核 (k) 自身也必须被旋转。标准 CNN 里卷积核是固定的不会随输入旋转而旋转因此旋转等变性被破坏了。从这里我们可以得到一个清晰的技术结论标准 CNN 的权重确实是在空间上共享但只在“平移群”上共享并没有在“旋转群”上共享。因此它无法在参数层面复用旋转后的特征模式。3.2 数据增强是解药吗常用的解决思路是旋转数据增强把训练图像随机旋转一个角度让模型通过大量样本“见过”各种朝向。这样做有效但有三个显著代价参数冗余模型对每个旋转角度都要用独立的参数去拟合本质上是在用数据量换取结构上的缺陷。性能上限对 90°、180°、270° 这种“离散大旋转”增强往往只能覆盖有限角度。对任意角度的连续旋转靠有限采样不能穷尽。训练成本数据量扩大数倍训练时间线性上升而且模型容量的负担加重。这里并不是说数据增强没用它在实际工程中仍然是最简单、最稳的手段。但当你发现“旋转增强做满了测试集还是掉点”时就值得怀疑架构本身是否缺少旋转等变约束了。3.3 旋转等变网络如何从结构上解决问题如果把卷积核自身也做成“可旋转”的情况就不同了。G-CNN 系列方法就是沿着这个思路发展的它不是在数据层面穷举旋转而是在网络结构层面把标准卷积推广为“群卷积”Group Convolution让同一组卷积核在旋转后的每一个角度上共享。[ (f * k)(g) \sum_{h} f(h) k(g^{-1}h) ]这里的 (h) 和 (g) 都来自一个变换群。为了让计算可行一般先考虑离散旋转群 C4每 90 度旋转或 C8每 45 度旋转。通过这种设计网络输出特征图从原来的一维空间网格变成了“空间 旋转”的二维结构卷积核在多角度共享。这既提升了旋转泛化能力又减少了重复学习不同角度特征的参数浪费。当然理想的连续旋转等变SO(2) 群更加复杂需要用球谐函数或谐波网络等工具建模。工程上我们往往从 C4/C8 这样的离散群入手。4. 工具生态从零实现、PyTorch 原生支持和开源库讲解原理之后进入实操层面。这里先盘点主流工具避免重复造轮子。4.1 PyTorch 的“伪”旋转等变严格意义上PyTorch 原生torch.nn里并没有“旋转等变卷积层”。但是如果你只需要验证一个已有模型或算子是否满足旋转等变PyTorch 的张量操作就足够用了。思路是输入旋转后喂给模型和模型输出后旋转比较两者的差异。4.2 e2cnn最常用的等变卷积库e2cnn之前叫e2cnn_pytorch是目前最主流的 PyTorch 等变神经网络库支持离散旋转群 C4、C8以及更一般的平面等变群 p4、p4m 等。它会替换掉你的标准卷积层让你能以类似nn.Conv2d的方式构建等变网络。安装方式pip install e2cnne2cnn的 API 设计比较接近 PyTorch核心是把普通张量包装成带群结构的GeometricTensor再用R2Conv替换标准卷积。后面完整示例会展示。4.3 处理 3D 与点云数据的工具如果你在处理 3D 点云或分子结构纯 2D 旋转等变设计不适用e3nn面向 3D 欧几里得群的等变神经网络库适合分子动力学、物理模拟等场景。它基于 Tensor Field Networks用 SO(3) 群和球谐函数实现旋转等变。SE(3)-Transformers用于 3D 图数据的 SE(3) 等变 Transformer 架构已在蛋白质结构预测等任务中表现出色。工程建议先确认你的数据是 2D 图像还是 3D 几何数据再选择工具库。2D 选 e2cnn 这一类3D 上 e3nn 和 SE(3) 系列是更合适的方向。4.4 一个边界提醒需要特别说明旋转等变不等于旋转不变。在使用这些库构建模型时最终分类头是否需要等变输出取决于任务。分类任务在等变特征提取后通常还需要做一次群池化Group Pooling把所有旋转方向上的响应取平均或最大化得到不变性。初学者最大的坑就是把等变网络直接接到分类头上发现效果还不如普通 CNN就误以为等变结构没用。5. 核心实操在 PyTorch 中验证一个算子的旋转等变性完整代码下面进入动手阶段。先用一个最小实验验证概念检验一个 2D 卷积层是否对 90 度旋转满足等变性。5.1 实验设计思路实验步骤如下生成一张随机噪声图模拟真实特征输入。把输入图旋转 90 度得到旋转后的输入。分别把原始输入和旋转输入送入同一个卷积层。再把原始输入的卷积输出旋转 90 度。对比“先旋转后卷积”和“先卷积后旋转”的结果。如果两者几乎相等说明这一层对 90 度旋转满足等变性否则不满足。我们知道普通 Conv2d 不满足因此预期差异会非常大。5.2 完整代码# 文件路径verify_equivariance.py import torch import torch.nn as nn import torch.nn.functional as F def rotate_tensor_90(x: torch.Tensor) - torch.Tensor: 将 4D 张量 (B, C, H, W) 逆时针旋转 90 度。 # x 的布局是 [batch, channel, height, width] # 在 H、W 两个维度上做转置 翻转即可实现 90 度旋转 # 具体先交换 H、W再沿新 W 方向翻转 x_rot x.transpose(-1, -2) x_rot torch.flip(x_rot, dims[-1]) return x_rot def max_abs_diff(a: torch.Tensor, b: torch.Tensor) - float: 计算两个张量的最大绝对差异。 return float((a - b).abs().max().item()) def verify_equivariance(layer: nn.Module, input_tensor: torch.Tensor) - float: 验证给定 layer 对 90 度旋转是否等变。 返回: 最大绝对差异 layer.eval() with torch.no_grad(): # 路径 A: 先旋转输入再通过 layer rotated_input rotate_tensor_90(input_tensor) out_A layer(rotated_input) # 路径 B: 先通过 layer再旋转输出 out_B_raw layer(input_tensor) out_B rotate_tensor_90(out_B_raw) diff max_abs_diff(out_A, out_B) return diff def main() - None: torch.manual_seed(42) # 构造输入: 1 张图, 3 通道, 32x32 input_tensor torch.randn(1, 3, 32, 32) # 普通卷积层: 3 通道 - 16 通道, 3x3 卷积, padding1 conv_layer nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1, biasTrue) diff verify_equivariance(conv_layer, input_tensor) print(f普通 Conv2d 对 90 度旋转的等变误差: {diff:.6f}) # 作为对照组, 我们可以验证一个恒等操作: 误差应当为 0 identity_layer nn.Identity() diff_identity verify_equivariance(identity_layer, input_tensor) print(f恒等映射对 90 度旋转的等变误差: {diff_identity:.6f}) if __name__ __main__: main()5.3 运行结果与解读运行这段代码预期输出类似普通 Conv2d 对 90 度旋转的等变误差: 5.834015 恒等映射对 90 度旋转的等变误差: 0.000000恒等映射的误差为 0说明验证代码本身没有 bug——它确实能正确检验等变性因为先旋转再恒等与先恒等再旋转路径一致。而普通 Conv2d 的误差达到 5 以上——对比输入张量的标准差约为 1这个差异已经非常大了。这说明普通卷积层的输出并不携带正确的旋转对应关系。如果你把某张图的特征响应图旋转了用普通卷积提取的特征并不会跟着完成同样的旋转映射。5.4 如果把卷积核同步旋转呢上面对比显示了误差那么如何做到真正的旋转等变一种直观办法是把卷积核也旋转。我们来验证这个思路# 文件路径verify_equivariance_rotated_kernel.py import torch import torch.nn as nn import torch.nn.functional as F def rotate_tensor_90(x: torch.Tensor) - torch.Tensor: 将 4D 张量 (B, C, H, W) 逆时针旋转 90 度。 x_rot x.transpose(-1, -2) x_rot torch.flip(x_rot, dims[-1]) return x_rot def rotate_kernel_90(weight: torch.Tensor) - torch.Tensor: 将卷积核旋转 90 度。 weight 形状: (out_channels, in_channels, kh, kw) # 在 kh, kw 两个维度上做旋转 w_rot weight.transpose(-1, -2) w_rot torch.flip(w_rot, dims[-1]) return w_rot def main() - None: torch.manual_seed(7) input_tensor torch.randn(1, 3, 32, 32) conv nn.Conv2d(in_channels3, out_channels16, kernel_size3, padding1, biasFalse) # 路径 A: 输入旋转后, 用原始卷积核卷积 rotated_input rotate_tensor_90(input_tensor) out_A F.conv2d(rotated_input, conv.weight, padding1) # 路径 B: 输入不旋转, 用旋转后的卷积核卷积 rotated_weight rotate_kernel_90(conv.weight) out_B F.conv2d(input_tensor, rotated_weight, padding1) diff float((out_A - out_B).abs().max().item()) print(f输入旋转原始卷积 vs 输入原始旋转卷积核 的差异: {diff:.6f}) # 注意: 这里 bias 被去掉了, 因为 bias 需要额外处理 # 完整卷积等变还需要把 bias 也做对应变换 if __name__ __main__: main()这个实验的核心逻辑是如果输入转 90 度同时卷积核也转 90 度那么卷积的结果仍然保持一致。卷积在数学上具有平移等变性在把旋转同时施加于输入和核时能够保持输出的一致性。这为 G-CNN 中“把卷积核旋转到不同方向共享”的设计提供了直觉基础。运行后你会看到两者差异在浮点精度级别比如 1e-6 左右远小于普通卷积的差异。注意这里把bias关闭是有意的因为偏置项的等变处理更复杂需要把 bias 重新投影到旋转后的输出通道上。实际等变网络库如 e2cnn会在内部替你完成这些细节。6. 实战进阶使用 e2cnn 构建旋转等变 CNN 分类器验证完原理后我们使用 e2cnn 库搭建一个真正具备旋转等变能力的卷积网络并在旋转 MNIST 上对比它和普通 CNN 的效果。6.1 环境准备与安装首先安装依赖pip install e2cnn torch torchvision这里使用的 Python 版本建议 3.9 或更高。版本号请以实际安装为准重点演示通用思路。e2cnn 对 PyTorch 有版本兼容要求如果遇到导入错误通常是因为 PyTorch 版本过新或过旧可以选择固定 PyTorch 版本比如 2.0/2.1 系列。6.2 理解 e2cnn 的核心类型在 e2cnn 中FieldType描述特征场的类型例如C4表示特征会按照 C4 群4 次旋转变换。每个卷积层的输入输出都要用FieldType声明。GeometricTensor包装了普通 4D 张量同时记录它随群变换如何响应。R2Conv用FieldType初始化的等变卷积替代nn.Conv2d。C4 群包含四个旋转0°、90°、180°、270°。如果一个特征场设定为C4那么它的通道数必须是 4 的倍数因为每个基底特征都要复制到 4 个旋转方向上。6.3 定义旋转等变 CNN# 文件路径equivariant_cnn.py import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms from e2cnn import gspaces from e2cnn import nn as enn class RotationEquivariantCNN(nn.Module): def __init__(self, n_classes: int 10): super().__init__() # 使用 C4 群: 每 90 度旋转一次 self.r2_act gspaces.Rot2dOnR2(N4) # 输入: 1 通道灰度图 # 每个特征通道将被复制到 4 个旋转方向 in_type enn.FieldType(self.r2_act, [1] * 1) # 1 个平凡表示 # 中间层特征类型: 6 个常规特征通道(每个方向), 共 6*424 个真实通道 hidden_type enn.FieldType(self.r2_act, [1] * 6) # 输出层: 用于分类的特征 # 使用平凡表示(直接标量), 之后做群池化得到不变特征 out_type enn.FieldType(self.r2_act, [1] * 8) self.block1 enn.SequentialModule( enn.R2Conv(in_type, hidden_type, kernel_size5, padding2), enn.ReLU(hidden_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(hidden_type, stride2, kernel_size2) ) self.block2 enn.SequentialModule( enn.R2Conv(hidden_type, hidden_type, kernel_size5, padding2), enn.ReLU(hidden_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(hidden_type, stride2, kernel_size2) ) self.block3 enn.SequentialModule( enn.R2Conv(hidden_type, out_type, kernel_size5, padding2), enn.ReLU(out_type, inplaceTrue), enn.PointwiseAvgPoolAntialiased(out_type, stride2, kernel_size2) ) # 群池化: 将 C4 的 4 个方向取平均, 得到旋转不变特征 # 注意: 这里是为了分类任务, 如果要分割/检测, 不应在最后做群池化 self.invariant_map enn.GroupPooling(out_type) # 最终分类头 self.fc nn.Linear(8 * 4 * 4, n_classes) def forward(self, x: torch.Tensor) - torch.Tensor: # 把普通张量包装成 GeometricTensor x enn.GeometricTensor(x, self.block1[0].in_type) x self.block1(x) x self.block2(x) x self.block3(x) # 群池化 - 变成普通张量 x self.invariant_map(x) x x.tensor x x.view(x.size(0), -1) x self.fc(x) return x6.4 训练脚本对比普通 CNN再定义一个结构相似的普通 CNN用于对比# 文件路径train_compare.py import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms # 复用上面的 RotationEquivariantCNN from equivariant_cnn import RotationEquivariantCNN class PlainCNN(nn.Module): def __init__(self, n_classes: int 10): super().__init__() # 尽力设计一个参数量与等变网络接近的普通 CNN self.features nn.Sequential( nn.Conv2d(1, 24, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), nn.Conv2d(24, 24, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), nn.Conv2d(24, 32, kernel_size5, padding2), nn.ReLU(inplaceTrue), nn.AvgPool2d(kernel_size2, stride2), ) self.classifier nn.Linear(32 * 4 * 4, n_classes) def forward(self, x: torch.Tensor) - torch.Tensor: x self.features(x) x x.view(x.size(0), -1) x self.classifier(x) return x def build_rotated_mnist_loaders(batch_size: int 64): 构建两个数据集: 1. 标准 MNIST 2. 旋转 MNIST: 训练时随机旋转, 测试时固定 90 度旋转 # 标准 MNIST, 用于训练 train_transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) # 旋转测试集: 全部旋转 90 度 rot_test_transform transforms.Compose([ transforms.ToTensor(), transforms.RandomRotation((90, 90)), transforms.Normalize((0.1307,), (0.3081,)), ]) train_set datasets.MNIST(root./data, trainTrue, downloadTrue, transformtrain_transform) test_plain datasets.MNIST(root./data, trainFalse, downloadTrue, transformtrain_transform) test_rot datasets.MNIST(root./data, trainFalse, downloadTrue, transformrot_test_transform) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue) plain_loader DataLoader(test_plain, batch_sizebatch_size, shuffleFalse) rot_loader DataLoader(test_rot, batch_sizebatch_size, shuffleFalse) return train_loader, plain_loader, rot_loader def evaluate(model: nn.Module, loader: DataLoader, device: torch.device) - float: model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, dim1) total labels.size(0) correct (predicted labels).sum().item() return 100.0 * correct / total def train_one_model(model: nn.Module, train_loader: DataLoader, device: torch.device, epochs: int 5): criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) model.train() for epoch in range(epochs): running_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() * images.size(0) avg_loss running_loss / len(train_loader.dataset) print(fEpoch [{epoch1}/{epochs}] Loss: {avg_loss:.4f}) def main() - None: device torch.device(cuda if torch.cuda.is_available() else cpu) print(fDevice: {device}) train_loader, plain_loader, rot_loader build_rotated_mnist_loaders(batch_size64) # 训练普通 CNN plain_model PlainCNN().to(device) print(\n 训练普通 CNN ) train_one_model(plain_model, train_loader, device, epochs3) acc_plain evaluate(plain_model, plain_loader, device) acc_plain_rot evaluate(plain_model, rot_loader, device) print(f普通 CNN 标准测试集准确率: {acc_plain:.2f}%) print(f普通 CNN 旋转测试集准确率: {acc_plain_rot:.2f}%) # 训练旋转等变 CNN eq_model RotationEquivariantCNN(n_classes10).to(device) print(\n 训练旋转等变 CNN ) train_one_model(eq_model, train_loader, device, epochs3) acc_eq evaluate(eq_model, plain_loader, device) acc_eq_rot evaluate(eq_model, rot_loader, device) print(f等变 CNN 标准测试集准确率: {acc_eq:.2f}%) print(f等变 CNN 旋转测试集准确率: {acc_eq_rot:.2f}%) if __name__ __main__: main()6.5 预期效果与说明从研究文献和公开实验的普遍趋势看会出现两种典型结果普通 CNN 在标准测试集上表现不错但在 90° 旋转测试集上大幅下降训练时没有旋转增强的情况下甚至可能从 98% 掉到 80% 以下。旋转等变 CNN 在标准测试集和旋转测试集上的准确率差距很小。也就是说即使只在标准方向的数据上训练它也能对旋转数据保持稳定表现。这一点正是旋转等变在实际项目中价值的直观体现模型在没有见过“某个方向”的情况下已经通过结构设计“理解”了旋转后的特征应该长什么样。需要提醒的是这里训练轮次只设了 3是为了快速演示。正式做实验建议训练 10 轮以上结果会更稳定。E2CNN 的训练速度比普通 CNN 慢因为群卷积在内部扩展了特征通道如果你的机器没有 GPU建议适当减小 batch size 和输入分辨率。7. 运行效果与验证如何判断你的等变设计真正生效7.1 量化验证指标无论使用哪个库训练后都要回答一个问题等变结构到底有没有生效最直接的验证方法就是“旋转一致性测试”。把同一个样本旋转多个角度分别送入模型然后检查输出的变化是否与角度一致。对于分类任务理想情况是所有旋转角度下预测类别一致因为分类头后做了群池化不变性对于分割/检测任务输出应与旋转同步变化。下面是一个可以复用的验证脚本模板# 文件路径eval_rotation_consistency.py import torch import torch.nn.functional as F from torchvision import datasets, transforms from equivariant_cnn import RotationEquivariantCNN def rotate_batch(images: torch.Tensor, k: int) - torch.Tensor: 将一批图像逆时针旋转 k*90 度, k0,1,2,3 if k 0: return images # 在 H/W 维度执行 return torch.rot90(images, kk, dims[-1, -2]) def test_rotation_consistency(model_path: str eq_mnist.pt): device torch.device(cuda if torch.cuda.is_available() else cpu) model RotationEquivariantCNN(n_classes10).to(device) model.load_state_dict(torch.load(model_path, map_locationdevice)) model.eval() transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)), ]) dataset datasets.MNIST(root./data, trainFalse, downloadTrue, transformtransform) images, labels dataset[0] images images.unsqueeze(0).to(device) # (1,1,28,28) print(旋转角度 | 预测类别 | 正确?) for k in range(4): rotated rotate_batch(images, k) with torch.no_grad(): output model(rotated) pred output.argmax(dim1).item() angle k * 90 print(f{angle:5}° | {pred} | {str(pred labels.item())}) # 判断一致性 preds [] for k in range(4): rotated rotate_batch(images, k) with torch.no_grad(): preds.append(model(rotated).argmax(dim1).item()) if len(set(preds)) 1: print(\n通过: 所有旋转角度下预测一致, 表现出旋转不变性) else: print(f\n未通过: 预测结果为 {preds}, 模型对旋转敏感) if __name__ __main__: test_rotation_consistency()7.2 预期输出示例旋转角度 | 预测类别 | 正确? 0° | 7 | True 90° | 7 | True 180° | 7 | True 270° | 7 | True 通过: 所有旋转角度下预测一致, 表现出旋转不变性如果模型没有旋转不变性四个角度的预测就会出现分歧。这一步虽然简单却能快速暴露问题——比如群池化被误删、FieldType 设置为 C1平凡群导致实际没有启用等变结构。7.3 失败排查顺序如果旋转一致性测试未通过按以下顺序排查确认模型第一层的 FieldType 是否正确。输入FieldType的平凡表示个数是否与输入通道一致。确认是否在分类前使用了群池化。忘记GroupPooling会让分类头接收到不同旋转方向分别响应的特征。确认使用库版本与 PyTorch 版本匹配。e2cnn 在不同 PyTorch 版本下 API 差异很大。做单层等变测试。把之前验证 Conv2d 的单层代码换成 e2cnn 的 R2Conv单独验证一层是否符合等变定义。打印中间层的 shape。如果某个等变层输出的真实通道数不是 4 的倍数说明 FieldType 配置有问题。8. 常见问题与排查思路在实际项目中使用旋转等变结构时以下问题很常见汇总为速查表问题现象可能原因排查方式解决方案模型训练 Loss 不下降GeometricTensor包装错误或 FieldType 输入通道数与数据不匹配检查第一层R2Conv的in_type打印x.shape与in_type.size确保两者一致旋转测试集仍明显掉点使用了 C1 平凡表示实际没有激活旋转群打印self.r2_act.fibergroup确认群元素数换成 C4 或 C8模型参数太多、训练明显变慢等变网络中每个特征都复制了 4 或 8 份检查FieldType的通道数量设置降低中间层原始通道数等变网络的“真实通道数 原始通道数 × 群大小”分类任务上效果不如普通 CNN没有在最后做群池化或者输入分辨率太小导致池化后特征不足检查网络尾部是否有GroupPooling对分类任务增加群池化对分割/检测不要加群池化导入 e2cnn 报错PyTorch 与 e2cnn 版本不兼容查看 e2cnn 官方要求在 Python 3.9 PyTorch 2.0/2.1 条件下安装必要时升级库任意角度旋转非 90° 倍数测试不理想C4 群只对 90° 旋转等变对 45° 等非目标角度不保证检查测试旋转角度是否为群元素改用 C8 群或选择基于谐波网络的 SO(2) 等变方法显存不足群卷积扩展后特征图剧增查看nvidia-smi显存占用减小 batch size、降低通道数、降低输入分辨率关于第 6 条这里多说几句。C4 群只保证 90 度旋转的等变性。如果需要任意角度的连续旋转等变比如 30°、57° 这样的角度就需要使用连续旋转群 SO(2) 的近似——e2cnn 支持更大的离散群 C8、C12或者通过谐波基函数来实现近似的连续等变。工程上要权衡诉求与模型复杂度遥感图像方向不固定但基本呈 90° 倍数分布C4 够用细胞病理图像出现任意角度旋转C8 或 SO(2) 方法更合适。9. 旋转等变背后的核心洞察与适用边界9.1 它相对于数据增强的真正优势从结果上看旋转等变网络和数据增强都能提高旋转泛化能力但两者的本质不同。数据增强是让模型“见过更多旋转”本质是经验学习——模型需要从转过的样本中重新归纳特征。旋转等变网络是让模型“理解旋转关系”本质是结构先验——卷积核在不同旋转方向上共享权重模型不需要逐角度学习。用一个类比让一个完全不懂语法的人背一万个句子他能应付见过的句型但让他把学过的句子换成疑问句、倒装句他会茫然。另一个学过语法规则的人只需要少量例句就能举一反三。旋转等变就是给模型装了“语法规则”。这个区别在标注数据稀缺的场景中会被急剧放大。比如医疗影像中的病灶方向随机但能获得的标注数据少之又少。这时候结构上的等变先验远比堆旋转增强更数据高效。9.2 不是所有任务都需要旋转等变有些图像数据自带固定的方向文档扫描件、人像照片、自动驾驶前视摄像头画面。如果任务中旋转模式本身就不多或者旋转变换并不频繁引入旋转等变结构的收益有限反而增加计算开销和实现复杂度。实用判断标准有三个你的测试数据里旋转出现的概率大吗旋转对目标语义有影响吗比如“6”旋转 180 度变成“9”文本数字旋转后语义改变此时强行让模型对所有旋转不变反而有害。数据量足够大时数据增强已经能满足需求吗如果训练数据多达百万级增强成本可接受那么数据增强仍是工程上最简单的选择。9.3 引入旋转等变的工程成本旋转等变不是免费的。以 e2cnn 为例参数量方面如果使用 C4 群特征通道会复制 4 份但不同方向共享权重参数总量相比标准卷积通常不会增加太多有时因为共享甚至更少。计算量方面群卷积需要对每个旋转方向都做一次卷积计算开销增大。典型 C4 模型的训练时间是普通 CNN 的 2-4 倍。调试难度方面FieldType、GeometricTensor、群池化这些概念有学习曲线。如果团队对几何深度学习不熟悉前期的项目排期要留出足够的试错空间。10. 扩展阅读从 2D 平面到 3D 世界和更多群结构10.1 从 C4 到 p4m不止旋转还有翻转C4 群只包含 4 个旋转。但自然图像除了旋转还有镜像翻转。把旋转和翻转组合起来会得到完整二面体群 D4——在 e2cnn 中对应FlipRot2dOnR2(N4)即 p4m 空间群。如果你的数据可能出现镜像翻转比如工业生产中零件反正面都可能出现就应该选择 p4m 而非 p4。10.2 3D 空间中的旋转等变e3nn2D 等变性只是起点。药物分子、蛋白质结构、点云配准这些问题都在 3D 空间内。3D 旋转群 SO(3) 比 C4 复杂得多一般用球谐函数构造等变特征每个特征以“阶数 l”的球谐分量表示旋转时不同阶数的分量按照 Wigner D 矩阵进行变换张量积层Tensor Product完成不同阶特征之间的信息交换。e3nn 库已经把上述数学封装成可用接口适合研究分子构象、原子间作用力等物理量——这些量的输出往往本身具有明确的旋转规则比如力是矢量旋转后要考虑方向与等变网络天然契合。10.3 理论框架等变网络本质上是群表示论的应用如果你打算深入钻研建议从三个角度依次切入群论基础群的集合定义、子群、商群、群作用。表示论基础群同态与线性表示、不可约表示、特征标。等变网络的数学语言几乎完全建立在这里。卷积的推广从“平移卷积”到“群卷积”再到“等变卷积”的推导过程。理解这些就知道一个网络层要满足等变性本质上需要“卷积核组”与输入数据在同一群作用下保持交换关系。这个过程不会太轻松但它能帮你建立从“用库”到“改库”的能力。以后遇到非标准对称性需求比如时间序列的平移不变加部分旋转不变、3D 图形的尺度对称等自己也能够推导出合适的设计。11. 最佳实践给要在项目里落地旋转等变网络的你11.1 从最小实验验证收益不建议一上来就在大规模数据集上替换主干网络。可以先取一个小的子集跑一个普通 CNN 和一个等变 CNN 的对比实验。控制变量只改变架构不做其他 trick。如果等变结构在小数据集上都不能带来旋转泛化收益那在大数据集上大概率也不会有惊喜。11.2 与数据增强的配合旋转等变替代不了数据增强的所有功能——比如随机裁剪、颜色抖动、噪声扰动等正则化手段仍然必要。推荐组合策略是使用旋转等变网络作为骨干网络从结构上处理旋转这个确定性因素保留平移/裁剪/颜色增强处理其他不确定性因素对 C4 网络可以不再做 90° 倍数的旋转增强但如果任务发生任意角度旋转建议仍添加小幅随机旋转比如 ±15°来弥补离散群对连续角度的覆盖不足。11.3 工程链路注意事项数据预处理一致性如果你在 eval 阶段使用torch.rot90测试要确保训练阶段没有对图像做与测试方向不一致的旋转预处理。模型导出兼容性e2cnn 的GeometricTensor在torch.jit.trace或onnx.export时可能不兼容。如果生产环境需要导出模型要提前验证部署链路。batch 维度e2cnn 的卷积层要求输入张量包含 batch 维度且GeometricTensor内部处理时会用到 4D 张量布局不要在网络中随意 reshape 破坏空间维度和通道维度对应关系。随机种子不同初始化下普通 CNN 和等变 CNN 的方差都不可忽略。做对比实验时固定多种子结果而不是只看一次 run。11.4 什么时候应该放弃旋转等变在不适合的场合强行使用等变结构会带来纯额外成本当数据本身已经对齐且不存在旋转分布偏移时普通 CNN 性能足够且更快。当旋转无法用一个固定离散群覆盖时比如医学图像中器官形态任意旋转C4 不够SO(2) 库的实现复杂度又很高需要评估收益。团队维护能力受限时。几何深度学习库的社区规模远小于 PyTorch 官方版本更新慢。如果项目强调长期稳健运行采用传统数据增强可能更合适。12. 总结与下一步行动建议旋转等变性是机器学习中极具洞察力的结构约束。这篇文章真正想让你带走三个认知等变性与不变性是两件事前者保留几何变换信息后者丢弃几何变换信息任务决定你怎么选择。标准 CNN 之所以对旋转敏感是因为它的权重只在平移方向上共享没有在旋转方向上共享。旋转数据增强不解决本质问题只是用数据量弥补结构缺陷。工程落地不需要自己实现群论算法e2cnn 负责 2D 离散旋转等变e3nn 负责 3D 连续旋转等变。你需要做的是先跑通最小验证再决定是否引入。如果你想继续实践这一步可以马上开始用文章中第五节的最小验证代码去测试你正在使用的一个卷积层或预训练模型看看它对 90 度旋转的等变误差到底有多大。很多从业者在跑完这个实验后会惊讶地发现自己以为“鲁棒”的模型在最简单的旋转面前其实非常脆弱。接下来可以沿着两条路线继续深入工程路线是把 e2cnn 应用到你自己的数据集上先测试后决定是否替换主干网络理论路线是学习群表示论与 G-CNN 原论文建立更系统的几何深度学习知识框架。无论选哪一条在模型设计中保留“几何结构”的意识都会让你比大多数只关注网络宽度和深度的工程师多一个维度的判断力。建议把本文收藏备用等到真正处理旋转敏感任务时再回来对照实现。 
