### 使用 SwinTransformer 进行图像特征提取 为了利用 SwinTransformer 对图像数据进行有效的特征提取，可以遵循以下方法： #### 安装依赖库 首先需要安装必要的 Python 库来支持 SwinTransformer 的运行环境。这通常包括 PyTorch 及其工具包 torchvision 等。 ```bash pip install torch torchvision timm ``` #### 加载预训练模型 通过 `timm` 库加载已经预先训练好的 SwinTransformer 模型实例。这里可以选择不同大小的基础架构版本以适应具体应用场景的需求。 ```python import timm model = timm.create_model('swin_base_patch4_window7_224', pretrained=True) model.eval() ``` 此部分代码创建了一个基础版的 SwinTransformer 并将其设置为评估模式[^1]。 #### 数据预处理 对于输入到 SwinTransformer 中的数据集图片文件，需按照官方文档的要求调整尺寸并标准化数值范围至 `[0, 1]` 或者其他指定区间内；同时还需要转换成张量形式以便于后续计算操作。 ```python from PIL import Image from torchvision.transforms import Compose, Resize, ToTensor, Normalize transform = Compose([ Resize((224, 224)), # 调整分辨率 ToTensor(), # 将PIL.Image转为torch.Tensor Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) # 归一化 ]) image_path = 'path_to_your_image.jpg' img = Image.open(image_path).convert('RGB') input_tensor = transform(img).unsqueeze(0) # 增加batch维度 ``` 这段脚本定义了一系列变换函数应用于单幅或多幅待测样本上，并最终形成适合送入网络层处理的标准格式——四维浮点数类型的 Tensor 数组对象。 #### 提取特征向量 当准备好一切之后就可以调用前向传播过程获取最后一层全连接之前的激活状态作为目标图像对应的高维表征结果保存下来供以后分析使用了。 ```python with torch.no_grad(): features = model.forward_features(input_tensor) print(features.shape) # 输出特征图的形状 ``` 上述命令执行无梯度更新的状态下仅保留中间输出而不关心损失值的变化情况，从而得到每一通道上的响应强度分布状况即所谓的“深层语义描述子”。 #### 特征可视化（可选） 如果希望直观理解所获得的信息，则可以通过热力图等方式展现出来帮助观察哪些区域被赋予较高的权重或者说是更重要的组成部分。 ```python import matplotlib.pyplot as plt import numpy as np def show_cam_on_image(img, mask): heatmap = cv2.applyColorMap(np.uint8(255 * mask), cv2.COLORMAP_JET) heatmap = np.float32(heatmap) / 255 cam = heatmap + np.float32(img) cam = cam / np.max(cam) return cam plt.imshow(show_cam_on_image(transforms.ToPILImage()(input_tensor.squeeze()), features.mean([1, 2]).squeeze().cpu().numpy())) plt.axis('off') # 关闭坐标轴显示 plt.show() ``` 该段程序实现了将原始视觉信号与经过编码后的抽象概念相结合的过程，使得人们能够更加容易地识别出那些具有区分性的局部细节位置所在之处。