Siamese网络是一种特殊的神经网络架构，它由两个或更多共享权重的子网络组成，并通过对比学习的方式训练。下面是如何以Python为运行环境、基于卷积神经网络（CNN）作为主干模型（backbone），实现图像分析任务的过程： ### 核心步骤 #### 1. 构建Siamese网络结构 构建包含双分支的Siamese网络框架，每个分支都采用相同的CNN作为核心特征提取模块。例如可以选用经典的`ResNet`, `VGG`, 或者自定义的小型CNN。 ```python import tensorflow as tf from tensorflow.keras import layers, Model def build_cnn_backbone(input_shape): # 定义一个简单的 CNN backbone input_layer = layers.Input(shape=input_shape) x = layers.Conv2D(32, (3, 3), activation='relu')(input_layer) x = layers.MaxPooling2D((2, 2))(x) x = layers.Flatten()(x) return Model(inputs=input_layer, outputs=x) # 输入层 input_a = layers.Input(shape=(64, 64, 3)) input_b = layers.Input(shape=(64, 64, 3)) # 使用同一个 CNN 骨干网路对两幅图片分别做处理 cnn_backbone = build_cnn_backbone(input_shape=(64, 64, 3)) feat_a = cnn_backbone(input_a) # 第一张图经过骨干网络后的特征向量 feat_b = cnn_backbone(input_b) # 第二张图经过骨干网络后的特征向量 # 计算两张图片之间的距离度量（比如L2） distance = layers.Lambda(lambda tensors: tf.norm(tensors[0] - tensors[1], axis=-1))([feat_a, feat_b]) model = Model(inputs=[input_a, input_b], outputs=distance) ``` --- #### 2. 准备数据集并生成成对样本 为了训练 Siamese 网络，需要构造大量的正负样对： - **正样对**：属于同类别的一组图片。 - **负样对**：来自不同类别的另一组图片。 通常会利用数据增强技术增加多样性。 ```python from sklearn.model_selection import train_test_split import numpy as np def create_pairs(x, labels): pairs, pair_labels = [], [] num_classes = len(np.unique(labels)) for i in range(len(x)): pos_idx = np.random.choice( [idx for idx, label in enumerate(labels) if label == labels[i]] ) neg_label = np.random.randint(0, num_classes) while neg_label == labels[i]: neg_label = np.random.randint(0, num_classes) neg_idx = np.random.choice( [idx for idx, label in enumerate(labels) if label == neg_label] ) pairs += [[x[i], x[pos_idx]]] pair_labels += [1.] # 正样对 pairs += [[x[i], x[neg_idx]]] pair_labels += [0.] # 负样对 return np.array(pairs), np.array(pair_labels).astype('float') # 假设我们已经加载了图像和对应的标签 X_train, X_val, y_train, y_val = train_test_split(X, Y, test_size=0.2) train_pairs, train_pair_labels = create_pairs(X_train, y_train) val_pairs, val_pair_labels = create_pairs(X_val, y_val) ``` --- #### 3. 损失函数设计及优化目标 对于 Siamese 网络来说，常用的是 **Contrastive Loss** 来指导网络收敛到合适的参数空间。 公式表示为： \[ L(Y, D)=Y\frac{1}{2}D^2 + \left(1-Y\right)\frac{1}{2}\{\max{(m-D,\;0)}\}^{2}, \] 其中 \(Y\) 表示是否匹配 (\(1\)代表正样对)，\(D\) 则指代预测的距离值；超参 \(m>0\) 控制边界范围，默认取 \(m=1\)。 ```python margin = 1. def contrastive_loss(y_true, distance_pred): loss_contrastive = tf.reduce_mean( y_true * tf.square(distance_pred) + (1-y_true) * tf.square(tf.maximum(margin-distance_pred, 0))) return loss_contrastive opt = tf.optimizers.Adam(lr=0.001) model.compile(optimizer=opt, loss=contrastive_loss, metrics=['accuracy']) history = model.fit(train_pairs[:, :, :], train_pair_labels[:], validation_data=(val_pairs[:, :, :], val_pair_labels[:]), epochs=50, batch_size=8) ``` --- #### 4. 测试与评估 测试阶段直接将待比较的两张图片输入已训练好的模型即可获得它们间的相似程度得分。 ```python test_images_1 = ... # 加载第一组测试图片 test_images_2 = ... # 加载第二组测试图片 similarity_scores = model.predict([test_images_1, test_images_2]) for score in similarity_scores: print(f"Distance Score: {score}") ```