### 完整的 Python 训练数据集程序示例 以下是基于卷积神经网络 (Convolutional Neural Network, CNN) 的完整训练数据集程序示例。此代码适用于图像分类任务，例如 IdenProf 数据集或其他类似的图像数据集。 #### 导入必要的库 首先需要导入用于构建和训练模型所需的库。 ```python import tensorflow as tf from tensorflow.keras.preprocessing.image import ImageDataGenerator from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense, Dropout from tensorflow.keras.optimizers import Adam import numpy as np import matplotlib.pyplot as plt import os ``` #### 设置超参数 定义一些基本的超参数，如批量大小、目标尺寸以及类别数量。 ```python batch_size = 32 img_height = 150 img_width = 150 epochs = 10 num_classes = 8 # 假设 IdemProf 数据集中有 8 类职业 ``` #### 加载和预处理数据 使用 `ImageDataGenerator` 来加载和增强图像数据。 ```python train_dir = 'path_to_train_data' # 替换为实际路径 validation_dir = 'path_to_validation_data' # 替换为实际路径 train_datagen = ImageDataGenerator( rescale=1./255, rotation_range=40, width_shift_range=0.2, height_shift_range=0.2, shear_range=0.2, zoom_range=0.2, horizontal_flip=True, fill_mode='nearest' ) validation_datagen = ImageDataGenerator(rescale=1./255) train_generator = train_datagen.flow_from_directory( train_dir, target_size=(img_height, img_width), batch_size=batch_size, class_mode='categorical' ) validation_generator = validation_datagen.flow_from_directory( validation_dir, target_size=(img_height, img_width), batch_size=batch_size, class_mode='categorical' ) ``` #### 构建 CNN 模型 创建一个简单的卷积神经网络架构来完成分类任务。 ```python model = Sequential([ Conv2D(32, (3, 3), activation='relu', input_shape=(img_height, img_width, 3)), MaxPooling2D((2, 2)), Conv2D(64, (3, 3), activation='relu'), MaxPooling2D((2, 2)), Conv2D(128, (3, 3), activation='relu'), MaxPooling2D((2, 2)), Flatten(), Dense(512, activation='relu'), Dropout(0.5), Dense(num_classes, activation='softmax') ]) ``` #### 编译模型 配置优化器、损失函数和评估指标。 ```python model.compile(optimizer=Adam(lr=0.0001), loss='categorical_crossentropy', metrics=['accuracy']) ``` #### 训练模型 通过调用 `fit` 方法开始训练过程。 ```python history = model.fit( train_generator, steps_per_epoch=train_generator.samples // batch_size, epochs=epochs, validation_data=validation_generator, validation_steps=validation_generator.samples // batch_size ) ``` #### 可视化训练结果 绘制训练过程中准确率和损失的变化曲线。 ```python acc = history.history['accuracy'] val_acc = history.history['val_accuracy'] loss = history.history['loss'] val_loss = history.history['val_loss'] epochs_range = range(epochs) plt.figure(figsize=(8, 8)) plt.subplot(1, 2, 1) plt.plot(epochs_range, acc, label='Training Accuracy') plt.plot(epochs_range, val_acc, label='Validation Accuracy') plt.legend(loc='lower right') plt.title('Training and Validation Accuracy') plt.subplot(1, 2, 2) plt.plot(epochs_range, loss, label='Training Loss') plt.plot(epochs_range, val_loss, label='Validation Loss') plt.legend(loc='upper right') plt.title('Training and Validation Loss') plt.show() ``` #### 保存模型 最后可以将训练好的模型保存下来以便后续使用。 ```python model.save('custom_image_recognition_model.h5') # 将模型保存为 HDF5 文件 ``` 以上是一个完整的 Python 程序示例，涵盖了从数据准备到模型训练再到结果可视化的全过程[^1]。 ---