### 使用 TensorFlow 数据集创建和处理 #### 创建数据集 在 TensorFlow 中，`tf.data.Dataset` API 提供了一种高效且灵活的方式来构建复杂输入流水线。可以轻松地从各种源加载数据，并对其进行转换。 对于简单的张量列表或 NumPy 数组可以直接使用 `from_tensor_slices()` 方法来创建数据集： ```python import tensorflow as tf import numpy as np # 假设有如下训练样本及其对应的标签 train_samples = np.random.rand(1000, 32, 32, 3).astype(np.float32) labels = np.random.randint(low=0, high=9, size=(1000,), dtype=np.int64) dataset = tf.data.Dataset.from_tensor_slices((train_samples, labels)) ``` 当面对较大的无法全部载入内存的数据集时，则可以通过文件路径读取数据。例如 CSV 文件、TFRecord 文件等格式都可以被支持[^1]。 #### 处理数据集 一旦有了基础的数据集对象之后就可以应用一系列操作符来进行预处理工作了。常见的有映射(map)、批量化(batching)、打乱(shuffling)，以及其他更多高级功能。 - **Map**: 对每一个元素执行特定的操作，比如解码图像、调整大小或是标准化像素值。 ```python def preprocess_image(image, label): image = tf.image.resize(image, [224, 224]) image /= 255.0 # 归一化到[0,1]区间内 return image, label dataset = dataset.map(preprocess_image) ``` - **Shuffle & Batch**: 打乱顺序并分批次提供给模型训练过程中的 mini-batch 更新机制。 ```python BATCH_SIZE = 32 SHUFFLE_BUFFER_SIZE = 1000 dataset = dataset.shuffle(SHUFFLE_BUFFER_SIZE).batch(BATCH_SIZE) ``` 除了上述基本变换外还有诸如重复(repeat), 过滤(filter), 平铺(flat_map)等多种实用工具可供调用[^2]。 #### 加载常见公开数据集 TensorFlow 官方提供了多个内置函数用于快速获取流行机器学习竞赛所使用的标准测试集合，如 MNIST、CIFAR-10/100 和 ImageNet 等。这些接口简化了下载安装步骤的同时也保证了与其他框架之间的兼容性。 以 CIFAR-10 为例展示具体做法: ```python (train_images, train_labels), (test_images, test_labels) = \ tf.keras.datasets.cifar10.load_data() print("Training set shape:", train_images.shape, train_labels.shape) print("Test set shape:", test_images.shape, test_labels.shape) ``` 此外还可以利用 Keras 的 `ImageDataGenerator` 类实现更复杂的在线增强策略，这对于提高泛化能力尤其重要[^4]。