### 如何在 TensorFlow 中加载本地存储的 TFDS 数据集 在 TensorFlow 和 TensorFlow Datasets (TFDS) 的环境中，通常可以通过 `tfds.builder` 方法来指定数据集名称以及手动设置数据路径。如果已经将数据集下载到了本地特定目录，则可以利用该方法重新配置数据源位置。 以下是具体实现方式： #### 使用自定义路径加载本地数据集 通过 `tfds.builder` 创建一个数据集构建器实例，并使用其参数 `data_dir` 显式指明本地存储路径[^1]。下面是一个完整的代码示例，展示如何加载本地 MNIST 数据集： ```python import tensorflow as tf import tensorflow_datasets as tfds # 定义本地数据集路径 local_data_path = "/path/to/local/dataset" # 构建数据集对象并指定本地路径 builder = tfds.builder("mnist", data_dir=local_data_path) # 下载或准备数据（如果数据已经在本地则跳过此步） builder.download_and_prepare() # 加载训练集和测试集 dataset_train = builder.as_dataset(split="train") dataset_test = builder.as_dataset(split="test") print(f"Training set size: {len(list(dataset_train))}") print(f"Test set size: {len(list(dataset_test))}") ``` 上述代码中，`"/path/to/local/dataset"` 应替换为实际保存数据集的本地文件夹地址。调用 `download_and_prepare()` 函数会检查目标路径下是否存在所需资源；若存在，则不会重复执行下载操作[^4]。 对于其他类型的数据集或者更复杂的场景，比如需要进一步调整预处理逻辑时，可参考官方文档中的高级选项说明[^5]。 --- #### 手动解析 TFRecord 文件 当无法直接依赖于内置接口读取本地版本的数据集时，还可以考虑采用另一种策略——即先将原始数据转换成标准格式（如 `.tfrecord`），再基于这些记录文件重建输入管道[^2][^3]。这种方式虽然稍微复杂一些，但它提供了更大的灵活性，尤其适用于那些未被集成至核心库内的特殊案例。 假设我们已经有了名为 `my_custom_dataset.tfrecord` 的序列化样本集合，那么可以从头开始编写适配程序如下所示： ```python def parse_tfrecord(example_proto): feature_description = { 'image': tf.io.FixedLenFeature([], tf.string), 'label': tf.io.FixedLenFeature([], tf.int64) } features = tf.io.parse_single_example(example_proto, feature_description) image_raw = features['image'] label = features['label'] # 假设图片编码形式为 JPEG image = tf.image.decode_jpeg(image_raw, channels=3) return image, label raw_dataset = tf.data.TFRecordDataset("/path/to/my_custom_dataset.tfrecord") parsed_dataset = raw_dataset.map(parse_tfrecord) for img, lbl in parsed_dataset.take(1): print(img.shape, lbl.numpy()) ``` 这里的关键在于设计好对应的特征描述符字典 (`feature_description`) ，以便能够正确反序列化每条记录的内容结构。 --- ### 总结 无论是借助现成工具还是自行开发解决方案，在 TensorFlow 上面都可以方便快捷地完成针对不同需求的任务流程管理。以上两种途径分别代表了自动化程度高低两端的选择方向，开发者可以根据实际情况灵活选用适合自己的方案。