### TensorFlow 数据预处理 #### 使用 `tf.data` API 进行高效数据加载和转换 为了提高性能并简化工作流，推荐使用 `tf.data.Dataset` 来创建可重复使用的输入管道。此API允许以灵活的方式组合各种变换操作[^1]。 ```python import tensorflow as tf dataset = tf.data.Dataset.from_tensor_slices((features, labels)) dataset = dataset.shuffle(buffer_size=1024).batch(32) ``` #### 利用 Keras 预处理层集成到模型架构中 Keras提供了多种内置的预处理器可以直接嵌入到神经网络结构内，在训练期间自动应用这些转换： - 文本向量化 (`TextVectorization`) - 图像增强 (`RandomFlip`, `Rescaling`) - 特征标准化 (`Normalization`) 这种做法不仅使整个流水线更加紧凑，而且有助于防止训练/推理阶段之间的不一致[^2]。 ```python from tensorflow.keras.layers import TextVectorization vectorize_layer = TextVectorization( max_tokens=1000, output_mode='int', output_sequence_length=sequence_length) text_ds = raw_train_ds.map(lambda x, y: x) vectorize_layer.adapt(text_ds) ``` #### 调用专门设计的数据准备工具 对于特定任务，如自然语言处理中的序列建模，可以利用诸如 `skipgrams()` 函数生成适合于训练词嵌入模型所需的正负样本对[^3]。 ```python pairs, labels = tf.keras.preprocessing.sequence.skipgrams( sequence=[word_indices], vocabulary_size=vocab_size, window_size=window_size, negative_samples=negative_sampling_ratio) ``` #### 应用传统机器学习库提供的通用技术 除了上述针对深度学习优化的功能外，还可以借助 scikit-learn 等第三方库完成更复杂的预处理需求，例如缺失值填充、特征选择以及维度约减等[^4]。 ```python from sklearn.impute import SimpleImputer from sklearn.feature_selection import SelectKBest from sklearn.decomposition import PCA imputer = SimpleImputer(strategy="mean") X_imputed = imputer.fit_transform(X_missing_values) selector = SelectKBest(k=10) X_selected = selector.fit_transform(X_high_dimensional, y_labels) pca = PCA(n_components=2) X_reduced = pca.fit_transform(X_large_scale_data) ```