### 使用 `TextVectorization` 层在 TensorFlow 中预处理文本 为了使模型能够接收原始字符串输入并将其转换为数值表示形式，可以使用 `TextVectorization` 层。这不仅简化了部署过程中的数据准备步骤，还允许端到端训练流程[^3]。 #### 创建 `TextVectorization` 实例 首先创建一个 `TextVectorization` 对象实例： ```python from tensorflow.keras.layers.experimental.preprocessing import TextVectorization # 定义最大词汇量大小以及每条样本的最大长度 max_features = 20000 # 只考虑最常见的2万个单词 sequence_length = 250 # 将所有序列填充至相同长度 vectorize_layer = TextVectorization( max_tokens=max_features, output_mode='int', output_sequence_length=sequence_length) ``` #### 配置词典 为了让 `TextVectorization` 层知道如何映射词语到整数索引，在实际应用之前需要调用 `.adapt()` 方法传入一批未标记的数据作为参考来建立内部状态（即学习词汇表）。这里假设有一个名为 `raw_train_ds` 的批量迭代器提供未经处理过的文本片段给定此层适应环境下的参数设置[^4]。 ```python # 让 'TextVectorization' 学习词汇表 text_only_batches = raw_train_ds.map(lambda x, y: x) vectorize_layer.adapt(text_only_batches) ``` #### 构建带有嵌入式的完整模型架构 一旦配置好 `TextVectorization` 后就可以把它加入到更大的网络结构之中，比如下面这个简单的例子展示了怎样把其放在最前面用于处理来自 IMDB 数据集中影评的输入向量: ```python import tensorflow as tf from tensorflow.keras import layers model = tf.keras.Sequential([ vectorize_layer, # 文本矢量化 layers.Embedding(max_features + 1, 16), layers.Dropout(0.2), layers.GlobalAveragePooling1D(), layers.Dropout(0.2), layers.Dense(1)]) model.summary() ``` 通过这种方式集成 `TextVectorization` 到模型中意味着可以在推理阶段直接传递原始字符串而无需额外预处理步骤，从而提高了易用性和效率。