### 在新版本 Keras 中替换 `from keras.preprocessing.text import Tokenizer` 的用法 在新版本的 TensorFlow 和 Keras 中，`keras.preprocessing.text.Tokenizer` 已被废弃，推荐使用 `tf.keras.layers.TextVectorization` 来替代文本预处理功能[^2]。以下是具体的迁移方法和示例代码。 #### 替换方法 `TextVectorization` 是一个可以集成到模型中的层，支持对文本数据进行分词、向量化等操作。它提供了与 `Tokenizer` 类似的功能，但更加灵活且性能更高。 #### 示例代码 ##### 旧版本代码 ```python from keras.preprocessing.text import Tokenizer tokenizer = Tokenizer(num_words=1000) tokenizer.fit_on_texts(["这是一个测试句子", "这是另一个测试句子"]) sequences = tokenizer.texts_to_sequences(["这是一个新的句子"]) ``` ##### 新版本代码 ```python import tensorflow as tf # 定义 TextVectorization 层 vectorize_layer = tf.keras.layers.TextVectorization( max_tokens=1000, # 等价于 num_words 参数 output_mode="int", # 输出整数序列 output_sequence_length=10 # 指定输出序列长度 ) # 准备数据以适应 TextVectorization 层 data = ["这是一个测试句子", "这是另一个测试句子"] vectorize_layer.adapt(data) # 类似于 fit_on_texts # 使用 TextVectorization 层进行文本向量化 new_data = ["这是一个新的句子"] vectorized_data = vectorize_layer(new_data) print(vectorized_data) ``` #### 参数对比 | 参数 | `Tokenizer` | `TextVectorization` | |-------------------------|----------------------------------------|----------------------------------| | 分词数量限制 | `num_words` | `max_tokens` | | 输出模式 | 序列化或矩阵形式 | `output_mode` (如 `"int"`) | | 序列长度控制 | 需额外处理 | `output_sequence_length` | #### 注意事项 - `TextVectorization` 支持直接作为模型的一部分，而 `Tokenizer` 需要单独处理后再输入模型。 - 如果需要自定义分词规则，可以通过设置 `standardize` 和 `split` 参数来实现[^3]。 #### 迁移注意事项 如果旧代码中使用了 `texts_to_matrix` 方法，可以通过设置 `output_mode="tf-idf"` 或其他模式来实现类似的功能[^4]。 --- ###