### 编码器输入向量（词向量或Embedding）的处理 #### 输入向量初始化 在构建编码器之前，需先将文本中的单词转换为数值形式以便机器能够理解和处理。这一步骤通过查找预先训练好的嵌入矩阵完成，其中每个单词对应一个固定维度的稠密向量[^1]。 ```python import numpy as np # 假设有一个预定义的词汇表 vocab 和对应的嵌入矩阵 embeddings_matrix vocab_size = len(vocab) embedding_dim = 300 # 设定嵌入维度大小 def get_embedding(word): """获取给定词语的嵌入向量""" index = vocab.get(word, None) if index is not None: return embeddings_matrix[index] else: return np.zeros(embedding_dim) sentence_embeddings = [get_embedding(word) for word in sentence.split()] ``` #### 动态调整词向量表示 不同于静态词向量，在某些高级模型中，如 ELMo，会基于上下文动态生成词向量。这意味着同一个词可以根据其所在的不同位置获得不同的表达方式。具体来说，这些模型利用双向 LSTM 或 GRU 结构捕捉序列特征，并允许每一层输出参与最终的词向量形成过程[^3]。 ```python from tensorflow.keras.layers import Bidirectional, LSTM, Input from tensorflow.keras.models import Model input_layer = Input(shape=(None,)) lstm_layers = [] for i in range(num_lstm_layers): lstm_output = Bidirectional(LSTM(units=hidden_units, return_sequences=True))(input_layer if i==0 else lstm_layers[-1]) lstm_layers.append(lstm_output) contextualized_word_vectors = tf.concat([layer[:, :, :] for layer in lstm_layers], axis=-1) ``` #### 句子级别的表示 当目标是从整个句子而非单个词语出发时，可以采用类似于 Skip-Thought Vectors 的架构。这里 Encoder 负责提取句子级特征，而 Decoder 则用于预测前后相邻的句子内容。为了提高效率，实际应用中可能会简化此结构，比如仅保留 Encoder 中的一部分组件，像 Bi-GRU 替代标准 RNN 单元[^2]。 ```python from tensorflow.keras.layers import Dense, TimeDistributed encoder_outputs = contextualized_word_vectors decoder_inputs = ... # 定义解码器输入 dense_layer = TimeDistributed(Dense(vocab_size)) predictions = dense_layer(decoder_inputs) model = Model(inputs=[input_layer, decoder_inputs], outputs=predictions) ```