序列推荐（Sequential Recommendation）旨在根据用户的历史行为序列（如点击、购买、观看等按时间排序的记录）来预测其下一个可能感兴趣的物品。其核心在于捕捉序列中的模式、顺序依赖和用户兴趣的动态演变。下面我将结合具体场景，对比几种主流序列推荐模型的实现思路，并提供基于Python和TensorFlow/Keras的代码示例。 ### 一、序列推荐的核心挑战与模型演进 序列推荐与传统推荐（如协同过滤）的关键区别在于对**顺序信息**的建模。主要挑战包括： 1. **短期兴趣**：用户最近的行为往往更能反映其即时意图。 2. **长期偏好**：用户稳定的兴趣偏好需要从整个序列中提取。 3. **序列模式**：行为之间可能存在复杂的转移模式（如“购买手机后常买手机壳”）。 模型的演进大致遵循以下路径： | 模型类型 | 核心思想 | 优点 | 缺点 | 典型代表 | | :--- | :--- | :--- | :--- | :--- | | **基于马尔可夫链** | 将用户行为视为状态转移，用高阶马尔可夫链捕捉序列依赖。 | 模型简单，可解释性强。 | 难以处理长序列，特征组合能力弱。 | FPMC | | **基于循环神经网络** | 使用RNN、LSTM、GRU等循环结构按序处理行为，隐状态传递序列信息。 | 能建模变长序列，捕捉长期依赖。 | 顺序处理难以并行，对长序列梯度可能消失/爆炸。 | GRU4Rec | | **基于注意力机制** | 通过注意力权重动态强调与目标物品相关的历史行为。 | 能捕捉非连续依赖，并行性好，可解释性强（通过注意力权重）。 | 对位置信息不敏感（需额外位置编码）。 | DIN, BST | | **基于Transformer** | 使用多头自注意力全面捕捉序列内任意两个行为间的交互，位置编码注入顺序信息。 | 并行效率高，建模能力极强，适合长序列。 | 计算复杂度随序列长度平方增长，需大量数据。 | BERT4Rec, BST | ### 二、关键代码实现示例 以下将以一个电商场景为例，用户行为序列为一系列商品ID，目标是预测用户下一次点击的商品。我们使用Keras（TensorFlow后端）实现一个简化的**BST（Behavior Sequence Transformer）模型**[ref_1]核心部分，它结合了Transformer和注意力机制的优势。 首先，进行必要的导入和准备。 ```python import numpy as np import tensorflow as tf from tensorflow.keras.layers import Input, Embedding, Dense, Dropout, LayerNormalization, MultiHeadAttention, GlobalAveragePooling1D, Add, Flatten from tensorflow.keras.models import Model # 假设参数 MAX_SEQ_LENGTH = 20 # 用户行为序列最大长度 ITEM_NUM = 10000 # 商品总数 EMBEDDING_DIM = 32 # 嵌入维度 NUM_HEADS = 4 # Transformer多头注意力头数 FF_DIM = 64 # Transformer前馈网络维度 NUM_TRANSFORMER_BLOCKS = 2 # Transformer块数量 ``` #### 1. 构建模型输入与嵌入层 模型需要处理序列中的商品ID以及序列的位置信息。 ```python def build_bst_model(): # 输入层 seq_input = Input(shape=(MAX_SEQ_LENGTH,), name='sequence_items') # 行为序列商品ID target_input = Input(shape=(1,), name='target_item') # 目标商品ID（训练时用） # 商品嵌入层（序列物品和目标物品共享） item_embedding_layer = Embedding(ITEM_NUM, EMBEDDING_DIM, name='item_embedding') seq_emb = item_embedding_layer(seq_input) # 形状: (batch, seq_len, embed_dim) target_emb = item_embedding_layer(target_input) # 形状: (batch, 1, embed_dim) # 位置编码层 (为序列中的每个位置生成一个可学习的嵌入向量) pos_input = Input(shape=(MAX_SEQ_LENGTH,), name='sequence_positions') pos_embedding_layer = Embedding(MAX_SEQ_LENGTH, EMBEDDING_DIM, name='position_embedding') pos_emb = pos_embedding_layer(pos_input) # 形状: (batch, seq_len, embed_dim) # 序列商品嵌入 + 位置嵌入 seq_emb = seq_emb + pos_emb ``` #### 2. 实现Transformer编码块 这是BST的核心，用于捕捉序列内部的复杂交互。 ```python # Transformer 编码块函数 def transformer_encoder(inputs, num_heads, ff_dim, dropout_rate=0.1): # 多头自注意力 attention_output = MultiHeadAttention(num_heads=num_heads, key_dim=EMBEDDING_DIM)(inputs, inputs) attention_output = Dropout(dropout_rate)(attention_output) # 残差连接与层归一化 x = Add()([inputs, attention_output]) x = LayerNormalization(epsilon=1e-6)(x) # 前馈网络 ffn_output = Dense(ff_dim, activation='relu')(x) ffn_output = Dense(EMBEDDING_DIM)(ffn_output) ffn_output = Dropout(dropout_rate)(ffn_output) # 残差连接与层归一化 x = Add()([x, ffn_output]) x = LayerNormalization(epsilon=1e-6)(x) return x # 堆叠多个Transformer块 x = seq_emb for _ in range(NUM_TRANSFORMER_BLOCKS): x = transformer_encoder(x, NUM_HEADS, FF_DIM) # 序列表示：对Transformer输出进行平均池化 seq_representation = GlobalAveragePooling1D()(x) # 形状: (batch, embed_dim) ``` #### 3. 目标注意力与预测层 借鉴DIN[ref_2]的思想，使用注意力机制计算历史序列与目标商品的相关性，动态聚合序列信息。 ```python # 目标注意力 (Target Attention) # 将目标商品嵌入复制seq_len次，便于与序列每个位置计算注意力 target_emb_repeated = tf.repeat(target_emb, repeats=MAX_SEQ_LENGTH, axis=1) # 形状: (batch, seq_len, embed_dim) # 计算注意力分数：序列表示