LLM的核心技术基于Transformer架构，其中自注意力机制是Transformer架构的关键特性，它允许模型在处理序列（如文本）时，关注到序列中各个位置的不同部分，并根据上下文调整其权重，从而让模型更好地理解序列中的语义信息 [^2]。 预训练在LLM中至关重要，它将大规模语料库中的通用知识编码到巨大的模型参数中。常用的预训练任务有语言建模和去噪自编码 [^4]。语言建模任务是预训练仅包含解码器的大语言模型（如GPT3和PaLM）最常用的目标，它基于序列中前面的标记自回归地预测目标标记。而去噪自编码任务的输入是有随机替换区间的损坏文本，模型被训练以恢复被替换的标记，采用该任务作为预训练目标的模型有T5和GLM130B等 [^4]。 在Transformer的输入处理层，包含词嵌入（wte）、位置编码（wpe）和Dropout等组件。词嵌入将离散的token ID转换为连续向量，进行维度变换；位置编码添加序列位置信息；Dropout是一种正则化手段，防止过拟合 [^5]。 ```python # 输入处理层示例代码 import torch import torch.nn as nn class PositionalEncoding(nn.Module): def __init__(self, args): super(PositionalEncoding, self).__init__() # 这里可根据具体需求实现位置编码逻辑 def forward(self, input): # 实现位置编码的前向传播逻辑 return input class InputProcessingLayer(nn.Module): def __init__(self, args): super(InputProcessingLayer, self).__init__() self.transformer = nn.ModuleDict(dict( wte=nn.Embedding(args.vocab_size, args.n_embd), wpe=PositionalEncoding(args), drop=nn.Dropout(args.dropout) )) def forward(self, input): output = self.transformer['wte'](input) positional_embeddings = self.transformer['wpe'](output) output = output + positional_embeddings output = self.transformer['drop'](output) return output # 示例使用 class Args: vocab_size = 1000 n_embd = 128 dropout = 0.1 args = Args() input_processing_layer = InputProcessingLayer(args) input_tensor = torch.randint(0, args.vocab_size, (1, 10)) output = input_processing_layer(input_tensor) print(output.shape) ```