### Transformer 和 CNN 的输入要求区别 #### 1. 数据形式的要求 CNN 主要用于处理具有空间结构的数据，例如图像。其输入通常是一个固定大小的多维张量（如二维或三维），其中每个维度对应于像素的空间排列[^1]。例如，对于 RGB 图像，输入形状通常是 `(height, width, channels)`。 相比之下，Transformer 对输入的形式更加灵活，能够适应序列化数据，比如自然语言中的文本。它的典型输入是一系列嵌入向量组成的矩阵，每行代表一个时间步长或位置上的特征表示[^3]。这种灵活性使得 Transformer 不仅适用于 NLP 领域的任务，还逐渐扩展到了其他模态的数据处理中。 #### 2. 局部性和全局性的考量 由于采用了卷积操作,CNN 更加关注局部模式的学习; 它通过滑动窗口机制提取小范围内的特征组合，并逐层构建更复杂的高层抽象概念。这就决定了它非常适合解决那些依赖相邻元素间相互作用强烈的问题场景(如边缘检测、纹理分析等)。 而 Self-Attention 机制赋予了 Transformers 同时捕捉远距离依赖关系的能力。无论词语之间相隔多远，在计算注意力分数时都能被考虑到，从而实现对整个句子甚至文档级别的建模[^3]。不过需要注意的是，当应用于视觉任务时，则可能需要额外的设计来引入一定的归纳偏置(inductive bias)，以便更好地理解和利用图片固有的网格状拓扑特性。 #### 3. 尺寸不变性与预处理需求差异 传统意义上的 CNN 架构假设所有样本都应该具备相同的分辨率规格——即所谓的尺寸不变性(property of size-invariance)[^4]。这意味着如果原始素材不符合指定的标准格式的话，则往往有必要执行裁剪(cropping)/填充(padding)之类的变换步骤作为前期准备工作的一部分。 另一方面，尽管原则上讲任何长度都可以成为有效的输入给定适当调整参数设置前提下，但在实际应用当中为了提高效率并减少内存消耗，人们还是会倾向于限定最大允许值上限，并采用分片(segmentation)或者截断(truncation)手段加以控制。此外，Position Encoding 技术也被广泛采纳进来弥补缺乏内在顺序信息这一短板[^3]。 ```python import torch from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') text = "This is an example sentence." encoded_input = tokenizer(text, return_tensors='pt', padding=True, truncation=True) print(encoded_input['input_ids']) ``` 以上代码片段展示了如何使用 Hugging Face 提供的工具包将一段英文字符串转换成适合喂入 BERT 模型 (一种基于 Transformer 的架构) 处理的形式。可以看到除了 tokenization 这一基本环节之外还包括了一些必要的辅助措施以满足特定框架下的接口定义约束条件。 ---