使用 BERT 进行文本特征提取 Python代码

### 使用 BERT 进行文本特征提取的 Python 实现以下是基于 BERT 模型进行文本特征提取的一个完整代码示例。此代码展示了如何加载预训练的 BERT 模型及其分词器，并通过输入一段文本获取其对应的特征向量。 ```python import torch from transformers import BertTokenizer, BertModel def extract_features(text): """ 提取给定文本的 BERT 特征向量。参数: text (str): 输入文本返回: features (torch.Tensor): 文本的特征向量 """ # 加载 BERT 分词器和模型 tokenizer = BertTokenizer.from_pretrained('bert-base-chinese') model = BertModel.from_pretrained('bert-base-chinese') # 将文本转换为 token IDs inputs = tokenizer(text, return_tensors='pt', padding=True, truncation=True) # 获取模型输出 with torch.no_grad(): outputs = model(**inputs) # 取最后一层隐藏状态的第一个标记（[CLS]）作为整个句子的特征表示 cls_feature = outputs.last_hidden_state[:, 0, :].squeeze() return cls_feature if __name__ == "__main__": sample_text = "这是一个测试文本，我们将从中提取特征。" feature_vector = extract_features(sample_text) print(f"文本 '{sample_text}' 的特征向量形状: {feature_vector.shape}") ``` #### 关键点解析上述代码实现了以下功能： 1. **加载预训练模型与分词器**：使用 `BertTokenizer` 和 `BertModel` 来分别加载中文版 BERT 的分词器和模型[^1]。 2. **文本处理**：利用分词器将输入文本转为适合 BERT 输入的格式，包括 tokenization、padding 和 truncation 等操作[^3]。 3. **前向传播计算**：禁用梯度追踪 (`with torch.no_grad()`) 并调用模型完成推理过程。 4. **特征提取**：选取 `[CLS]` 标记对应的最后一层隐藏状态作为整句的语义表示。 --- ###

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 django如何在static中存放视频

目录

使用 BERT 进行文本特征提取 Python代码

Python内容推荐

Python-微调BERT用于提取摘要的论文代码

使用CNN、RNN、GCN和BERT的中文文本分类Python代码实现（优质项目）

使用CNN、RNN、GCN和BERT进行中文文本分类的Python代码实现（优质课程设计）

基于python实现的图书推荐系统.zip

毕业设计-Python实现基于BERT模型的中文文本情感分类项目源码+操作过程.zip文件

Python-KerasBERTBERT的Keras实现可以加载官方预训练模型进行特征提取和预测

使用CNN、RNN、GCN和BERT进行中文文本分类的Python高级期末项目源代码

Python-使用预训练语言模型BERT做中文NER

基于PyTorch的BERT中文文本分类项目python源码+项目说明+数据集+详细注释.zip

Python-通过构建辅助句子利用BERT进行情感分析的论文代码和语料库

基于CNN+RNN+GCN+BERT的中文文本分类Python实现源码.zip

使用Python进行医疗临床文本处理

文本情感分析 python源代码

基于python的金融文本情感分析模型代码实现

conll 特征词提取 python

使用python进行文本预处理和提取特征的实例1.zip

Python-用谷歌BERT模型在BLSTMCRF模型上进行预训练用于中文命名实体识别的Tensorflow代码

python使用PyTorch和transformers大数据库构建的BERT模型进行情感分析案例代码（5500字附步骤.txt

python实现基于词典的文本情感分析.zip

融合CNN、RNN、GCN与BERT的中文文本分类Python源码实现（高分课程设计）

python TF-IDF算法实现文本关键词提取

使用Python进行医疗临床文本处理

BERT预训练模型字向量提取工具–使用BERT编码句子

python实现关键词提取的示例讲解

XX一号地工程模板支撑系统监理实施细则分析

别再为PyG安装头疼了！手把手教你用pip搞定PyTorch Geometric（附版本匹配避坑指南）

Windows下用YOLO时路径写法有什么讲究？斜杠、盘符和相对路径怎么处理？

现代自动控制系统理论与应用前沿综述

Jetson Nano环境配置避坑指南：TF卡初始化与镜像烧录全流程（Win11实测）

Hibernate懒加载字段在JSON序列化前怎么提前初始化？