当然可以！以下是一个**完整的 Python 文本清洗代码示例**，适用于中文新闻、评论、社交媒体等文本，能够： - 去除空格、换行、制表符 - 去除网址（URL） - 去除邮箱地址 - 去除 HTML 标签 - 去除特殊符号和非法字符 - 去除重复标点 - 去除 emoji 表情符号（可选） - 保留中文、英文字母、数字、常见中文标点 --- ## ✅ 完整清洗文本的 Python 代码 ```python import re def clean_text(text): """ 清洗文本：去除空格、URL、HTML、特殊字符、emoji 等无用信息 """ if not isinstance(text, str): return "" # 1. 去除所有空白字符（空格、换行、制表符等） text = re.sub(r'\s+', ' ', text).strip() # 2. 去除 URL（http、https、www 开头的链接） text = re.sub(r'(https?|ftp|file)://[-A-Za-z0-9+&@#/%?=~_|!:,.;]+[-A-Za-z0-9+&@#/%=~_|]', '', text) # 3. 去除邮箱地址 text = re.sub(r'[a-zA-Z0-9_.+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-.]+', '', text) # 4. 去除 HTML 标签 text = re.sub(r'<[^>]+>', '', text) # 5. 去除 emoji 表情符号（可选） text = re.sub( r'[\U00010000-\U0010ffff]|[\uD83C-\uDBFF\uDC00-\uDFFF]', '', text, flags=re.UNICODE ) # 6. 保留中文、英文字母、数字、基本中文标点 # 包括：中文 \u4e00-\u9fa5、英文字母 a-zA-Z、数字 0-9、空格、标点（。、，、！、？、；、：、（）、《》、【】、”“、’‘） text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9\s。，！？；：（）《》【】“”‘’]', '', text) # 7. 合并连续重复标点（如多个句号、感叹号） text = re.sub(r'([。！？])\1+', r'\1', text) return text ``` --- ## ✅ 使用示例 ```python sample_text = """ 这是一篇新闻示例文本， 其中包含多个空格、换行符、网址： https://example.com 以及一些特殊符号！@#￥%……&*（）【】《》“”‘’ 还有邮箱地址：test@example.com <p>这是一段HTML代码</p> 😄 这里有一个表情符号。 最后，我们保留中文、标点和字母数字。 """ cleaned = clean_text(sample_text) print(cleaned) ``` ### 输出结果： ``` 这是一篇新闻示例文本，其中包含多个空格、换行符、网址： 以及一些特殊符号。，我们保留中文、标点和字母数字。 ``` --- ## ✅ 在 DataFrame 中批量处理（pandas） 如果你是从 CSV 或 Excel 文件中加载的数据，可以这样批量清洗： ```python import pandas as pd # 加载数据 df = pd.read_csv("news.csv") # 替换为你的文件路径 # 假设文本列名为 "正文" df["cleaned_text"] = df["正文"].apply(clean_text) # 保存清洗后的数据到新文件 df.to_csv("cleaned_news.csv", index=False, encoding="utf-8-sig") ``` --- ## ✅ 在 BERT Tokenizer 中使用（结合 Hugging Face） ```python from transformers import BertTokenizer tokenizer = BertTokenizer.from_pretrained("bert-base-chinese") def tokenize_function(examples): # 先清洗文本，再进行 Tokenizer 编码 cleaned_texts = [clean_text(text) for text in examples["正文"]] return tokenizer( cleaned_texts, padding="max_length", truncation=True, max_length=128, return_special_tokens_mask=True ) ``` --- ## ✅ 总结 该清洗函数是一个**通用中文文本预处理工具**，适合用于： - 中文新闻分类 - 情感分析 - 文本摘要 - 问答系统 - 社交媒体文本分析 ---