在使用 BERT 中文模型进行自然语言处理之前，标准化文本是预处理中非常关键的一步。标准化可以包括以下操作： - 去除文本中的空白字符（如多个空格、换行等） - 统一标点符号（如全角转半角） - 转换为Unicode（确保字符一致） - 去除非中文字符（可选，根据任务需求） - 去除HTML标签、特殊符号等 以下是使用 Python 对中文文本进行标准化的完整示例代码： ```python import re import unicodedata def normalize_text(text): # 1. 去除首尾空白字符 text = text.strip() # 2. 统一 Unicode 编码，使用 NFC 标准化形式 text = unicodedata.normalize('NFC', text) # 3. 将全角字符转换为半角 text = ''.join([ unicodedata.normalize('NFKC', char) if unicodedata.east_asian_width(char) in 'FWA' else char for char in text ]) # 4. 去除多余的空白字符（包括换行、制表符等） text = re.sub(r'\s+', ' ', text) # 5. 去除 HTML 标签 text = re.sub(r'<[^>]+>', '', text) # 6. 去除特殊符号（可选，根据任务决定是否保留标点） # text = re.sub(r'[^\u4e00-\u9fa5a-zA-Z0-9\s。，！？]', '', text) # 7. 转换为小写（英文部分） text = text.lower() return text # 示例文本 sample_text = " 这是一段　测试文本，包含各种符号！<br>例如：❤️😊👍 ！ " normalized_text = normalize_text(sample_text) print(normalized_text) ``` ### 代码解释： 1. **strip()**：去除字符串首尾的空白字符。 2. **unicodedata.normalize('NFC')**：将字符统一为标准 NFC 编码，避免相同字符因编码不同而被视为不同。 3. **unicodedata.normalize('NFKC')**：将全角字符转换为半角，例如“Ａ”转为“A”。 4. **re.sub(r'\\s+', ' ', text)**：将多个空白字符（空格、换行、制表符）合并为一个空格。 5. **re.sub(r'<[^>]+>', '', text)**：去除 HTML 标签。 6. **lower()**：将英文字符转为小写，提高模型对大小写不敏感的处理能力。 --- ### 补充说明： BERT 中文模型通常使用的是 **WordPiece Tokenizer**，其对文本的标准化方式包括： - 去除空格 - 将所有字符转换为 UTF-8 - 不区分大小写（默认） 因此，上述标准化处理已经足够用于输入 BERT 模型。 --- ###