### Python 词法分析器工具推荐 以下是几个常用的 Python 词法分析器工具及其特点： #### 1. `tokenize` 模块 Python 的标准库中已经内置了一个名为 `tokenize` 的模块，它可以直接用于解析 Python 源代码并将其转换为一系列的 token。这个模块非常适合处理简单的词法分析任务[^1]。 示例代码如下： ```python import tokenize from io import BytesIO def analyze_tokens(code): tokens = [] for toktype, tokval, _, _, _ in tokenize.tokenize(BytesIO(code.encode('utf-8')).readline): tokens.append((tokenize.tok_name[toktype], tokval)) return tokens code_example = "print('Hello World')" tokens = analyze_tokens(code_example) for t in tokens: print(t) ``` #### 2. PLY (Python Lex-Yacc) PLY 是一个非常强大的工具包，可以用来实现自定义的词法和语法分析器。它基于传统的 lex 和 yacc 工具设计，支持灵活的规则定义[^2]。 安装方法： ```bash pip install ply ``` 示例代码： ```python import ply.lex as lex tokens = ( 'NUMBER', 'PLUS', 'MINUS', 'TIMES', 'DIVIDE', ) t_PLUS = r'\+' t_MINUS = r'-' t_TIMES = r'\*' t_DIVIDE = r'/' def t_NUMBER(t): r'\d+' t.value = int(t.value) return t lexer = lex.lex() data = "3 + 4 - 5" lexer.input(data) while True: tok = lexer.token() if not tok: break print(tok) ``` #### 3. Lark Parser Lark 是另一个现代且高效的解析器生成器，支持 Earley、CYK 和 LALR(1) 解析算法。它可以轻松构建复杂的词法和语法规则，并提供良好的性能和支持[^3]。 安装方法： ```bash pip install lark-parser ``` 示例代码： ```python from lark import Lark grammar = """ ?start: sum sum: NUMBER "+" NUMBER %import common.NUMBER -> NUMBER %ignore " " """ parser = Lark(grammar) tree = parser.parse("3 + 4") print(tree.pretty()) ``` --- ### 总结 对于初学者来说，如果只是想快速了解 Python 自身的词法结构，建议使用标准库中的 `tokenize` 模块；而对于更复杂的需求，则可以选择功能更强的第三方工具如 PLY 或 LARK[^3]。