### 实现Python子集词法分析器 构建一个简单的词法分析器（lexer），用于解析Python的一个简化版本，可以分为几个主要部分来理解。首先定义目标语言的标记类型，接着实现状态机或正则表达式的匹配逻辑以识别这些标记。 对于Python子集而言，常见的标记包括但不限于关键字、标识符、运算符以及分隔符等。下面是一个基于正则表达式的方法来创建这样一个简易的词法分析器[^1]： ```python import re from collections import namedtuple Token = namedtuple('Token', ['type', 'value']) def tokenize(code): keywords = {'IF': 'IF', 'THEN': 'THEN', 'ENDIF': 'ENDIF'} token_specification = [ ('NUMBER', r'\d+(\.\d*)?'), # Integer or decimal number ('ASSIGN', r'='), # Assignment operator ('END', r';'), # Statement terminator ('ID', r'[A-Za-z]+'), # Identifiers ('OP', r'[+\-\*/]'), # Arithmetic operators ('NEWLINE', r'\n'), # Line endings ('SKIP', r'[ \t]+'), # Skip over spaces and tabs ('MISMATCH', r'.'), # Any other character ] tok_regex = '|'.join(f'(?P<{pair}>{spec})' for pair, spec in token_specification) line_num = 1 line_start = 0 for mo in re.finditer(tok_regex, code): kind = mo.lastgroup value = mo.group() column = mo.start() - line_start if kind == 'NUMBER': value = float(value) if '.' in value else int(value) elif kind == 'ID' and value in keywords: kind = keywords[value] elif kind == 'NEWLINE': line_start = mo.end() line_num += 1 continue elif kind == 'SKIP': continue elif kind == 'MISMATCH': raise RuntimeError(f'{value!r} unexpected on line {line_num}') yield Token(kind, value) code = ''' spam = eggs; IF spam == 2 THEN bacon = 2; ENDIF; ''' tokens = list(tokenize(code)) for t in tokens: print(t) ``` 上述代码展示了如何通过正则表达式模式匹配输入字符串中的不同组成部分，并将其转换成一系列`Token`对象表示各个语法单元。此方法适用于相对简单的情况；更复杂的场景可能需要采用专门的状态机或其他高级技术来进行精确控制和优化。