### 如何使用Python解析HTML网页 #### 使用BeautifulSoup库解析HTML 为了利用`BeautifulSoup`来解析HTML文档，首先需要安装所需的库。可以通过pip命令完成安装： ```bash pip install beautifulsoup4 lxml ``` 之后，在Python脚本中导入`BeautifulSoup`并指定使用的解析器[^2]。 ```python from bs4 import BeautifulSoup import requests response = requests.get('http://example.com') # 发送HTTP请求获取页面内容 html_doc = response.text # 获取响应中的HTML文本 soup = BeautifulSoup(html_doc, 'lxml') # 创建BeautifulSoup对象并指定'lxml'作为解析器 ``` 一旦有了`BeautifulSoup`的对象`soup`，就可以轻松访问和操作DOM结构了。例如，可以遍历整个文档树寻找特定标签或属性[^3]。 ```python title_tag = soup.title # 查找<title>标签 print(title_tag.string) all_paragraphs = soup.find_all('p') # 找到所有的<p>(段落)标签 for p in all_paragraphs: print(p.get_text()) ``` 对于更复杂的查询需求，还可以组合多种过滤条件一起使用，比如按类名、ID或者其他自定义函数筛选元素[^1]。 #### 使用LXML库直接解析HTML 除了借助于`BeautifulSoup`之外，也可以单独采用`lxml.html`模块来进行更加底层的操作。这种方式通常效率更高一些，但是API相对复杂一点。 ```python from lxml import html import requests response = requests.get('http://example.com') tree = html.fromstring(response.content) # 将原始HTML转换成可处理的格式 titles = tree.xpath('//h1/text() | //h2/text()')# 利用XPath表达式选取节点 links = tree.cssselect('a[href]') for link in links: url = link.get('href') text = link.text_content() print(f'{text}: {url}') ``` 这里展示了两种不同的方式——一种基于`BeautifulSoup`面向对象的设计风格；另一种则是依赖于`lxml`所提供的强大而灵活的选择机制[XPath/CSS Selectors]。