### 使用 Python 和 XPath 抓取网页表格数据 为了实现从网页抓取表格数据并保存到本地文件，可以采用 `requests` 库来发送 HTTP 请求以及 `lxml` 的 `etree` 来解析 HTML 文档。具体操作如下： #### 导入必要的库 ```python import requests from lxml import etree import pandas as pd ``` #### 发送请求获取页面内容 定义目标 URL 后，利用 `requests.get()` 方法发起 GET 请求以获得响应对象。 ```python url = 'https://example.com/table-page' # 替换成实际的目标网址 response = requests.get(url) if response.status_code != 200: raise Exception(f"Failed to load page {url}") html_content = response.content.decode('utf-8') ``` #### 解析HTML文档结构 创建一个 ElementTree 对象用于后续定位所需的数据位置。 ```python tree = etree.HTML(html_content) ``` #### 定位表格元素并通过XPath表达式提取数据 假设要抓取的是 `<table>` 标签下的所有行 (`<tr>`) 及其子列 (`<td>` 或者 `<th>`), 需构建合适的 XPath 查询语句[^2]. ```python rows = tree.xpath('//table//tr') data_rows = [] for row in rows: cells = row.xpath('.//td|.//th') # 获取每一行中的单元格 cell_texts = [cell.text.strip() if cell.text else '' for cell in cells] data_rows.append(cell_texts) df = pd.DataFrame(data_rows[1:], columns=data_rows[0]) # 假设首行为表头 print(df.head()) ``` #### 将数据导出至CSV文件 最后一步就是把收集好的数据存储下来以便进一步分析处理。 ```python output_file = './web_table_data.csv' df.to_csv(output_file, index=False, encoding='utf_8_sig') print(f'Table has been saved into file "{output_file}" successfully.') ```