### 使用Python抓取网页中的表格数据 为了从网页中提取表格数据，可以采用多种方法和技术栈组合来完成这一目标。一种常见的方式是结合`requests`库获取网页的HTML源码，并借助`pandas`库内置的功能直接读取页面内的表格结构[^1]。 #### 方法一：使用 `requests` 和 `pandas` 这种方法适用于那些不需要处理JavaScript渲染的内容或动态加载部分的情况： ```python import pandas as pd import requests url = 'https://example.com/page-with-table' # 替换成实际的目标网址 html_content = requests.get(url).content dataframes_list = pd.read_html(html_content) # dataframes_list 是一个 DataFrame 对象列表， # 如果页面中有多个表格，则会依次存放在这个列表里。 for idx, df in enumerate(dataframes_list): print(f'Table {idx}:') print(df.head()) # 打印每个表格前几行查看内容 ``` 此段代码展示了如何通过简单的两步操作——发送HTTP请求获得HTML文档流以及调用`pd.read_html()`解析其中所有的表格元素并转化为易于分析的数据框形式。 对于更加复杂的场景，比如当遇到由JavaScript生成的表格或者其他非标准情况时，可能还需要引入其他工具如Selenium模拟浏览器行为或是BeautifulSoup来进行更精细的操作[^3]。 #### 方法二：使用 BeautifulSoup 解析 HTML 并定位 Table 标签 如果单纯依靠`pandas`无法满足需求，那么可以通过`BeautifulSoup`先找到特定的表格节点，之后再决定是要继续沿用`pandas`还是采取别的手段处理这些DOM片段： ```python from bs4 import BeautifulSoup import requests response = requests.get('https://another-example.com/table-page') soup = BeautifulSoup(response.text, 'lxml') table_tags = soup.find_all('table') # 查找所有 table 元素 for tag in table_tags: headers = [] rows = [] header_row = tag.find('thead').find_all('tr')[0].find_all(['th', 'td']) for cell in header_row: headers.append(cell.text.strip()) body_rows = tag.tbody.find_all('tr') for row in body_rows: current_row = [] cells = row.find_all(['th', 'td']) for cell in cells: current_row.append(cell.text.strip()) rows.append(current_row) dataframe = pd.DataFrame(rows, columns=headers) print(dataframe) ``` 这段脚本首先构建了一个`BeautifulSoup`对象用于解析整个HTML文本；随后针对每一个发现的`<table>`标签执行了更为细致化的遍历工作，最终同样得到了可供后续计算使用的`DataFrame`实例。 一旦获得了所需的表格数据作为`DataFrame`对象后，就可以很容易地将其导出至文件系统中以便长期存储或者分享给他人。例如保存为CSV格式非常简单： ```python df.to_csv('output.csv', index=False, encoding='utf-8-sig') ``` 上述命令将会把名为`df`的数据帧写入当前目录下的`output.csv`文件内，同时指定编码方式防止中文字符乱码等问题发生[^2]。