### 如何使用 Selenium 提取并处理复杂的 HTML 表格数据 提取和处理复杂的 HTML 表格数据可以通过 Selenium 和 Beautiful Soup 的组合来实现。以下是具体的方法： #### 启动浏览器驱动 首先，需要初始化 WebDriver 并导航至目标网页： ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('https://example.com') html_content = driver.page_source ``` 此部分代码用于加载动态生成的内容，并通过 `page_source` 方法获取完整的 HTML 页面源码[^2]。 #### 解析 HTML 数据 为了更方便地解析 HTML 结构中的表格数据，推荐使用 Beautiful Soup 库配合 lxml 解析器： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'lxml') table = soup.find('table') # 查找第一个 table 元素 ``` BeautifulSoup 能够轻松定位所需的 `<table>` 标签及其子元素[^4]。 #### 遍历表格行与列 对于复杂表格，通常会涉及跨单元格（colspan 或 rowspan）。下面是一个通用的逻辑框架，用来遍历每一行和每列的数据： ```python data_rows = [] headers = [] # 处理表头 header_row = table.find('thead').find_all('th') if table.find('thead') else None if header_row: headers = [cell.text.strip() for cell in header_row] # 处理主体内容 body_rows = table.find('tbody').find_all('tr') if table.find('tbody') else table.find_all('tr') for row in body_rows: cells = row.find_all(['td', 'th']) extracted_cells = [cell.text.strip() for cell in cells] # 如果存在 colspan，则需调整列表长度以匹配原始结构 adjusted_cells = adjust_for_colspan(cells) data_rows.append(adjusted_cells) ``` 在此过程中需要注意的是某些单元格可能设置了 `colspan` 属性，这会影响最终输出的一致性。因此引入辅助函数 `adjust_for_colspan()` 来解决该问题[^4]: ```python def adjust_for_colspan(cells): result = [] index = 0 for cell in cells: span_count = int(cell.attrs.get('colspan', 1)) while span_count > 0: result.append((index, cell.text.strip())) span_count -= 1 index += 1 return result ``` #### 存储为结构化格式 最后一步是将收集到的信息保存成易于使用的格式，比如 CSV 文件或者 Pandas DataFrame 对象： ```python import pandas as pd df = pd.DataFrame(data_rows, columns=headers) print(df.to_markdown()) # 输出 Markdown 版本便于查看 ``` 这样就完成了从启动浏览器、抓取页面直到整理好表格数据的整体流程[^3]。