在头歌平台上进行网络爬虫爬取网页表格信息，可参考以下思路和方法： ### 1. 使用`requests`库获取网页内容 若网页为静态页面，可使用`requests`库发送HTTP请求获取网页的HTML内容。以下是一个示例代码： ```python import requests def get_html(url): header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" } re = requests.get(url, headers=header) re.encoding = "utf-8" html = re.text return html ``` 此代码通过`requests.get`方法发送HTTP请求，设置请求头模拟浏览器访问，获取网页的HTML文本内容[^1]。 ### 2. 使用`lxml`库解析HTML并提取表格信息 获取网页的HTML内容后，可使用`lxml`库解析HTML，提取表格信息。示例代码如下： ```python from lxml import etree def extract_table_info(html): tree = etree.HTML(html) # 假设表格在网页中的定位 table = tree.xpath('//table')[0] rows = table.xpath('.//tr') table_data = [] for row in rows: cells = row.xpath('.//td') row_data = [cell.text.strip() if cell.text else '' for cell in cells] table_data.append(row_data) return table_data ``` 该代码使用`etree.HTML`方法将HTML文本转换为可解析的树结构，通过`xpath`方法定位表格和表格中的行、列，提取表格信息。 ### 3. 完整示例 将上述两个步骤结合，完整的代码示例如下： ```python import requests from lxml import etree def get_html(url): header = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" } re = requests.get(url, headers=header) re.encoding = "utf-8" html = re.text return html def extract_table_info(html): tree = etree.HTML(html) table = tree.xpath('//table')[0] rows = table.xpath('.//tr') table_data = [] for row in rows: cells = row.xpath('.//td') row_data = [cell.text.strip() if cell.text else '' for cell in cells] table_data.append(row_data) return table_data # 示例使用 url = 'https://example.com' # 替换为实际的网页URL html = get_html(url) table_info = extract_table_info(html) for row in table_info: print(row) ``` 该示例代码先使用`get_html`函数获取网页的HTML内容，再使用`extract_table_info`函数提取表格信息，并将表格信息逐行打印输出。 ### 4. 处理动态加载的表格 若表格为动态加载，可使用`Selenium`或`Playwright`等工具模拟浏览器操作，加载完整的网页内容后再进行解析。以`Playwright`为例，可参考以下代码： ```python from playwright.sync_api import sync_playwright def get_dynamic_html(url): with sync_playwright() as p: browser = p.chromium.launch() page = browser.new_page() page.goto(url) # 等待表格加载完成，可根据实际情况调整等待时间或使用更精确的等待条件 page.wait_for_selector('table') html = page.content() browser.close() return html ``` 此代码使用`Playwright`打开网页，等待表格加载完成后获取网页的HTML内容，后续可使用`lxml`库解析表格信息。