### 编写Python爬虫程序抓取卫星表格数据 要实现通过 Python 抓取卫星相关的表格数据，可以从以下几个方面入手： #### 1. 数据获取方式的选择 通常情况下，网页中的表格数据可以通过 HTML 的 `<table>` 标签呈现出来。如果目标网站提供了 API 接口，则可以直接调用接口获取 JSON 或 XML 格式的结构化数据[^1]。如果没有提供 API，那么需要解析页面的 HTML 结构。 对于复杂的动态加载内容（如 JavaScript 渲染的数据），可能需要用到 Selenium 这样的工具模拟浏览器行为并提取数据[^2]。 #### 2. 使用 `requests` 和 `BeautifulSoup` 提取静态表格数据 当目标网页上的表格是静态渲染时，可以利用 `requests` 库发送 HTTP 请求下载网页内容，并借助 `BeautifulSoup` 解析 HTML 文档以定位到所需的 `<table>` 元素及其子节点。 以下是基本代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd url = 'https://example.com/satellite-data' # 替换为目标网址 headers = {'User-Agent': 'Mozilla/5.0'} # 设置请求头防止被拒绝访问 response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') table = soup.find('table') # 查找第一个表格 rows = [] for tr in table.find_all('tr'): # 遍历每一行 cells = [td.get_text(strip=True) for td in tr.find_all(['th', 'td'])] rows.append(cells) df = pd.DataFrame(rows[1:], columns=rows[0]) # 转换成 DataFrame 并设置列名 print(df.head()) else: print(f"Failed to retrieve data: {response.status_code}") ``` #### 3. 动态加载的内容处理 (Selenium 方法) 某些现代 Web 页面会依赖于 AJAX 加载或者由前端框架生成 DOM 树，在这种场景下仅靠简单的 GET 请求无法获得完整的 HTML 内容。此时推荐采用 Selenium 工具驱动真实浏览器实例完成交互操作后再读取最终形成的文档对象模型(DOM)。 安装必要的库之后执行下面脚本即可： ```bash pip install selenium webdriver-manager ``` 对应代码片段如下所示： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager from bs4 import BeautifulSoup import time service = Service(ChromeDriverManager().install()) driver = webdriver.Chrome(service=service) try: driver.get('https://dynamic-example.com/satellites') # 给予一定时间等待异步资源完全加载完毕 time.sleep(5) html_content = driver.page_source finally: driver.quit() soup = BeautifulSoup(html_content, 'lxml') tables = soup.select('table') # 获取所有表单元素列表 for idx, tbl in enumerate(tables): print(f"\nTable #{idx}:") print(tbl.prettify()) # 输出格式化的HTML字符串便于调试分析 ``` #### 4. 性能优化建议 为了提高效率减少网络延迟影响，应该考虑加入缓存机制避免重复查询相同URL；另外还可以多线程并发运行多个任务加速整体进度不过度占用服务器带宽造成负担。 ---