在使用Python进行网页数据爬取及自动化数据回填时，可以利用多个库来实现这一目标。以下是完整的流程和相关代码示例： ### 数据抓取部分 #### 1. 使用 `requests` 和 `BeautifulSoup` 抓取静态页面数据 ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { 'User-Agent': 'Mozilla/5.0' } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to retrieve page {url}") return None def parse_data(html_content): soup = BeautifulSoup(html_content, 'html.parser') # 假设我们想提取所有 <div class="item"> 的文本内容 items = [item.get_text(strip=True) for item in soup.find_all('div', class_='item')] return items ``` #### 2. 使用 `Selenium` 抓取动态页面数据 对于需要 JavaScript 渲染的页面，可使用 `Selenium` 模拟浏览器行为[^2]。 ```python from selenium import webdriver from selenium.webdriver.common.by import By import time def fetch_dynamic_page(url): driver = webdriver.Chrome() # 需要安装 chromedriver driver.get(url) # 等待页面加载完成，或者通过显式等待特定元素出现 time.sleep(3) # 获取页面源码 html_content = driver.page_source driver.quit() return html_content def extract_form_elements(html_content): driver = webdriver.Chrome() driver.get("data:text/html;charset=utf-8," + html_content) # 查找输入框并填充数据 username_input = driver.find_element(By.NAME, "username") password_input = driver.find_element(By.NAME, "password") username_input.send_keys("test_user") password_input.send_keys("test_pass") # 提交表单 submit_button = driver.find_element(By.XPATH, '//button[@type="submit"]') submit_button.click() time.sleep(3) # 等待提交结果 driver.quit() ``` ### 自动化数据回填部分 假设你已经从一个网站抓取了数据，并希望将这些数据自动填写到另一个网站的表单中，可以结合 `requests` 和 `Selenium` 实现。 #### 1. 使用 `Selenium` 自动填充表单 ```python def auto_fill_form(target_url, data_dict): driver = webdriver.Chrome() driver.get(target_url) for name, value in data_dict.items(): try: field = driver.find_element(By.NAME, name) field.clear() field.send_keys(value) except Exception as e: print(f"Error filling field {name}: {e}") # 提交按钮点击（根据实际页面调整） submit_button = driver.find_element(By.XPATH, '//input[@type="submit"]') submit_button.click() time.sleep(3) driver.quit() ``` ### 完整流程整合 你可以将上述模块组合成一个完整的脚本，先抓取数据，再将其填充到目标网站： ```python source_url = "https://example.com/data" target_url = "https://another-site.com/form" # 第一步：抓取源网站的数据 html_content = fetch_page(source_url) if html_content: extracted_data = parse_data(html_content) # 假设数据格式为 {"username": "user1", "password": "pass1"} data_to_fill = { "username": extracted_data[0], "password": extracted_data[1] } # 第二步：将数据自动填充到目标网站 auto_fill_form(target_url, data_to_fill) ``` --- ###