### 定时爬取网页数据并写入 Excel 的自动化方法 实现定时爬取网页数据并自动写入 Excel 文件的过程可以分为以下几个核心部分： #### 数据采集与解析 使用 Python 的 `requests` 库可以发起 HTTP 请求获取网页内容，再通过 `BeautifulSoup` 或 `lxml` 解析 HTML 文本，提取目标数据。例如，从上海有色网抓取锌金属价格时，需要分析网页结构，找到价格所在的 HTML 标签，并提取其文本内容。 ```python import requests from bs4 import BeautifulSoup def fetch_zinc_price(): url = "https://www.shmet.com" headers = { "User-Agent": "Mozilla/5.0" } response = requests.get(url, headers=headers) response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'html.parser') # 假设锌价格在某个特定的类中 zinc_price_tag = soup.find('span', class_='zinc-price') if zinc_price_tag: zinc_price = zinc_price_tag.text.strip() else: zinc_price = "N/A" return zinc_price ``` #### 数据写入 Excel 使用 `openpyxl` 或 `pandas` 可以将爬取到的数据写入 Excel 文件。`openpyxl` 支持 `.xlsx` 格式，适用于手动操作单元格内容，而 `pandas` 提供了更高级的数据结构，适合批量处理数据[^1]。 ```python import openpyxl import time def write_to_excel(price): file_name = "zinc_prices.xlsx" try: workbook = openpyxl.load_workbook(file_name) sheet = workbook.active except FileNotFoundError: workbook = openpyxl.Workbook() sheet = workbook.active sheet.append(["时间", "锌价格"]) # 添加表头 current_time = time.strftime("%Y-%m-%d %H:%M:%S") sheet.append([current_time, price]) workbook.save(file_name) print(f"已写入Excel：{current_time} - {price}") ``` #### 定时任务设置 Python 提供了多种方式设置定时任务。可以使用 `schedule` 库进行简单的时间间隔控制，也可以结合操作系统的定时任务工具（如 Linux 的 `cron` 或 Windows 的任务计划程序）实现长期运行的自动化任务[^2]。 ```python import schedule import time def job(): price = fetch_zinc_price() write_to_excel(price) # 每天上午10点执行一次 schedule.every().day.at("10:00").do(job) while True: schedule.run_pending() time.sleep(1) ``` #### 异常处理与日志记录 为了增强程序的健壮性，建议加入异常处理机制，如网络连接失败、元素未找到等情况。同时，可以使用 `logging` 模块记录程序运行日志，便于后期排查问题[^2]。 ```python import logging logging.basicConfig(filename='zinc_price_crawler.log', level=logging.INFO) def job(): try: price = fetch_zinc_price() write_to_excel(price) logging.info(f"成功写入数据：{price}") except Exception as e: logging.error(f"发生错误：{str(e)}") ``` --- ###