Python实现定时数据爬取可结合爬虫代码与定时调用方法。 首先是爬虫代码，示例如下，它能够完成数据的抓取与解析工作： ```python import requests from hashlib import sha256 seen_urls = set() def fetch_data(url): if url in seen_urls: return None try: response = requests.get(url) response.raise_for_status() seen_urls.add(url) return response.text except requests.exceptions.RequestException as e: print(f"Request failed: {e}") return None def parse_data(html_content): # 解析数据的操作 # 示例：提取标题和链接 titles = [] links = [] # ... (解析逻辑) return titles, links # 主程序 url = 'http://example.com' html_content = fetch_data(url) if html_content: titles, links = parse_data(html_content) for title, link in zip(titles, links): print(f"Title: {title}, Link: {link}") else: print("Failed to fetch data.") ``` 这段代码通过`fetch_data`函数来获取指定URL的网页内容，`parse_data`函数用于解析网页内容，从中提取所需信息，如标题和链接等[^2]。 其次是定时调用方法，借助`schedule`库可以实现不同时间间隔的定时任务部署，示例代码如下： ```python import schedule import time def job(): # 这里调用爬虫代码 url = 'http://example.com' html_content = fetch_data(url) if html_content: titles, links = parse_data(html_content) for title, link in zip(titles, links): print(f"Title: {title}, Link: {link}") else: print("Failed to fetch data.") schedule.every(10).minutes.do(job) # 部署每10分钟执行一次job()函数的任务 schedule.every().hour.do(job) # 部署每×小时执行一次job()函数的任务 schedule.every().day.at("10:30").do(job) # 部署在每天的10:30执行job()函数的任务 schedule.every().monday.do(job) # 部署每个星期一执行job()函数的任务 schedule.every().wednesday.at("13:15").do(job) # 部署每周三的13：15执行函数的任务 while True: schedule.run_pending() time.sleep(1) # 如果任务准备就绪，就开始执行任务。 ``` 上述代码中，`job`函数包含了爬虫代码的调用，通过`schedule`库可以根据不同需求设置定时任务，如每10分钟、每小时、每天特定时间、每周特定日期等执行一次爬虫任务[^3]。