### Python 中的调度模块及使用方法 Python 提供了多种用于任务调度的模块，适用于定时执行任务、多进程调度以及爬虫等场景。这些模块包括 `schedule`、`APScheduler`、`Celery` 等。 #### 使用 `schedule` 模块进行任务调度 `schedule` 是一个轻量级的第三方库，适合简单的定时任务管理。通过该模块可以轻松实现按时间间隔或特定时间点执行任务的功能。以下是一个基本用法示例： ```python import schedule import time from datetime import datetime def job(): now = datetime.now() current_time = now.strftime("%H:%M:%S") print(f'现在的时间是: {current_time}') # 定义任务执行频率 schedule.every().minute.do(job) # 每分钟执行一次 while True: schedule.run_pending() time.sleep(1) ``` 此代码将每分钟打印一次当前时间 [^2]。 #### 使用 `APScheduler` 实现高级调度功能 `APScheduler`（Advanced Python Scheduler）是一个功能更强大的调度库，支持多种调度器类型（如 `BlockingScheduler`、`BackgroundScheduler`），并允许基于日期、间隔或 Cron 表达式定义任务触发规则。以下是其基本用法： ```python from apscheduler.schedulers.background import BackgroundScheduler from datetime import datetime import time def job(): now = datetime.now() current_time = now.strftime("%H:%M:%S") print(f'现在的时间是: {current_time}') # 创建后台调度器 scheduler = BackgroundScheduler() # 添加任务，每5秒执行一次 scheduler.add_job(job, 'interval', seconds=5) # 启动调度器 scheduler.start() try: while True: time.sleep(1) except KeyboardInterrupt: # 关闭调度器 scheduler.shutdown() ``` 上述代码将在后台运行，并每5秒打印一次当前时间 [^2]。 #### 在爬虫中使用自定义调度模块 在编写网络爬虫时，通常需要对请求 URL 进行管理和调度。可以通过自定义类来实现这一功能，例如下面的代码展示了如何构建一个简单的爬虫框架： ```python class Run(object): def __init__(self): self.queue = URLQueue() # 假设已定义URL队列类 self.downloader = Gethtml() # 假设已定义HTML下载器 self.parser = GetNodeList() # 假设已定义节点解析器 self.output = DataOutput() # 假设已定义数据输出器 def crawl(self, root_url): # 添加入口URL self.queue.add_new_url(root_url) # 判断URL管理器是否有新的URL，同时计算抓取了多少个url while (self.queue.has_new_url() and self.queue.old_url_size() < 100): try: new_url = self.queue.get_new_url() html = self.downloader.get_source(new_url) new_urls = self.parser.use_xpath(new_url, html) self.queue.add_new_urls(new_urls) # 数据存储器存储文件 data = "" # datalist一般是上面取xpath获取值的一个集合这里略。 self.output.store_data(data) print("已经抓取%s个链接" % self.queue.old_url_size()) except Exception: print("err") if __name__ == "__main__": spider_man = Run() spider_man.crawl("https://www.baidu.com") ``` 此代码段描述了一个爬虫的基本结构和流程 [^3]。 #### Spark 调度模块概述 虽然不是 Python 特有的模块，但 Apache Spark 的调度机制对于大规模数据处理非常重要。Spark 的调度模块负责为创建它的 `SparkContext` 分配任务，即从 `DAGScheduler` 接收不同阶段的任务并向集群管理器申请资源 [^4]。