### Python 爬虫日志设计的最佳实践 在开发 Python 爬虫时，日志功能是确保程序稳定性和可维护性的关键部分。通过合理设计日志功能，可以有效记录爬虫运行过程中的信息、警告和错误，便于后续调试和优化。以下是关于 Python 爬虫日志设计的最佳实践： #### 1. 使用标准库 `logging` 模块 Python 内置的 `logging` 模块提供了强大的日志功能，支持多种日志级别和输出方式。推荐使用该模块来实现爬虫的日志记录[^2]。 ```python import logging # 配置日志 logging.basicConfig( level=logging.DEBUG, format='%(asctime)s [%(levelname)s] %(message)s', handlers=[ logging.FileHandler("crawler.log"), # 将日志写入文件 logging.StreamHandler() # 同时输出到控制台 ] ) # 示例：记录不同级别的日志 logging.debug("这是调试信息") logging.info("这是普通信息") logging.warning("这是警告信息") logging.error("这是错误信息") logging.critical("这是严重错误信息") ``` #### 2. 设置合理的日志级别 根据爬虫的需求，选择合适的日志级别（DEBUG, INFO, WARNING, ERROR, CRITICAL）。例如，在开发阶段可以设置为 `DEBUG`，以便捕获所有细节；而在生产环境中，通常设置为 `INFO` 或更高，以减少日志文件的大小[^2]。 #### 3. 记录关键信息 在爬虫中，需要记录以下关键信息： - 请求的 URL 和 HTTP 状态码。 - 数据解析的结果。 - 异常的详细信息（包括堆栈跟踪）。 示例代码如下： ```python try: response = requests.get(url) if response.status_code != 200: logging.warning(f"请求失败: {url}, 状态码: {response.status_code}") else: logging.info(f"成功抓取: {url}") except Exception as e: logging.error(f"发生异常: {e}", exc_info=True) # 记录异常堆栈信息 ``` #### 4. 日志轮转与存储 对于长时间运行的爬虫，日志文件可能会变得非常大。因此，建议使用 `RotatingFileHandler` 或 `TimedRotatingFileHandler` 来实现日志轮转[^2]。 ```python from logging.handlers import RotatingFileHandler # 配置日志轮转 handler = RotatingFileHandler('crawler.log', maxBytes=10*1024*1024, backupCount=5) formatter = logging.Formatter('%(asctime)s [%(levelname)s] %(message)s') handler.setFormatter(formatter) logger = logging.getLogger() logger.setLevel(logging.DEBUG) logger.addHandler(handler) ``` #### 5. 遵守法律法规和道德规范 在记录日志时，需注意不要泄露敏感信息（如用户名、密码等）。同时，应遵守目标网站的 `robots.txt` 协议和其他相关法律[^1]。 --- ###