### 使用Python进行基础爬虫开发 以下是基于`Requests`和`BeautifulSoup`的基础爬虫代码示例，用于抓取网页中的特定信息： ```python import requests from bs4 import BeautifulSoup url = 'https://example.com' response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.content, 'html.parser') # 查找所有的标题标签<h1> titles = soup.find_all('h1') for title in titles: print(title.text.strip()) else: print(f"无法访问页面，状态码: {response.status_code}") ``` 上述代码通过发送HTTP GET请求获取目标网页的内容，并利用`BeautifulSoup`解析HTML文档。最终提取出所有`<h1>`标签内的文本[^1]。 对于更复杂的场景，可以使用`Scrapy`框架构建爬虫程序。下面是一个简单的`Scrapy`爬虫示例，它会从指定URL中抓取文章列表并保存到JSON文件中： #### 创建Scrapy项目 首先初始化一个新的Scrapy项目： ```bash scrapy startproject my_scrapy_project cd my_scrapy_project ``` 接着，在`spiders/`目录下新增一个爬虫脚本`article_spider.py`: ```python import scrapy class ArticleSpider(scrapy.Spider): name = 'articles' start_urls = ['http://quotes.toscrape.com'] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('small.author::text').get() } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse) ``` 此代码片段展示了如何定义一个名为`articles`的爬虫类及其核心逻辑——遍历每一条记录并将所需字段存入字典返回给后续处理阶段[^2]。 关于下载中间件的应用案例如下所示，这里演示了怎样设置随机化的User-Agent来模拟不同的浏览器行为从而规避部分简单反爬机制的影响[^3]: ```python import random USER_AGENTS = [ "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" ] class RandomUserAgentMiddleware(object): def process_request(self, request, spider): user_agent = random.choice(USER_AGENTS) request.headers['User-Agent'] = user_agent ``` 最后提到的是有关于整个项目的结构布局说明以及一些高级特性介绍，比如管道(Pipelines)，它们允许开发者自定义数据流经过程；还有配置(Settings)，其中包含了众多可调整参数以适配不同需求环境下的运行状况等等[^4]^。