### Python 爬虫抓取网页数据并返回指定格式 为了实现使用 Python 编写爬虫程序以抓取网页数据并按照特定格式返回的功能，可以采用多种工具和库。以下是基于 `requests` 和 `BeautifulSoup` 的简单示例代码以及说明。 #### 基于 Requests 和 BeautifulSoup 的爬虫示例 此示例展示了如何利用 `requests` 库获取网页内容，并通过 `BeautifulSoup` 解析 HTML 文档提取所需的数据[^4]。 ```python import requests from bs4 import BeautifulSoup def fetch_web_data(url, target_tag, attributes=None): """ 获取网页中的目标数据 参数: url (str): 要访问的目标网址 target_tag (str): 需要解析的HTML标签名 attributes (dict): 可选参数，用于过滤具有某些属性的标签 返回: list: 提取出的数据列表 """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求状态码是否正常 soup = BeautifulSoup(response.text, 'html.parser') elements = soup.find_all(target_tag, attrs=attributes) if attributes else soup.find_all(target_tag) data_list = [element.get_text(strip=True) for element in elements] return data_list except Exception as e: print(f"发生错误：{e}") return [] # 示例调用 url = "https://example.com" target_tag = "p" # 目标标签为<p> data = fetch_web_data(url, target_tag) if data: formatted_output = "\n".join(data) # 将结果转换为字符串形式 print(formatted_output) else: print("未能成功抓取任何数据") ``` 上述代码定义了一个函数 `fetch_web_data()` 来完成基本的网页数据抓取功能。它接受三个主要参数：目标 URL 地址、需要查找的 HTML 标签名称以及可选的属性字典。最后将找到的结果以纯文本的形式打印出来。 如果希望进一步扩展该脚本使其支持更多复杂场景下的操作，则可以根据实际情况引入其他高级技术手段，比如 Selenium 处理动态加载页面或者 Scrapy 构建大规模分布式爬虫框架等[^3]。 --- #### 使用 Scrapy 实现更复杂的爬虫逻辑 当面对更加庞大的项目需求时，推荐考虑使用专门设计用来构建大型网络爬虫系统的开源软件——Scrapy。下面是一个简单的 Spider 定义： ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example_spider" start_urls = ["https://example.com"] def parse(self, response): paragraphs = response.css('p::text').getall() yield {'paragraphs': paragraphs} ``` 执行命令如下所示即可启动爬虫任务： ```bash scrapy crawl example_spider -o output.json ``` 这样会把所有 `<p>` 标记内的文字保存到 JSON 文件当中[^1]。 --- #### 注意事项 无论选用哪种方式开发自己的爬虫应用，在正式实施前都应仔细阅读目标站点的服务条款与 robots.txt 文件规定，确保行为符合法律规范及道德标准。