### 如何使用 Python 编写爬虫获取网站数据 以下是基于 Python 的一个简单爬虫示例，该示例展示了如何从网页中抓取数据并将结果保存到文件中。 #### 示例代码 以下是一个完整的 Python 爬虫代码示例，演示了如何通过 `requests` 和 `BeautifulSoup` 抓取网页中的数据： ```python import requests from bs4 import BeautifulSoup # 定义目标URL url = 'https://example.com' # 发送HTTP GET请求 response = requests.get(url) # 检查响应状态码是否正常 if response.status_code == 200: # 解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 查找感兴趣的标签（例如所有的<h1>标签） data_list = [] for h1_tag in soup.find_all('h1'): data_list.append(h1_tag.text.strip()) # 将抓取的数据保存到本地文件 with open('output.txt', 'w') as file: for item in data_list: file.write(f"{item}\n") else: print("无法访问页面，状态码:", response.status_code) ``` 此代码实现了以下几个功能： - 使用 `requests` 库向目标 URL 发起 HTTP 请求[^2]。 - 利用 `BeautifulSoup` 对 HTML 文档进行解析，并提取 `<h1>` 标签的内容[^3]。 - 将提取的结果保存至本地文件 `output.txt` 中。 --- ### 数据存储与分析 如果需要进一步将数据存储到更复杂的结构中（如数据库），可以考虑如下方法： - **SQLite**: 轻量级关系型数据库，适合小型项目。 - **MongoDB**: 面向文档的 NoSQL 数据库，适用于非结构化数据。 下面展示了一个简单的 SQLite 存储示例： ```python import sqlite3 # 创建或连接数据库 conn = sqlite3.connect('data.db') # 创建游标对象 cursor = conn.cursor() # 创建表 cursor.execute('''CREATE TABLE IF NOT EXISTS web_data (id INTEGER PRIMARY KEY AUTOINCREMENT, content TEXT)''') # 插入数据 for item in data_list: cursor.execute("INSERT INTO web_data (content) VALUES (?)", (item,)) # 提交事务并关闭连接 conn.commit() conn.close() ``` --- ### 反爬虫策略与优化 为了应对常见的反爬虫机制，可以采取以下措施： - 设置合理的请求头（User-Agent）模拟浏览器行为[^1]。 - 控制请求频率，避免短时间内频繁访问同一服务器。 - 添加代理 IP 或者轮换多个 User-Agent 来隐藏身份。 示例代码片段如下： ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } proxies = { 'http': 'http://proxy.example.com:8080', 'https': 'https://proxy.example.com:8080' } response = requests.get(url, headers=headers, proxies=proxies) ``` --- ### 总结 以上代码涵盖了基本的爬虫实现过程，包括发送请求、解析 HTML 页面以及数据存储。需要注意的是，在实际应用过程中应遵循目标网站的服务条款，尊重其隐私政策和版权规定。