### Python 爬虫实战代码示例 以下是基于 Python 的简单爬虫代码示例，该示例展示了如何从目标网站抓取数据并保存至本地文件。此代码适用于学习基础爬虫技术。 #### 基础爬虫代码示例 ```python import requests from bs4 import BeautifulSoup def fetch_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') titles = [] for item in soup.select('.title'): # 修改此处的选择器以匹配实际页面结构 title = item.get_text(strip=True) titles.append(title) return titles else: raise Exception(f"Failed to load page: {response.status_code}") if __name__ == "__main__": url = "https://example.com/target-page" try: data = fetch_data(url) with open('output.txt', 'w', encoding='utf-8') as f: for line in data: f.write(line + '\n') print("Data saved successfully.") except Exception as e: print(e) ``` 以上代码实现了以下功能： - 使用 `requests` 库发送 HTTP 请求[^1]。 - 利用 `BeautifulSoup` 解析 HTML 页面内容[^1]。 - 将提取的数据写入本地文件 `output.txt` 中[^1]。 #### 数据清洗模块 (`clean.py`) 如果需要对采集到的数据进行清理，则可以编写如下脚本： ```python def clean_data(raw_data): cleaned_data = [item.strip() for item in raw_data if item.strip()] return cleaned_data if __name__ == "__main__": with open('raw_output.txt', 'r', encoding='utf-8') as file: lines = file.readlines() cleaned_lines = clean_data(lines) with open('cleaned_output.txt', 'w', encoding='utf-8') as outfile: for line in cleaned_lines: outfile.write(line + "\n") ``` 这段代码读取原始数据文件，并去除多余的空白字符或空行[^2]。 --- ### 注意事项 在开发爬虫时需要注意以下几点： - **合法性**：确保遵守目标网站的 robots.txt 文件规定以及相关法律法规[^1]。 - **性能优化**：合理设置请求频率，避免因频繁访问而被封禁 IP 地址[^2]。 - **错误处理**：增加异常捕获机制，提升程序稳定性。 ---