### Python编写爬虫代码及实现爬虫项目 编写一个Python爬虫需要了解几个核心模块和概念，包括`requests`、`BeautifulSoup`、`re`等。以下是一个完整的爬虫项目的实现流程以及示例代码。 #### 1. 爬虫的基本结构 爬虫的核心任务是从网页中提取所需的数据并保存。通常包括以下几个部分： - 发送HTTP请求以获取网页内容。 - 解析HTML文档以提取有用信息。 - 存储数据到文件或数据库中。 ```python import requests from bs4 import BeautifulSoup import os ``` #### 2. 获取网站源代码 使用`requests`库发送HTTP请求，并获取目标网页的HTML内容[^1]。 ```python def get_html(url, headers=None, params=None): response = requests.get(url, headers=headers, params=params) response.encoding = "utf-8" if response.status_code == 200: return response.text else: print("错误") return None ``` #### 3. 解析HTML内容 使用`BeautifulSoup`库解析HTML文档，提取所需的数据[^1]。 ```python def parse_html(html): soup = BeautifulSoup(html, 'html.parser') # 假设我们要提取所有的标题标签<h1> titles = soup.find_all('h1') result = [title.get_text() for title in titles] return result ``` #### 4. 数据存储 将提取的数据保存到文件或数据库中。以下是一个简单的文件存储示例[^1]。 ```python def save_data(data, filename="output.txt"): with open(filename, "w", encoding="utf-8") as f: for item in data: f.write(item + "\n") ``` #### 5. 主函数 将上述功能整合到主函数中，完成整个爬虫的运行逻辑。 ```python def main(): url = "https://example.com" # 替换为目标网站URL headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } html = get_html(url, headers=headers) if html: data = parse_html(html) save_data(data) print("数据已成功保存！") if __name__ == "__main__": main() ``` #### 注意事项 - 确保遵守目标网站的`robots.txt`规则，避免对服务器造成负担。 - 使用`headers`参数模拟浏览器行为，避免被反爬机制阻止。 - 对于动态加载的内容，可能需要使用`Selenium`或其他工具模拟浏览器行为[^1]。 ### 示例应用场景 假设要从一个新闻网站抓取所有文章标题，可以修改`parse_html`函数中的选择器来适配目标网站的具体HTML结构。 ```python titles = soup.select(".news-title") # 假设新闻标题的CSS类名为news-title result = [title.get_text(strip=True) for title in titles] ```