### Python 豆瓣爬虫 Elasticsearch 存储 示例代码 以下是使用 Python 编写的豆瓣数据爬取脚本，并将其存储到 Elasticsearch 中的核心代码示例： #### 1. 安装依赖库 在运行代码前，请确保安装了所需的 Python 库： ```bash pip install requests beautifulsoup4 elasticsearch pandas ``` #### 2. 爬取豆瓣数据并存入 Elasticsearch 的代码 ```python import requests from bs4 import BeautifulSoup from elasticsearch import Elasticsearch import json # 初始化 Elasticsearch 连接 es = Elasticsearch([{'host': 'localhost', 'port': 9200}]) def fetch_douban_data(page=1): """ 获取豆瓣某一页的数据。 :param page: 页面编号，默认第一页 :return: 返回解析后的书籍列表 """ url = f"https://book.douban.com/top250?start={(page - 1) * 25}" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)" } response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {page}, status code: {response.status_code}") soup = BeautifulSoup(response.text, 'html.parser') books = [] items = soup.select('tr.item') # 解析每本书的信息 for item in items: title = item.find('div', class_='pl2').find('a')['title'] rating_num = float(item.find('span', class_='rating_nums').text.strip()) book_url = item.find('a')['href'] data = {"title": title, "rating_num": rating_num, "url": book_url} books.append(data) return books def store_to_elasticsearch(index_name, documents): """ 将文档批量写入 Elasticsearch。 :param index_name: 索引名称 :param documents: 文档列表 """ es.indices.create(index=index_name, ignore=400) # 创建索引，忽略已存在错误 for doc in documents: res = es.index(index=index_name, body=json.dumps(doc)) print(res) if __name__ == "__main__": pages = range(1, 3) # 抓取前两页作为示例 all_books = [] for p in pages: try: books = fetch_douban_data(p) all_books.extend(books) except Exception as e: print(e) # 将抓取的数据存储至 Elasticsearch store_to_elasticsearch("douban_books", all_books) ``` 以上代码实现了以下功能： - 使用 `requests` 和 `BeautifulSoup` 提取消息[^1]。 - 数据被提取后，通过 `elasticsearch-py` 插件将结果保存到本地的 Elasticsearch 实例中[^3]。 #### 注意事项 - **反爬机制**：豆瓣网站具有一定的反爬机制，建议设置合理的请求间隔时间以避免 IP 被封禁。可以通过增加随机等待时间和更换 User-Agent 来降低风险[^2]。 - **Elasticsearch 配置**：默认连接的是 localhost 上运行的 Elasticsearch 实例（端口 9200）。如果需要远程访问，请修改主机地址和端口号。 - **扩展性**：此代码仅用于演示用途，在实际项目中可能还需要加入异常处理逻辑以及日志记录等功能模块。 --- ###