用python对起点读书网爬取信息并且保存在数据库中，含有前端和查询后端

这是一个较为复杂的项目，包含以下几个部分： 1. **网络爬虫**：从起点读书网爬取书籍信息（如书名、作者、简介、分类、评分等）。 2. **数据存储**：将爬取的数据保存到数据库中（如MySQL、SQLite、MongoDB等）。 3. **后端开发**：使用Flask或Django等框架实现API接口，用于查询数据库中的书籍信息。 4. **前端展示**：使用HTML/CSS/JavaScript或前端框架（如Vue.js、React）展示数据。下面我将提供一个完整的示例，使用Python爬虫 + Flask后端 + SQLite数据库 + 简单的HTML前端。 --- ## 1. 爬虫部分（使用requests + BeautifulSoup） ```python import requests from bs4 import BeautifulSoup import sqlite3 import time headers = { 'User-Agent': 'Mozilla/5.0' } def create_table(): conn = sqlite3.connect('qidian.db') c = conn.cursor() c.execute(''' CREATE TABLE IF NOT EXISTS books ( id INTEGER PRIMARY KEY AUTOINCREMENT, title TEXT, author TEXT, category TEXT, intro TEXT, score REAL ) ''') conn.commit() conn.close() def save_to_db(book): conn = sqlite3.connect('qidian.db') c = conn.cursor() c.execute(''' INSERT INTO books (title, author, category, intro, score) VALUES (?, ?, ?, ?, ?) ''', (book['title'], book['author'], book['category'], book['intro'], book['score'])) conn.commit() conn.close() def crawl_page(url): response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') books = soup.find_all('div', class_='book-mid-info') for book in books: title = book.find('h4').text.strip() author = book.find('a', class_='name').text.strip() category = book.find_all('a')[1].text.strip() intro = book.find('p', class_='intro').text.strip() score = book.find('span', class_='score').text.strip() if book.find('span', class_='score') else '0' book_data = { 'title': title, 'author': author, 'category': category, 'intro': intro, 'score': float(score) } save_to_db(book_data) def crawl_qidian(): base_url = 'https://www.qidian.com/all?page={}' for i in range(1, 6): # 爬取前5页 print(f'正在爬取第{i}页...') crawl_page(base_url.format(i)) time.sleep(2) if __name__ == '__main__': create_table() crawl_qidian() ``` --- ## 2. 后端部分（使用Flask框架） ```python from flask import Flask, request, jsonify, render_template import sqlite3 app = Flask(__name__) def get_db_connection(): conn = sqlite3.connect('qidian.db') conn.row_factory = sqlite3.Row return conn @app.route('/') def index(): return render_template('index.html') @app.route('/books', methods=['GET']) def get_books(): conn = get_db_connection() cursor = conn.cursor() query = 'SELECT * FROM books WHERE 1=1' params = [] title = request.args.get('title') author = request.args.get('author') category = request.args.get('category') if title: query += ' AND title LIKE ?' params.append(f'%{title}%') if author: query += ' AND author LIKE ?' params.append(f'%{author}%') if category: query += ' AND category LIKE ?' params.append(f'%{category}%') cursor.execute(query, params) rows = cursor.fetchall() conn.close() return jsonify([dict(row) for row in rows]) if __name__ == '__main__': app.run(debug=True) ``` --- ## 3. 前端页面（`templates/index.html`） ```html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>起点读书网</title> <style> body { font-family: Arial; padding: 20px; } .book { border-bottom: 1px solid #ccc; padding: 10px 0; } </style> </head> <body> <h1>起点读书网查询系统</h1> <form id="searchForm"> <input type="text" id="title" placeholder="书名"> <input type="text" id="author" placeholder="作者"> <input type="text" id="category" placeholder="分类"> <button type="button" onclick="searchBooks()">搜索</button> </form> <div id="results"></div> <script> function searchBooks() { const title = document.getElementById('title').value; const author = document.getElementById('author').value; const category = document.getElementById('category').value; let url = '/books?'; const params = []; if (title) params.push(`title=${encodeURIComponent(title)}`); if (author) params.push(`author=${encodeURIComponent(author)}`); if (category) params.push(`category=${encodeURIComponent(category)}`); url += params.join('&'); fetch(url) .then(res => res.json()) .then(data => { const results = document.getElementById('results'); results.innerHTML = ''; data.forEach(book => { results.innerHTML += ` <div class="book"> <h3>${book.title}</h3> <p>作者：${book.author}</p> <p>分类：${book.category}</p> <p>简介：${book.intro}</p> <p>评分：${book.score}</p> </div> `; }); }); } </script> </body> </html> ``` --- ## 说明： 1. **爬虫部分**： - 使用requests发起HTTP请求获取页面。 - 使用BeautifulSoup解析HTML。 - 将书籍信息保存到SQLite数据库中。 2. **后端部分**： - 使用Flask搭建一个Web服务器。 - 提供`/books`接口，支持按书名、作者、分类进行模糊查询。 - 返回JSON格式数据。 3. **前端部分**： - 提供一个简单的搜索表单。 - 使用JavaScript动态发送请求并显示结果。 --- ## 需要安装的依赖包： ```bash pip install flask requests beautifulsoup4 ``` --- ##

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇发布的python 包怎么写日志

目录

用python对起点读书网爬取信息并且保存在数据库中，含有前端和查询后端

Python内容推荐

基于Python的爬虫技术的网站设计与实现.pdf

基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统 含数据集和全部源代码

基于ARIMA-CNN-LSTM预测模型研究（Python代码实现）

(源码)基于Scrapy和MySQL的图书信息爬取系统.zip

基于Scrapy框架实现的多页图书信息爬取与存储系统_爬取读书网全站图书数据_包括书名作者出版社价格评分等详细信息_通过CrawlSpider规则自动翻页抓取_使用ItemPipe.zip

大数据分析、大数据预测课题

ISAC赋权的空海协作系统：无人机-美国无人机联合检查框架.zip

YOLO算法建筑工地重型设备与安全防护目标检测数据集-9241张-标注类别为路障-混凝土结构-重型设备-安全帽-轻型设备-脚手架-警示标志-工程卡车-反光背心

01840db42485aa6b98f4622ced96f84c.mp4

API调用(php)-下载即用.zip

C# CRC16校验实现

基于遗传算法的新的异构分布式系统任务调度算法研究（Matlab代码实现）

YOLO算法室内办公环境办公椅目标检测数据集-244张-标注类别为冈村康泰萨办公椅-匠人椅.zip

AC6605配置手册命令

华为 CloudEngine S12700E系列交换机彩页

完美复现TOGI-SOGI 混合积分器驱动的光储并网谐波自适应抑制方法（Simulink仿真实现）

使用ansible-playbook安装部署双NameNode高可用Hadoop集群的整套资源

管家婆打印格式-下载即用.zip

易语言源码超级简单的时间限制,无需网站空间

易语言源码超级列表框载入图片(仿Windows浏览框的显缩略图)

基于打开pycharm有带图片md文件卡死问题的解决

PyCharm集成Jupyter启动卡死解决[代码]

解决终端运行Py闪退

解决PyCharm闪退问题[项目代码]

学生成绩管理系统C++课程设计与实践

别再手动拖拽了！用Lumerical脚本批量创建FDTD仿真结构（附完整代码）

Java邮件解析任务中，如何安全高效地提取HTML邮件内容并避免硬编码、资源泄漏和类型转换异常？

RH公司应收账款管理优化策略研究

新手别慌！用BingPi-M2开发板带你5分钟搞懂Tina Linux SDK目录结构

Java线程池运行时状态怎么实时掌握？有哪些靠谱的监控手段？

基于Python Scrapy实现的爬取豆瓣读书9分榜单的书籍数据采集爬虫系统含数据集和全部源代码