### 实现爬取数据存储到数据库并通过 Django 展示 要实现将爬取的数据存储到数据库并通过 Django 框架展示在网页上，可以按照以下方法完成： #### 1. 创建 Django 应用程序 创建一个新的应用程序来处理爬取和展示的任务。假设我们将其命名为 `crawler`。 ```bash python manage.py startapp crawler ``` 此操作会生成一个名为 `crawler` 的新目录，其中包含必要的文件结构[^1]。 #### 2. 数据库配置 编辑项目的 `settings.py` 文件，确保已正确配置 MySQL 数据库连接信息。以下是典型的配置示例： ```python INSTALLED_APPS = [ ... 'crawler', # 注册新的应用 ] DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'your_database_name', 'USER': 'root', 'PASSWORD': 'your_password', 'HOST': 'localhost', 'PORT': '3306', } } ``` 这一步骤用于指定数据库引擎以及具体的连接参数[^3]。 #### 3. 定义模型 (Model) 在 `crawler/models.py` 中定义一个模型以表示爬取的数据结构。例如，如果我们要存储文章标题和链接，则可以这样设计模型： ```python from django.db import models class Article(models.Model): title = models.CharField(max_length=255) link = models.URLField() def __str__(self): return self.title ``` 这个模型描述了一个简单的表结构，包含两个字段：`title` 和 `link`[^2]。 #### 4. 同步数据库 执行迁移命令使模型生效并创建对应的表格： ```bash python manage.py makemigrations python manage.py migrate ``` 这些命令会在数据库中生成相应的表结构[^4]。 #### 5. 编写爬虫脚本 编写 Python 脚本来抓取目标网站的内容，并将结果保存至数据库。下面是一个基本的例子，使用 Scrapy 或 Requests 来获取数据并将它们存入刚刚建立的模型实例中： ```python import requests from bs4 import BeautifulSoup from crawler.models import Article def fetch_and_save_data(): url = "https://example.com/articles" response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') articles = [] for item in soup.select('.article-item'): title = item.find('h2').text.strip() link = item.find('a')['href'] article = Article(title=title, link=link) article.save() # 存储到数据库 articles.append(article) fetch_and_save_data() ``` 这段代码模拟了从某个站点提取文章列表的过程，并逐条插入到数据库中[^5]。 #### 6. 构建视图函数 为了能够在前端查看所储存的信息，在 `crawler/views.py` 添加如下内容： ```python from django.shortcuts import render from .models import Article def show_articles(request): all_articles = Article.objects.all() context = {'articles': all_articles} return render(request, 'show_articles.html', context) ``` 这里查询所有的文章对象传递给模板渲染[^1]。 #### 7. 设置路由规则 修改 `urls.py` 文件添加路径映射指向刚才编写的视图功能： ```python from django.urls import path from crawler.views import show_articles urlpatterns = [ path('articles/', show_articles), ] ``` 访问 `/articles/` 即可看到所有已经入库的文章记录[^1]。 #### 8. 制作 HTML 页面 最后准备静态页面用来呈现最终效果。新建 `templates/show_articles.html` 文件放入适当位置即可加载动态生成的结果集。 --- ###