### 使用Python爬虫将抓取的网页数据存储到数据库 在使用Python爬虫抓取网页数据后，可以将这些数据存储到数据库中以便后续的数据分析、查询和管理。常见的数据库包括MySQL、PostgreSQL、SQLite等。以下以MySQL为例，介绍如何通过Python实现数据的抓取与存储。 #### 1. 爬虫抓取数据 在抓取网页数据时，通常会使用`requests`库发起HTTP请求获取页面内容，并结合`BeautifulSoup`或`lxml`解析HTML文档结构。对于动态加载的网页，则可借助`Selenium`或直接调用API接口获取JSON格式的数据[^3]。 例如，使用`requests`和`BeautifulSoup`抓取静态网页数据： ```python import requests from bs4 import BeautifulSoup url = "https://example.com" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") # 假设我们要抓取所有链接 links = [a.get("href") for a in soup.find_all("a")] ``` #### 2. 数据库连接与配置 在将数据存入MySQL数据库之前，需要安装并导入相关的库，如`pymysql`或`mysql-connector-python`。此外，还需确保MySQL服务已启动，并创建好目标数据库和表结构。 使用`pymysql`连接数据库示例： ```python import pymysql # 连接数据库 connection = pymysql.connect( host="localhost", user="root", password="your_password", database="web_data", charset="utf8mb4", cursorclass=pymysql.cursors.DictCursor ) ``` #### 3. 创建数据表 在执行插入操作前，需确保数据库中存在对应的表结构。例如，创建一个名为`web_links`的表来存储抓取的链接： ```sql CREATE TABLE web_links ( id INT AUTO_INCREMENT PRIMARY KEY, url VARCHAR(255) NOT NULL, link TEXT NOT NULL ); ``` #### 4. 插入数据到数据库 通过游标对象执行SQL语句，将抓取的数据插入到指定表中： ```python with connection.cursor() as cursor: # 插入数据 sql = "INSERT INTO web_links (url, link) VALUES (%s, %s)" for link in links: cursor.execute(sql, (url, link)) # 提交事务 connection.commit() ``` #### 5. 完整流程整合 将上述步骤整合为完整的爬虫脚本，从数据抓取到数据库存储一气呵成： ```python import requests from bs4 import BeautifulSoup import pymysql # 抓取网页数据 url = "https://example.com" response = requests.get(url) soup = BeautifulSoup(response.text, "html.parser") links = [a.get("href") for a in soup.find_all("a")] # 连接数据库 connection = pymysql.connect( host="localhost", user="root", password="your_password", database="web_data", charset="utf8mb4", cursorclass=pymysql.cursors.DictCursor ) # 插入数据 with connection.cursor() as cursor: sql = "INSERT INTO web_links (url, link) VALUES (%s, %s)" for link in links: if link: # 防止空值插入 cursor.execute(sql, (url, link)) connection.commit() ``` #### 6. 动态网页数据存储 对于JavaScript动态生成的内容，可以通过`Selenium`模拟浏览器行为抓取数据，或者直接访问其背后的API接口获取JSON数据[^4]。例如，使用`requests`访问API并解析JSON响应： ```python api_url = "http://baoliao.hb.qq.com/api/report/NewIndexReportsList/cityid/18/num/20/pageno/1" response = requests.get(api_url) data = response.json() # 处理并插入JSON数据 with connection.cursor() as cursor: sql = "INSERT INTO reports (title, content) VALUES (%s, %s)" for item in data["list"]: cursor.execute(sql, (item["title"], item["content"])) connection.commit() ``` #### 7. 异常处理与优化 在实际应用中，建议加入异常处理机制，如网络超时、数据库连接失败等情况的捕获与重试策略。同时，可以使用多线程或异步方式提高爬取效率。 ---