### 使用Python编写的网页抓取程序并将其数据存储至MySQL数据库 #### 抓取工具的选择与配置 对于静态页面的内容抓取，`Requests` 和 `BeautifulSoup4` 是理想组合；而对于动态加载的数据，则可以利用 `Selenium` 实现自动化浏览器操作以获取所需信息[^1]。 #### 数据库连接设置 为了能够顺利地将收集来的资料存入 MySQL 中，在项目初始化阶段需先安装必要的驱动包，并建立相应的数据库表结构。这里推荐使用 SQLAlchemy ORM 工具简化 SQL 编写过程[^2]。 ```bash pip install mysqlclient sqlalchemy pandas ``` #### 创建 MySQL 表格模型定义 下面是一个简单的 Python 类表示法 (Declarative Base)，它描述了一个名为 "web_data" 的表格，其中包含了 id, url 及 content 字段： ```python from sqlalchemy import Column, Integer, String, Text from sqlalchemy.ext.declarative import declarative_base Base = declarative_base() class WebData(Base): __tablename__ = 'web_data' id = Column(Integer, primary_key=True) url = Column(String(255), nullable=False) content = Column(Text(), nullable=True) def __repr__(self): return f"<WebData(url='{self.url}', content='{self.content[:50]}')>" ``` #### 构建爬虫逻辑框架 接下来构建一个基本的爬虫函数，该函数接收目标 URL 参数并通过 Requests 库发起 HTTP 请求获得 HTML 文档对象，再借助 BeautifulSoup 解析器提取有用的信息片段[^3]。 ```python import requests from bs4 import BeautifulSoup def fetch_page_content(page_url): try: response = requests.get(page_url) soup = BeautifulSoup(response.text, 'html.parser') # 假设我们要保存整个 body 部分作为内容 page_body = str(soup.find('body')) return {'url': page_url, 'content': page_body} except Exception as e: print(f'Error fetching {page_url}:', e) return None ``` #### 存储抓取下来的数据到 MySQL 最后一步就是创建一个新的记录实例并向 Session 添加此条目完成持久化工作。注意要确保事先已经建立了有效的引擎 Engine 并绑定了对应的会话 Session 对象[^4]。 ```python from sqlalchemy.orm import sessionmaker from sqlalchemy import create_engine engine = create_engine('mysql://username:password@localhost/dbname?charset=utf8mb4') Session = sessionmaker(bind=engine) session = Session() def save_to_db(data_dict): new_record = WebData(**data_dict) session.add(new_record) session.commit() print(f'Successfully saved data from {new_record.url}') ``` #### 主流程调用 现在只需要按照顺序依次执行上述各个部分即可实现完整的功能链路——即从指定网站上拉取特定资源并妥善保管于本地的关系型数据库内。 ```python if __name__ == '__main__': target_urls = ['http://example.com/page1.html', 'http://example.com/page2.html'] for url in target_urls: fetched_data = fetch_page_content(url) if fetched_data is not None: save_to_db(fetched_data) ```