### Python 爬虫抓取网页数据并存储到 MySQL 数据库 #### 数据获取与清洗 为了完成从网页上抓取数据的任务，可以使用 `requests` 或者更高级的工具如 `scrapy` 来发送 HTTP 请求并解析 HTML 页面的内容。对于复杂页面结构，推荐使用 `BeautifulSoup` 或 `lxml` 解析器提取所需的信息。 一旦获得了原始数据，通常需要对其进行清理以便于进一步处理和存储。这一步骤可能涉及删除冗余字段、填补缺失值以及标准化数据格式等内容[^1]。例如，在 Pandas 中可以通过如下方式去除重复项： ```python import pandas as pd data = {'name': ['Alice', 'Bob', 'Charlie', 'Alice'], 'age': [25, 30, None, 28]} df = pd.DataFrame(data) # 去除重复记录 cleaned_df = df.drop_duplicates() print(cleaned_df) ``` #### 将数据存入 MySQL 数据库 当准备好要保存的数据之后，下一步就是将其写入关系型数据库中。这里以 MySQL 为例说明具体操作方法。首先需安装必要的驱动程序——PyMySQL；其次建立连接对象并通过 SQL 语句执行插入动作[^2]。 下面展示了一个简单的例子来演示如何利用 PyMySQL 向名为 users 的表里添加新纪录： ```python import pymysql.cursors connection = pymysql.connect(host='localhost', user='root', password='password', database='test_db') try: with connection.cursor() as cursor: sql = "INSERT INTO `users` (`email`, `password`) VALUES (%s, %s)" cursor.execute(sql, ('webmaster@example.com', 'very-secret')) # 提交更改 connection.commit() finally: connection.close() ``` 以上代码片段展示了基本流程：创建数据库链接 -> 执行查询命令 -> 关闭资源释放。需要注意的是实际应用当中应该考虑异常捕获机制以及其他安全措施比如防止SQL注入攻击等问题。 #### 综合案例 最后给出一个完整的综合实例，该脚本模拟了整个过程—从网络请求开始直到最终把结果持久化至本地服务器上的某个特定表格内。 ```python from bs4 import BeautifulSoup import requests import pymysql.cursors import pandas as pd def fetch_data(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') items = [] for item in soup.find_all('div', class_='item'): title = item.h3.a['title'] price = float(item.span.string.strip('$')) items.append({'title': title, 'price': price}) return items if __name__ == '__main__': url = 'http://example.com/products' raw_items = fetch_data(url) df = pd.DataFrame(raw_items).dropna().reset_index(drop=True) # 清洗数据 conn = pymysql.connect( host="localhost", port=3306, user="your_username", passwd="your_password", db="product_database" ) try: cur = conn.cursor() for _, row in df.iterrows(): insert_stmt = ( "INSERT INTO products (title, price) " "VALUES (%(title)s, %(price)s)" ) cur.execute(insert_stmt, dict(row)) conn.commit() finally: conn.close() ``` 此段代码实现了从指定URL地址读取商品列表信息，并经过初步筛选后送入预先定义好的产品数据库之中。