### 使用 Selenium 爬取数据并存储到数据库的方法 为了实现从网页爬取数据并将数据存储至数据库的功能，可以按照以下方式构建程序逻辑。以下是完整的解决方案： #### 1. 导入必要的库 在开始之前，需导入 `selenium` 和用于连接数据库的相关模块。 ```python from selenium import webdriver import mysql.connector from mysql.connector import Error ``` #### 2. 配置 WebDriver 并启动浏览器实例 配置 WebDriver 来控制浏览器的行为，并访问目标网站。 ```python options = webdriver.ChromeOptions() options.add_argument("--headless") # 可选：无头模式运行 driver = webdriver.Chrome(options=options) url = "https://example.com" driver.get(url) ``` 此部分利用了 Selenium 的强大功能来加载动态内容[^3]。 #### 3. 提取所需的数据 通过 Selenium 获取页面中的特定元素及其属性值。 ```python elements = driver.find_elements_by_css_selector(".target-class") data_list = [] for element in elements: data_item = { 'title': element.text, 'link': element.get_attribute('href') } data_list.append(data_item) ``` 上述代码片段展示了如何定位 HTML 元素以及提取其文本和链接信息[^2]。 #### 4. 连接 MySQL 数据库并创建表结构 建立与本地或远程 MySQL 数据库之间的连接，并定义适合存储抓取数据的表格架构。 ```python try: connection = mysql.connector.connect( host='localhost', database='your_database_name', user='root', password='' ) cursor = connection.cursor() create_table_query = """ CREATE TABLE IF NOT EXISTS web_data ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), link TEXT ); """ cursor.execute(create_table_query) except Error as e: print(f"Error connecting to MySQL platform: {e}") finally: pass ``` 这里强调的是使用 SQL 命令创建了一个名为 `web_data` 的新表以便保存网络爬虫的结果。 #### 5. 插入数据到数据库中 遍历已收集的信息列表，逐条记录写入到先前准备好的关系型数据库里。 ```python insert_query = """INSERT INTO web_data (title, link) VALUES (%s, %s);""" for item in data_list: record_tuple = (item['title'], item['link']) try: result = cursor.execute(insert_query, record_tuple) connection.commit() # 提交更改以永久化更新 except Exception as error: print(error) ``` 这段脚本实现了将爬取得到的具体字段映射成对应的数据库列的过程[^1]。 #### 6. 关闭资源释放内存空间 最后记得关闭打开过的文件句柄或者断开持久化的会话通道。 ```python if(connection.is_connected()): cursor.close() connection.close() print("MySQL connection is closed") driver.quit() ``` 以上步骤完整描述了一种基于 Python 编程语言结合 Selenium 工具包完成自动化浏览任务之后再把所得成果安全入库的技术路线图。 ---