### 使用 PyCharm 抓取腾讯新闻并保存至 MySQL #### 准备工作 为了实现这一目标，需先安装必要的库。可以使用 `pip` 安装这些依赖项。 ```bash pip install requests beautifulsoup4 pymysql pandas openpyxl ``` #### 编写爬虫脚本 编写用于获取腾讯新闻数据的 Python 脚本如下： ```python import requests from bs4 import BeautifulSoup def fetch_news(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') news_list = [] for item in soup.select('.news-item'): title = item.h3.a.string.strip() link = item.h3.a['href'] news_dict = { "title": title, "link": link } news_list.append(news_dict) return news_list ``` 此部分代码负责访问指定 URL 并解析 HTML 页面来提取所需的信息[^1]。 #### 连接 MySQL 数据库 定义函数建立与 MySQL 数据库之间的连接，并提供关闭连接的方法。 ```python import pymysql def connect_db(): connection = pymysql.connect( host='localhost', user='root', # 用户名 password='password', # 密码 database='testdb' # 数据库名称 ) cursor = connection.cursor() return connection, cursor def disconnect_db(connection, cursor): if cursor: cursor.close() if connection: connection.close() ``` 上述代码展示了如何通过 `pymysql` 库创建数据库会话以及安全断开连接的方式[^2]。 #### 插入数据到 MySQL 表内 设计一个过程向预先准备好的表格里插入所收集来的资讯条目。 ```sql CREATE TABLE IF NOT EXISTS tencent_news ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), url TEXT ); ``` 接着，在 Python 中执行 SQL 查询语句完成记录添加操作。 ```python def insert_into_db(cursor, data): sql_query = """ INSERT INTO tencent_news (title, url) VALUES (%s,%s) """ try: cursor.executemany(sql_query, [(item["title"], item["link"]) for item in data]) cursor.connection.commit() except Exception as e: print(f"Error occurred while inserting into DB: {e}") cursor.connection.rollback() if __name__ == '__main__': target_url = 'https://news.qq.com/' fetched_data = fetch_news(target_url) conn, cur = connect_db() insert_into_db(cur, fetched_data) disconnect_db(conn, cur) ``` 这段逻辑实现了从网络上抓取消息并将它们存放到本地的关系型数据库中去的功能。