### 使用简易爬虫工具并存储数据到MySQL #### 爬虫工具的选择与安装 对于简单的网页抓取任务，`requests`库和`BeautifulSoup`组合是一个非常流行且易于使用的解决方案。这两个库可以方便地获取页面内容并对HTML文档进行解析。 为了简化操作流程，在开始之前需要先通过pip命令来安装所需的依赖包： ```bash pip install requests beautifulsoup4 pymysql ``` #### 编写基本的爬虫脚本 下面是一份基础版的Python爬虫程序模板，它会访问指定URL地址读取网页源码，并从中提取特定的信息片段[^1]。 ```python import requests from bs4 import BeautifulSoup def fetch_page(url): response = requests.get(url) if response.status_code != 200: raise ValueError(f"Failed to load page at {url}") soup = BeautifulSoup(response.text, "html.parser") return soup ``` 此函数接收一个网址参数作为输入，返回经过BS对象封装后的整个HTML文档树结构供后续分析使用；如果请求失败则抛出错误提示信息。 #### 连接MySQL数据库并创建表单 接下来定义另一个辅助方法用于建立同本地或远程服务器上的MySQL实例之间的连接关系，并准备一张用来容纳即将被抓回来的数据的新表格[^3]。 ```python import pymysql.cursors connection_config = { 'host': 'localhost', 'user': 'root', 'password': '', 'database': 'testdb' } create_table_sql = """ CREATE TABLE IF NOT EXISTS articles ( id INT AUTO_INCREMENT PRIMARY KEY, title VARCHAR(255), content TEXT ); """ with pymysql.connect(**connection_config) as connection: with connection.cursor() as cursor: cursor.execute(create_table_sql) connection.commit() ``` 这段代码实现了如下功能： - 构建SQL语句声明新表的文章字段属性； - 执行上述DDL指令完成实际物理层面上的对象构建动作。 #### 将抓取的内容存入数据库 最后一步就是把前面两部分结合起来——即利用先前编写的fetch_page函数去拉取网络资源之后再调用insert_into_db接口将其持久化保存下来[^2]。 ```python def insert_into_db(title, content): sql_query = f""" INSERT INTO articles (title, content) VALUES (%s,%s); """ try: with pymysql.connect(**connection_config) as conn: with conn.cursor() as cur: cur.execute(sql_query, (title, content)) conn.commit() except Exception as err: print(f"Database insertion failed: {err}") if __name__ == "__main__": url_to_scrape = input("Enter URL you want to scrape:") html_doc = fetch_page(url_to_scrape) article_title = html_doc.find('h1').get_text(strip=True) main_content = ''.join([p.get_text() for p in html_doc.select('.article-body > p')]) insert_into_db(article_title, main_content) ``` 以上便是完整的基于Python实现的小型Web Scraper应用案例说明，其中包含了从发起HTTP GET请求直至最终将有用的部分记录入库的一系列过程描述。