### 使用Python进行网页数据爬取的方法 #### 方法概述 使用Python进行网页数据爬取通常依赖于几个核心库，包括`requests`用于发送HTTP请求以及`BeautifulSoup`（来自`bs4`模块）用于解析HTML文档。通过这两个工具的组合，可以轻松完成从目标网站抓取所需的数据的任务。 以下是具体的实现方法： 1. **发送HTTP请求** 利用`requests`库向目标URL发起GET或POST请求以获取页面的内容。此过程可以通过设置自定义头部信息来模拟浏览器行为[^4]。 2. **解析HTML结构** 将接收到的响应内容传递给`BeautifulSoup`对象，指定合适的解析器（如`html.parser`），从而方便地定位和提取特定标签内的数据。 3. **提取感兴趣的信息** 借助CSS选择器或者直接查找标签名称及其属性值的方式，在已解析好的树状DOM模型中找到自己所需要的部分，并将其转化为字符串形式输出或保存下来。 #### 示例代码展示 下面提供了一段完整的示例程序，它展示了如何运用上述提到的技术栈去捕获某个站点上的文章标题列表： ```python import requests from bs4 import BeautifulSoup # 定义要访问的目标网址 url = 'https://example.com' try: # 创建会话并配置headers模仿真实用户的浏览习惯 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/91.0.4472.124 Safari/537.36' } # 获取远程资源 response = requests.get(url, headers=headers) response.raise_for_status() # 如果状态码不是200，则抛出异常 except Exception as e: print(f"Error occurred while fetching the URL {url}: ", str(e)) else: try: # 初始化BSoup实例化对象 soup = BeautifulSoup(response.text, "lxml") # 查找所有的<h1>标签作为例子 titles = [] for h1_tag in soup.find_all('h1'): text_content = h1_tag.get_text(strip=True) if text_content: titles.append(text_content) # 展示结果 if titles: print("成功抓取到以下标题:") for idx, title_item in enumerate(titles[:min(len(titles), 5)]): print(f"{idx + 1}. {title_item}") except AttributeError as ae: print("未能正确处理返回的结果:", str(ae)) finally: pass ``` 以上脚本不仅示范了基本的操作流程，还加入了错误捕捉机制以便更好地应对实际开发过程中可能出现的各种意外情况。 --- ### 数据存储至MySQL数据库 如果希望进一步把采集来的资料存入关系型数据库比如MySQL当中的话，则需要用到额外的一个第三方扩展包叫做`pymysql`[^1]。这里给出一段简化版的入库操作片段供参考： ```sql -- 预先创建好接收外部输入记录的目的表 CREATE TABLE IF NOT EXISTS articles ( id INT AUTO_INCREMENT PRIMARY KEY, article_title VARCHAR(255), created_at TIMESTAMP DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP ); ``` 对应的Python部分如下所示： ```python import pymysql.cursors connection = None try: connection = pymysql.connect(host='localhost', user='root', password='', database='testdb', cursorclass=pymysql.cursors.DictCursor) with connection.cursor() as cursor: sql_insert_query = """ INSERT INTO `articles`(article_title) VALUES (%s) """ affected_rows_count = cursor.executemany(sql_insert_query, [(t,) for t in titles]) print(f'共新增{affected_rows_count}条记录') finally: if connection is not None and connection.open: connection.commit() connection.close() print('全部事务已完成.') ``` 注意这里的用户名密码等敏感参数应当依据个人环境实际情况调整填写。 ---