### 使用Python爬虫抓取新浪新闻并将新闻标题保存至CSV文件 #### 1. 数据采集流程 网络爬虫的核心在于从目标网站中提取有用的信息。对于新浪新闻而言，可以通过分析其HTML结构找到新闻标题对应的标签，并利用`requests`和`BeautifulSoup`库完成数据的抓取与解析[^3]。 #### 2. 所需技术栈 - **Requests**: 负责发送HTTP请求以获取网页源码。 - **BeautifulSoup**: 对HTML文档进行解析，帮助快速定位所需的新闻标题。 - **Pandas**: 将收集到的数据整理成表格形式并导出为CSV文件。 #### 3. 实现步骤详解 ##### (1) 导入库 首先导入必要的第三方模块： ```python import requests from bs4 import BeautifulSoup import pandas as pd ``` ##### (2) 获取网页内容 设定目标URL地址并向该地址发起GET请求，随后检查状态码确认连接正常与否。 ```python url = 'https://news.sina.com.cn/' headers = {'User-Agent': 'Mozilla/5.0'} # 添加header模仿浏览器行为减少被封锁几率 response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception("Failed to load page {}".format(url)) html_content = response.text ``` ##### (3) 解析HTML文档 创建`BeautifulSoup`对象实例化传入参数，接着依据具体布局筛选出所有符合条件的新闻条目。 ```python soup = BeautifulSoup(html_content, 'lxml') titles_tags = soup.select('.news-item h2 a') # 假设新闻标题位于此类名下h2>a标签里 ``` ##### (4) 提取有效信息 遍历选中的每一个标签节点，分别记录它们各自的文本值即代表标题还有超链接作为跳转路径。 ```python data_list = [] for tag in titles_tags[:10]: # 只选取前十个示例演示效果 title = tag.string.strip() url_link = tag['href'] data_dict = {"Title": title, "Link": url_link} data_list.append(data_dict) ``` ##### (5) 存储为CSV文件 最后借助于`pandas`把列表型态的数据转化为DataFrame再调用to_csv函数存盘即可。 ```python df = pd.DataFrame(data_list) output_file = 'sina_news_titles.csv' df.to_csv(output_file, index=False, encoding='utf-8-sig') # utf-8-sig兼容Excel打开无乱码 print(f'Successfully saved {len(data_list)} news entries into "{output_file}".') ``` 以上代码片段展示了完整的逻辑链条，从初始化环境变量直至最终成果落地全过程[^2]。 --- ###