### 编写Python爬虫抓取腾讯新闻 #### 使用`requests`库发送HTTP请求并获取网页内容 为了实现这一功能，可以利用`requests`库向目标网站发出GET请求，从而获得HTML文档的内容。 ```python import requests url = 'https://news.qq.com/' response = requests.get(url) html_content = response.text ``` #### 利用BeautifulSoup解析HTML页面 接下来，借助于`BeautifulSoup`库来分析返回的HTML源码，定位到包含所需信息（即新闻标题、链接以及正文）的具体标签位置。这里假设每条新闻项都封装在一个具有特定类名的div容器内[^1]。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, "html.parser") items = soup.select('.Q-tpList .list li') # 假设这是实际的选择器路径 ``` #### 提取具体的信息字段 对于每一个找到的文章元素，进一步提取其内部的关键属性——比如超链接地址(`href`)和文本描述(title)，同时也可以尝试加载完整的文章详情页以获取更多细节性的资讯内容。 ```python data_list = [] for item in items[:5]: # 只取前五篇文章作为例子 title_tag = item.a.string.strip() link_url = f"https:{item.a['href']}" article_response = requests.get(link_url) article_soup = BeautifulSoup(article_response.content, "html.parser") content_div = article_soup.find('div', attrs={'id': 'Cnt-Main-Article-QQ'}) paragraphs = ''.join([p.get_text() for p in content_div.find_all('p')]) data_dict = { 'title': title_tag, 'link': link_url, 'content': paragraphs } data_list.append(data_dict) ``` #### 将收集的数据导出至Excel表格 最后一步就是把整理好的数据集转换成适合导入电子表格的形式，并调用`openpyxl`或`pandas`这样的第三方模块完成最终的文件创建过程。 ```python import pandas as pd df = pd.DataFrame(data_list) output_file_path = './tencent_news.xlsx' df.to_excel(output_file_path, index=False) print(f'Data has been saved to {output_file_path}') ```