Python 爬取知乎热榜数据有多种方法，以下为几种常见方式： - **使用`requests`库**：使用最简单的`requests`请求库，添加请求头进行相关数据分析，判断网页是否使用 ajax 请求，爬取结果的数据可保存到 MySQL 数据库，还可利用多进程实现数据快速爬取，从而实现知乎热榜问题及答案的数据获取 [^1]。 - **使用`urllib`和`lxml`模块**：需要安装`lxml`和`urllib`模块，通过`urllib.request.urlopen`打开知乎热榜页面，读取并解码 HTML，使用`lxml.etree`对 HTML 进行解析，通过 XPath 提取热榜标题 [^2]。示例代码如下： ```python import urllib.request import urllib.parse from lxml import etree def zhihu(): url = "https://www.zhihu.com/billboard" page = urllib.request.urlopen(url) html = page.read().decode("utf-8") tree = etree.HTML(html) list = tree.xpath(u'//*[@class="HotList-itemTitle"]') text_list = [] for index, item in enumerate(list): text_list.append((str(0) if index < 9 else "") + str(index + 1) + " : " + item.text) print(text_list[index]) zhihu() ``` - **使用`BeautifulSoup`库**：利用`BeautifulSoup`库对获取到的网页内容进行解析，通过查找特定的 HTML 标签和类名，提取热榜的排名、标题和热度等信息 [^3]。示例代码如下： ```python from bs4 import BeautifulSoup import requests i = 0 r = requests.get('https://www.zhihu.com/billboard') # 对网页进行解析 soup = BeautifulSoup(r.text, 'lxml') # 获取到热榜对应的那部分内容 title_list = soup.find_all('section', class_='HotItem') # 循环爬取相关内容 for each in title_list: i += 1 index = each.find('div', class_='HotItem-rank').text # 排名 title = each.find('h2', class_='HotItem-title').text # 标题 number = each.find('div', class_="HotItem-metrics").text[0:-3] # 热度 print(index, title, number) ``` - **结合`bs`库和正则表达式**：对于标题、热度和图片链接等在网页标签中的内容，可使用`bs`库解析；对于具体的新闻介绍，由于在`script`中，可使用正则表达式提取 [^4]。