### 详细代码教程：Python爬虫获取知网（CNKI）论文信息 以下是一个完整的教程，详细介绍如何使用 Python 爬虫技术从中国知网（CNKI）获取论文信息。本教程将涵盖从准备工作到实现代码的完整过程。 #### 准备工作 在开始编写爬虫之前，需要确保安装以下工具和库： - Python 3.x - `requests` 库：用于发送 HTTP 请求。 - `BeautifulSoup` 库：用于解析 HTML 文档。 - `pandas` 库（可选）：用于将结果保存为 CSV 文件[^1]。 可以通过以下命令安装所需的库： ```bash pip install requests beautifulsoup4 pandas ``` #### 实现步骤 以下是详细的代码实现： ##### 1. 发送请求并获取网页内容 首先，通过 `requests.post()` 方法向 CNKI 的搜索接口发送 POST 请求，获取包含论文信息的网页内容。 ```python import requests from bs4 import BeautifulSoup # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 构造 POST 请求参数 data = { 'action': '', 'NaviCode': '', 'ua': '1.21', 'PageName': 'ASP.brief_result_aspx', 'DbPrefix': 'SCDB', 'DbCatalog': '中国学术文献网络出版总库', 'ConfigFile': 'SCDB.xml', 'db_opt': 'CJFQ,CJOE,CJFN,CJPQ,KXDE,CABS', 'txt_1_sel_BJ': 'SU', 'txt_1_text_BJ': 'Python', # 替换为你的关键词 'searchsubmit': 'true', 'sorttype': '', 'showfield': '', 'selectValue': 'RELEVANCE', ' STEM': 'stemvalue', 'recordsPerPage': '50', 'turnpage': '1', 'curpage': '1', 'totalRecords': '' } # 发送 POST 请求 url = "https://kns.cnki.net/kns/brief/brief.aspx" response = requests.post(url, headers=headers, data=data) response.encoding = 'utf-8' # 解析返回的 HTML 内容 soup = BeautifulSoup(response.text, 'html.parser') ``` ##### 2. 解析 HTML 并提取论文信息 通过 `BeautifulSoup` 解析返回的 HTML 内容，并提取每篇论文的相关信息（如标题、作者、期刊名称等）。 ```python # 查找所有论文条目 paper_items = soup.find_all('tr', class_='odd') + soup.find_all('tr', class_='even') papers = [] for item in paper_items: try: # 提取标题 title = item.find('td', class_='doc_title').text.strip() # 提取作者 authors = item.find_all('td')[1].text.strip() # 提取来源 source = item.find_all('td')[2].text.strip() # 提取年份 year = item.find_all('td')[4].text.strip() papers.append({ 'title': title, 'authors': authors, 'source': source, 'year': year }) except Exception as e: print(f"解析错误: {e}") # 打印提取的结果 for paper in papers: print(paper) ``` ##### 3. 将结果保存为 CSV 文件（可选） 如果需要将提取的论文信息保存为 CSV 文件，可以使用 `pandas` 库完成。 ```python import pandas as pd # 将提取的数据转换为 DataFrame df = pd.DataFrame(papers) # 保存为 CSV 文件 df.to_csv('cnki_papers.csv', index=False, encoding='utf-8-sig') ``` #### 注意事项 - CNKI 的网页结构可能会随时间变化，因此需要定期检查页面源代码并调整解析逻辑[^3]。 - 频繁访问 CNKI 可能会触发反爬机制，建议设置合理的请求间隔或使用代理 IP[^2]。 ---