### 爬取知网论文数据的完整代码示例 爬取知网（CNKI）论文数据需要克服多种技术障碍，包括动态页面加载、反爬虫机制和复杂的登录验证。以下是一个完整的代码示例，展示如何使用 `Selenium` 和 `BeautifulSoup` 来爬取知网论文数据，并将结果保存到 Excel 文件中。 #### 技术栈 - **Selenium**：用于处理动态页面加载和登录操作。 - **BeautifulSoup**：用于解析页面 HTML 内容。 - **Pandas**：用于数据整理和写入 Excel 文件。 - **ChromeDriver**：用于 Selenium 控制浏览器。 #### 安装依赖 在运行代码之前，确保已安装以下 Python 库： ```bash pip install selenium beautifulsoup4 pandas openpyxl ``` #### 完整代码示例 ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import pandas as pd import time # 配置 ChromeDriver 路径 chrome_driver_path = "/path/to/chromedriver" # 替换为你的 ChromeDriver 路径 # 配置 Chrome 选项 chrome_options = Options() chrome_options.add_argument("--headless") # 无头模式，不打开浏览器窗口 chrome_options.add_argument("--disable-gpu") chrome_options.add_argument("--no-sandbox") # 初始化 WebDriver service = Service(chrome_driver_path) driver = webdriver.Chrome(service=service, options=chrome_options) # 登录知网 def login_to_cnk(): login_url = "https://login.cnki.net/" driver.get(login_url) # 输入用户名和密码 username = driver.find_element(By.ID, "username") password = driver.find_element(By.ID, "password") username.send_keys("your_username") # 替换为你的知网用户名 password.send_keys("your_password") # 替换为你的知网密码 # 点击登录按钮 login_button = driver.find_element(By.ID, "loginBtn") login_button.click() # 等待登录完成 time.sleep(5) # 搜索论文 def search_papers(keyword): search_url = f"https://kns.cnki.net/kns8s/defaultresult/index" driver.get(search_url) # 输入搜索关键词 search_box = driver.find_element(By.ID, "txt_1_value1") search_box.clear() search_box.send_keys(keyword) # 提交搜索 search_button = driver.find_element(By.ID, "btnSearch") search_button.click() # 等待搜索结果加载 time.sleep(5) # 解析论文数据 def parse_papers(): html = driver.page_source soup = BeautifulSoup(html, "html.parser") # 解析论文标题、作者、期刊等信息 paper_list = [] items = soup.select(".result-item") for item in items: title = item.select_one(".title").text.strip() author = item.select_one(".author").text.strip() journal = item.select_one(".source").text.strip() publish_date = item.select_one(".date").text.strip() paper_list.append({ "标题": title, "作者": author, "期刊": journal, "发表日期": publish_date }) return paper_list # 保存数据到 Excel def save_to_excel(data, filename="papers.xlsx"): df = pd.DataFrame(data) df.to_excel(filename, index=False) print(f"数据已保存到 {filename}") # 主程序 if __name__ == "__main__": login_to_cnk() search_papers("人工智能") papers = parse_papers() save_to_excel(papers) # 关闭浏览器 driver.quit() ``` #### 代码说明 1. **登录知网**：使用 `Selenium` 自动填写用户名和密码并提交登录表单。 2. **搜索论文**：在搜索页面输入关键词并提交查询。 3. **解析论文数据**：使用 `BeautifulSoup` 解析页面 HTML，提取论文标题、作者、期刊和发表日期等信息。 4. **保存到 Excel**：使用 `Pandas` 将提取的数据保存到 Excel 文件中。 #### 注意事项 - **反爬虫机制**：知网可能会检测并阻止频繁的请求，建议在爬取时设置合理的间隔时间。 - **IP 封锁**：如果频繁爬取，可能会导致 IP 被封锁，建议使用代理 IP 或降低请求频率。 - **合法性**：确保爬取行为符合知网的使用条款和相关法律法规。 #### 常见问题 - **验证码问题**：如果知网要求输入验证码，可以考虑使用第三方验证码识别服务或手动处理。 - **动态加载**：部分页面内容通过 JavaScript 动态加载，使用 `Selenium` 可以有效处理此类问题。 ###