### 使用 Jupyter Notebook 编写 Python 爬虫代码 为了完成此任务，可以按照以下方法编写爬虫代码并将结果保存到本地文件夹。以下是详细的说明： #### 1. 创建并配置虚拟环境 在开始之前，建议先创建一个独立的虚拟环境来管理依赖项。可以通过 `conda` 命令设置虚拟环境，并安装所需的库。 ```bash conda create -n spider-env python=3.8 conda activate spider-env conda install numpy pandas requests beautifulsoup4 pip install selenium webdriver-manager ``` 上述命令会安装用于网络请求 (`requests`) 和 HTML 解析 (`beautifulsoup4`) 的基础库[^1]。如果目标网站涉及动态加载内容，则需额外安装 Selenium 及其驱动程序支持。 --- #### 2. 启动 Jupyter Notebook 并导入必要模块 启动 Jupyter Notebook，在新笔记本中输入如下代码以初始化环境。 ```python import os import json from bs4 import BeautifulSoup as soup import requests from selenium import webdriver from webdriver_manager.chrome import ChromeDriverManager ``` 这些模块分别负责操作系统交互、JSON 文件操作、HTML 页面解析以及浏览器自动化控制。 --- #### 3. 实现网页抓取逻辑 假设目标是一个静态页面，可以直接通过 `requests.get()` 获取数据；如果是动态渲染的内容，则需要借助 Selenium 来模拟真实用户的浏览行为。 ##### (a) 静态页面抓取示例 对于简单的招聘信息列表页，可采用以下方式提取所需字段。 ```python url = 'https://example.com/jobs/cross-border-e-commerce' response = requests.get(url) if response.status_code == 200: page_soup = soup(response.text, 'html.parser') # 查找所有职位描述区域 job_listings = page_soup.find_all('div', {'class': 'job-description'}) results = [] for listing in job_listings: title = listing.h2.text.strip() skills_section = listing.find('ul', {'class': 'skills-list'}) if skills_section: required_skills = [li.text.strip() for li in skills_section.find_all('li')] results.append({'title': title, 'required_skills': required_skills}) else: print(f'Failed to fetch data from {url}. Status code: {response.status_code}') ``` 此处利用 Beautiful Soup 提供的功能定位特定标签及其属性值[^1]。 ##### (b) 动态页面抓取示例 当遇到 JavaScript 渲染的情况时，Selenium 是更合适的选择。 ```python driver_path = ChromeDriverManager().install() browser = webdriver.Chrome(executable_path=driver_path) browser.get('https://dynamic-example.com/jobs') # 等待页面完全加载后再读取DOM树 page_source = browser.page_source parsed_html = soup(page_source, 'html.parser') data_elements = parsed_html.select('.cross-border-job-details') output_data = [{'name': elem.a['href'], 'details': elem.p.text} for elem in data_elements] browser.quit() ``` 这里展示了如何结合 WebDriver 自动化工具访问复杂站点[^1]。 --- #### 4. 将采集的数据存储至本地目录 最后一步是把收集来的信息导出成易于阅读的形式，比如 CSV 或 JSON 文件。 ```python save_directory = './collected_jobs/' os.makedirs(save_directory, exist_ok=True) with open(os.path.join(save_directory, 'cross_border_e_commerce.json'), 'w', encoding='utf-8') as f: json.dump(results, f, ensure_ascii=False, indent=4) print(f'Data successfully saved into directory "{save_directory}"!') ``` 这段脚本会在当前工作区下新建名为 `collected_jobs/` 的子文件夹，并将最终成果存入其中[^1]。 --- ### 注意事项 - **法律风险**：务必确认目标平台的服务条款允许此类活动开展。 - **反爬策略应对**：部分大型招聘门户可能设有防护措施阻止频繁访问尝试，请合理调整时间间隔或更换 User-Agent 头部伪装身份。 - **数据清洗**：原始抓取回来的信息往往存在冗余字符等问题，记得预处理干净再进一步分析。