### 使用 PyCharm 编写的爬虫代码示例 以下是一个完整的基于 PyCharm 的 Python 爬虫项目源码示例，用于从网页中抓取指定内容。此示例结合了 `requests` 和 `BeautifulSoup` 库来实现网页数据的解析和提取。 ```python # 导入必要的库 import requests from bs4 import BeautifulSoup # 定义爬取函数 def crawl_page(url): # 发起 HTTP 请求 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 使用 BeautifulSoup 解析 HTML soup = BeautifulSoup(response.text, 'html.parser') # 获取指定标签的内容 target_content = soup.find('div', class_='target-class').text # 打印内容 print(target_content) else: print("Failed to crawl the page") # 调用爬取函数 crawl_page('https://example.com') # 替换为目标网页 URL ``` #### 代码说明 1. **导入库**：代码中使用了 `requests` 来发送 HTTP 请求[^4]，以及 `BeautifulSoup` 来解析 HTML 内容[^4]。 2. **定义爬取函数**：`crawl_page` 函数接收一个 URL 参数，并尝试从该 URL 抓取网页内容[^4]。 3. **检查请求状态**：通过检查 `response.status_code` 是否为 200，确认请求是否成功[^4]。 4. **解析 HTML**：利用 `BeautifulSoup` 对网页内容进行解析，并提取目标标签的内容[^4]。 5. **打印结果**：将提取到的内容打印到控制台[^4]。 此外，如果需要处理更复杂的场景（如登录、动态加载页面等），可以引入 `selenium` 或其他工具[^3]。 ### 注意事项 - 在实际项目中，需确保目标网站允许爬取数据，并遵守相关法律法规[^1]。 - 如果目标网页内容是通过 JavaScript 动态加载的，可以考虑使用 `selenium` 配合浏览器驱动程序来模拟用户行为。 ---