### Python 爬虫教程：获取页面内容 #### 使用 `requests` 和 `BeautifulSoup` 对于初学者而言，使用 `requests` 库来发送 HTTP 请求以及利用 `BeautifulSoup` 来解析 HTML 文档是一种高效的方式。这种方式不需要启动浏览器实例即可完成数据抓取工作。 ```python import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 找到所有的链接标签<a> links = soup.find_all('a') for link in links: href = link.get('href') # 获取属性值 text = link.string # 获取文本 print(f'Link Text: {text}, URL: {href}') else: print("Failed to retrieve the webpage.") ``` 这段代码展示了如何通过指定URL发起GET请求，并检查响应状态码是否正常[^2]。如果一切顺利，则创建一个 `BeautifulSoup` 对象用于解析返回的内容；接着可以调用方法找到特定类型的HTML元素并提取所需的信息。 #### 结合Selenium实现动态加载页面的数据采集 当目标网站采用JavaScript渲染部分内容时，仅依靠静态HTTP请求可能无法获得完整的DOM结构。此时可借助于自动化测试工具——Selenium WebDriver模拟真实用户的操作行为，从而达到访问和交互的目的。 环境配置方面需要注意的是要先下载对应版本的WebDriver驱动程序并与本地已安装好的浏览器相匹配[^3]。以下是简单的例子： ```python from selenium import webdriver from time import sleep driver_path = '/path/to/chromedriver' options = webdriver.ChromeOptions() browser = webdriver.Chrome(executable_path=driver_path,options=options) try: browser.get('https://dynamic-content.example.org/') sleep(5) # 给予足够的时间让页面完全加载完毕 elements = browser.find_elements_by_tag_name('p') for element in elements[:10]: print(element.text) finally: browser.quit() # 关闭浏览器窗口 ``` 此段脚本说明了怎样设置Chrome选项参数、初始化webdriver对象并且执行基本的任务流程，包括打开网址、等待一段时间确保所有异步资源都已被加载进来再读取出前十个段落的文字信息最后安全退出会话过程。