### Python 网页付费状态检查与内容获取的代码示例 在编写网页付费状态检查和内容获取的代码时，通常需要结合 `requests` 和 `BeautifulSoup` 库来实现。以下是一个完整的代码示例，用于检查网页是否为付费内容，并尝试获取其内容。 #### 1. 导入必要的库 ```python import requests from bs4 import BeautifulSoup ``` #### 2. 定义函数以检查网页的付费状态并获取内容 ```python def check_paid_content(url, headers=None): # 发送HTTP请求 try: response = requests.get(url, headers=headers, timeout=(5, 10)) # 设置超时时间[^2] if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 解析HTML内容[^2] # 检查是否有特定的付费标识（假设付费内容有特定的类名或标签） paid_marker = soup.find('div', class_='paid-content') # 替换为实际的付费标识 if paid_marker: return { 'status': 'Paid', 'content': paid_marker.get_text(strip=True) # 获取付费内容文本 } else: # 如果没有付费标识，则提取普通内容 content = soup.find('div', class_='free-content') # 替换为实际的免费内容标识 if content: return { 'status': 'Free', 'content': content.get_text(strip=True) } else: return { 'status': 'Unknown', 'content': 'No content found' } else: return { 'status': 'Error', 'message': f'Failed to access the page. Status code: {response.status_code}' # 处理错误状态码[^2] } except requests.exceptions.RequestException as e: return { 'status': 'Exception', 'message': str(e) } ``` #### 3. 使用示例 ```python if __name__ == "__main__": url = "http://example.com/article" # 替换为目标网页URL headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 设置请求头以模拟浏览器访问[^2] result = check_paid_content(url, headers=headers) print(result) ``` #### 4. 注意事项 - 在实际应用中，需根据目标网站的具体结构调整 `find()` 方法中的参数，例如 `class_` 或 `id`。 - 遵守目标网站的 `robots.txt` 文件规则，避免对服务器造成过大压力[^3]。 - 如果目标网站使用了动态加载技术（如 JavaScript 渲染），可能需要使用 `selenium` 或其他工具来模拟浏览器行为。 --- ###