以下是一个简单的Python网络爬虫示例，使用了`requests`库来获取网页内容，并用`BeautifulSoup`从HTML中解析出数据。 ```python import requests from bs4 import BeautifulSoup def simple_web_crawler(url): try: # 发送HTTP请求到指定的URL并获取响应 response = requests.get(url) # 检查是否成功地接收到了页面信息（状态码200表示成功） if response.status_code == 200: html_content = response.text # 使用Beautiful Soup解析HTML文档 soup = BeautifulSoup(html_content, 'html.parser') # 假设我们想抓取所有的标题标签<h1> titles = soup.find_all('h1') for title in titles: print(title.text.strip()) else: print(f"Failed to retrieve the webpage. Status code: {response.status_code}") except Exception as e: print(f"An error occurred while trying to crawl the web page: {e}") # 测试该函数 simple_web_crawler("https://www.example.com") ``` ### 给出解释: 上述代码创建了一个基础版本的Web爬虫程序。这里是如何一步步工作的： 1. **导入必要的模块**:`requests`, `BeautifulSoup` - Requests用来处理发送HTTP/HTTPS 请求。 - Beautiful Soup则负责分析和提取所需要的HTML 数据结构中的特定部分。 2. 定义名为'simple_web_crawler' 的函数接受一个参数 url 表示要访问的目标网站地址。 3. 在try-except块内进行异常捕获以便更好的错误报告管理。 4. 如果服务器返回的状态码为200(意味着请求成功)，那么继续下一步；否则打印失败消息及相应状态码值。 5. 解析得到的内容并通过beautifulsoup查找所有符合要求的数据节点例如本例子中的<h1>标签并将他们显示出来。 6. 最后调用了这个函数去测试它的功能正常与否。 此脚本仅作为演示目的设计得非常简单直接，在实际应用当中可能还需要考虑更多因素如遵守robots协议、设置合理的headers模拟浏览器行为等才能保证合法合规以及效率最大化的效果。 #### 注意事项： - 应始终检查目标站点是否有禁止爬行规则(`robots.txt`)。 - 对大规模或频繁的任务应加入适当的延时以免给对方造成负担甚至被封禁IP。