### 使用Python实现基本的网页抓取 为了使用Python进行网页抓取，通常会依赖于`requests`库来获取网页内容以及`BeautifulSoup`库解析HTML文档。下面展示了一个简单的例子，该程序能够访问指定URL并提取页面中的所有链接。 #### 安装必要的库 首先需要安装两个第三方库——`requests`和`beautifulsoup4`： ```bash pip install requests beautifulsoup4 ``` #### 编写爬虫脚本 创建一个新的Python文件（例如：`web_scraper.py`），并将以下代码粘贴进去： ```python import requests from bs4 import BeautifulSoup def get_all_links(url): try: # 发送HTTP GET请求给目标网址 response = requests.get(url) # 如果状态码不是200，则抛出异常 response.raise_for_status() # 解析HTML源代码 soup = BeautifulSoup(response.content, 'html.parser') # 查找所有的<a>标签，并打印其href属性值 links = [] for link in soup.find_all('a'): href = link.get('href') if href and not href.startswith('#'): links.append(href) return links except Exception as e: print(f"Error occurred while fetching {url}: ", str(e)) return None if __name__ == '__main__': url_to_scrape = input("Enter the URL you want to scrape: ") result = get_all_links(url_to_scrape) if result is not None: print("\nFound Links:") for idx, item in enumerate(result, start=1): print(f"{idx}. {item}") ``` 这段代码定义了一个名为`get_all_links()`的功能函数，它接受一个参数作为要抓取的目标网站地址；通过调用`requests.get()`方法向服务器发起请求以获得响应对象；接着利用`BeautifulSoup`分析接收到的数据流，从中筛选出所有的超链接[^1]。 当执行此脚本时，用户会被提示输入希望抓取哪个站点的信息，在成功完成之后将会显示出找到的所有有效外部链接列表[^4]。 请注意，在实际应用过程中还需要考虑更多因素，比如遵循robots协议、设置合理的等待时间间隔以免对服务端造成过大压力等[^2]。