### 使用Python提取网页中的超链接 为了从网页中提取超链接，通常会采用一系列步骤来获取并解析HTML内容。此过程涉及多个Python库的合作，包括`requests`用于发起HTTP请求、`BeautifulSoup`（来自bs4包）用于解析HTML文档以及`urllib.parse`处理URL编码等问题。 #### 安装必要的库 首先需要安装所需的第三方库，可以通过pip命令完成： ```bash pip install requests beautifulsoup4 ``` #### 提取超链接的代码实例 下面是一段简单的Python脚本，展示了如何利用上述提到的技术栈来抓取指定页面上的所有<a>标签内的href属性值作为超链接列表[^2]。 ```python import requests from bs4 import BeautifulSoup from urllib.parse import urljoin, urlparse def fetch_links(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') links = [] for a_tag in soup.find_all('a', href=True): # 找到所有的带有href属性的a标签 link = a_tag['href'] full_url = urljoin(url, link) # 将相对路径转换成绝对路径 parsed_uri = urlparse(full_url).netloc if parsed_uri != '': links.append(full_url) return list(set(links)) # 去重后的链接集合 if __name__ == "__main__": target_website = "https://example.com" extracted_links = fetch_links(target_website) print(f"Extracted {len(extracted_links)} unique links from the page.") for idx, link in enumerate(extracted_links[:5], start=1): print(f"{idx}. {link}") ``` 这段代码定义了一个名为`fetch_links()`函数，它接受一个参数——目标网址，并返回该网站上找到的所有唯一超链接。这里使用了`urljoin()`方法确保即使是相对路径也能被正确转化为完整的URL形式；而通过调用`set()`去除了重复项以提高效率和准确性[^3]。