### Python 网络爬虫基础 Python 是实现网络爬虫的理想选择，因其拥有丰富的库来简化开发过程。对于初学者来说，`requests` 和 `BeautifulSoup` 组合是一个很好的起点[^2]。 #### 使用 Requests 获取网页内容 ```python import requests url = 'http://example.com' response = requests.get(url) if response.status_code == 200: content = response.text else: print('Failed to retrieve the webpage') ``` 这段代码展示了如何利用 `requests` 库向指定 URL 发送 GET 请求并接收响应。如果请求成功，则会得到目标页面的内容；否则提示失败消息。 #### 解析 HTML 文档 为了从获取到的数据中提取有用的信息，通常需要解析 HTML 结构。这里推荐使用 BeautifulSoup 来完成这项任务： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(content, 'html.parser') for link in soup.find_all('a'): href = link.get('href') text = link.string print(f'Link Text: {text}, Href Value: {href}') ``` 此部分演示了怎样通过遍历所有的 `<a>` 标签找到链接地址及其对应的显示文字。 #### 完整的简单爬虫例子 下面给出的是一个综合上述两步的小型爬虫案例，它能够访问给定网站并将其中的所有超链接打印出来： ```python import requests from bs4 import BeautifulSoup def fetch_links_from_page(page_url): try: resp = requests.get(page_url) if not resp.ok: raise Exception("HTTP request failed") doc = BeautifulSoup(resp.content, features="lxml") links = [] for anchor_tag in doc.select('a[href]'): url = anchor_tag['href'] title = anchor_tag.get_text(strip=True) or '(no title)' links.append((title, url)) return links except Exception as e: print(str(e)) if __name__ == '__main__': page_to_scrape = input("Enter a website URL:") found_links = fetch_links_from_page(page_to_scrape) for (link_title, link_href) in found_links: print(f"{link_title}: {link_href}") ``` 该脚本首先定义了一个函数 `fetch_links_from_page()` ，用来处理单个页面上的所有链接收集工作。之后，在主程序里调用了这个方法，并将结果逐一展示给用户[^1]。