### Python爬虫输入URL的简单示例 以下是基于`requests`库和`BeautifulSoup`库的一个简单的Python爬虫示例，该程序允许用户通过输入目标URL抓取网页的内容并解析其中的信息。 #### 安装依赖库 在运行此脚本之前，请确保已安装所需的库。可以通过以下命令完成安装[^3]： ```bash pip install requests beautifulsoup4 ``` #### 示例代码 以下是一个完整的Python爬虫示例，支持用户手动输入URL，并提取页面中的标题和所有链接： ```python import requests from bs4 import BeautifulSoup def fetch_and_parse(url): try: # 发送HTTP GET请求到指定URL response = requests.get(url, timeout=10) # 设置超时时间防止卡死 response.raise_for_status() # 如果响应失败，则抛出异常 # 使用BeautifulSoup解析HTML文档 soup = BeautifulSoup(response.text, 'html.parser') # 提取网页标题 title = soup.title.string.strip() if soup.title else "无标题" print(f"网页标题: {title}") # 查找所有的<a>标签并打印其href属性 links = [] for a_tag in soup.find_all('a', href=True): # 找到带有href属性的<a>标签 link = a_tag['href'] text = a_tag.get_text(strip=True) if text and not link.startswith('#'): # 排除空白文字和锚点链接 links.append((text, link)) print("\n找到的链接:") for idx, (link_text, link_url) in enumerate(links[:10], start=1): # 显示前10个链接 print(f"{idx}. [{link_text}]({link_url})") except Exception as e: print(f"发生错误: {e}") if __name__ == "__main__": url_input = input("请输入要抓取的URL地址: ").strip() if url_input: fetch_and_parse(url_input) ``` 上述代码实现了以下几个功能： - 用户可以动态输入任意有效的URL。 - 抓取网页内容并通过`BeautifulSoup`解析HTML结构。 - 输出网页的标题以及页面上发现的部分链接列表。 #### 运行效果说明 当执行以上脚本时，会提示用户输入一个网址。例如输入 `https://www.example.com/` 后，程序将返回类似如下结果（假设网站存在有效数据）： ``` 请输入要抓取的URL地址: https://www.example.com/ 网页标题: Example Domain 找到的链接: 1. [More information...] (https://www.iana.org/domains/example) ``` 如果遇到无效或无法访问的目标站点，则显示相应的错误消息。 --- ### 注意事项 尽管上面的例子展示了如何构建基本的功能性爬虫工具，但在实际开发过程中还需要考虑更多因素，比如遵守robots.txt协议、设置合理的请求头模拟浏览器行为、处理JavaScript渲染等内容。 ---