### 使用Python编写爬虫程序抓取网站子索引 #### 准备工作 为了实现这一目标，首先需要安装必要的库。常用的Python爬虫库有`requests`用于发送HTTP请求，以及`BeautifulSoup`或`lxml`用于解析HTML文档。 ```bash pip install requests beautifulsoup4 lxml ``` #### 抓取流程概述 整个过程分为几个部分：发送请求、接收响应、解析页面结构、定位并提取所需链接、保存结果。 #### 实现代码示例 下面是一个简单的例子，展示了如何利用上述提到的技术栈来完成这项任务： ```python import requests from bs4 import BeautifulSoup def fetch_sub_indexes(url): try: response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') sub_index_links = [] for link in soup.find_all('a', href=True): # 查找所有的<a>标签，并确保它们含有href属性 full_link = url.rstrip('/') + '/' + link['href'].lstrip('/') if not (full_link.startswith('#') or "javascript:" in full_link.lower()): sub_index_links.append(full_link) return list(set(sub_index_links))[:10] # 去重并返回前十个链接作为样例 except Exception as e: print(f"Error occurred while fetching {url}: ", str(e)) return [] if __name__ == "__main__": target_url = input("请输入要抓取的目标网址:") links = fetch_sub_indexes(target_url) with open('./sub-indexes.txt', mode='w+', encoding="utf-8") as file: for l in links: file.write(l+"\n") print("已完成抓取并将结果存入当前目录下的'sub-indexes.txt'文件中") ``` 这段脚本会读取用户输入的目标URL地址，尝试从中抽取所有可能指向其他页面的有效链接，并最终把收集到的结果写入本地文本文件里[^3]。 请注意，在实际应用过程中还需要考虑更多细节问题，比如处理相对路径转换成绝对路径的情况；遵循robots协议尊重站点设置；适当控制访问频率以免给对方服务器造成过大压力等[^2]。