### 抓取指定网站内容并保存至TXT文件 要实现从目标网站抓取所需数据并将它们按照要求保存到 TXT 文件中，可以采用 Python 的 `requests` 库来获取网页内容以及 `BeautifulSoup` 来解析 HTML 文档。以下是完整的解决方案： #### 解决方案概述 1. 使用 `requests` 发送 HTTP 请求以访问目标 URL。 2. 利用 `BeautifulSoup` 提取 `<h1>`、`<h2>`、`<span class="introduction1">`、`<span class="story_en txt-14 ft-blue">` 和 `<span class="story_cn txt-14">` 标签中的文本。 3. 将提取的内容按每篇文章的英文标题命名，并将其写入单独的 TXT 文件。 --- #### 实现代码 以下是一个完整的 Python 脚本，用于完成上述任务： ```python import requests from bs4 import BeautifulSoup import os def fetch_and_save_articles(url, page_number, output_dir): # 构造目标URL target_url = f"{url}{page_number}.html" # 发起HTTP请求 response = requests.get(target_url) if response.status_code != 200: raise Exception(f"Failed to retrieve data from {target_url}") # 解析HTML文档 soup = BeautifulSoup(response.content, 'html.parser') articles = [] article_containers = soup.select('.list-story-item')[:5] # 前五篇文章 for container in article_containers: title_en_tag = container.find('h1') title_cn_tag = container.find('h2') introduction_tag = container.find('span', {'class': 'introduction1'}) story_en_tag = container.find('span', {'class': 'story_en txt-14 ft-blue'}) story_cn_tag = container.find('span', {'class': 'story_cn txt-14'}) # 检查标签是否存在 if not all([title_en_tag, title_cn_tag, introduction_tag, story_en_tag, story_cn_tag]): continue # 提取文本 title_en = title_en_tag.text.strip() title_cn = title_cn_tag.text.strip() introduction = introduction_tag.text.strip() story_en = story_en_tag.text.strip() story_cn = story_cn_tag.text.strip() # 组织文章数据 article_data = { "title_en": title_en, "title_cn": title_cn, "introduction": introduction, "story_en": story_en, "story_cn": story_cn } articles.append(article_data) # 创建输出目录（如果不存在） if not os.path.exists(output_dir): os.makedirs(output_dir) # 存储每篇文章的数据到独立的TXT文件 for idx, article in enumerate(articles, start=1): file_name = f"{article['title_en'].replace('/', '-').strip()}.txt" with open(os.path.join(output_dir, file_name), 'w', encoding='utf-8') as f: f.write(f"Title (EN): {article['title_en']}\n") f.write(f"Title (CN): {article['title_cn']}\n\n") f.write(f"Introduction: {article['introduction']}\n\n") f.write(f"Story (EN):\n{article['story_en']}\n\n") f.write(f"Story (CN):\n{article['story_cn']}") if __name__ == "__main__": base_url = "https://www.i21st.cn/story/index_" page_num = 14 save_directory = "./output_articles" try: fetch_and_save_articles(base_url, page_num, save_directory) print("Articles fetched and saved successfully.") except Exception as e: print(f"An error occurred: {e}") ``` --- #### 关键点说明 1. **目标页面结构分析** 需要确认目标网站上的 HTML 结构是否与预期一致。例如，假设每篇文章都包含 `.list-story-item` 类名作为容器[^1]。 2. **异常处理** 如果某些标签缺失，则跳过该条目，以免中断整个程序运行。 3. **文件命名规则** 英文标题可能包含特殊字符（如 `/`），因此需替换为安全字符（如 `-`）以便于文件系统兼容性。 4. **依赖库安装** 确保已安装必要的 Python 库： ```bash pip install requests beautifulsoup4 ``` --- #### 输出示例 假设有如下一篇文章： ```html <div class="list-story-item"> <h1>Sample English Title</h1> <h2>样本中文标题</h2> <span class="introduction1">This is an introduction.</span> <span class="story_en txt-14 ft-blue">English content goes here...</span> <span class="story_cn txt-14">这里是中国内容...</span> </div> ``` 对应的 TXT 文件内容将是： ``` Title (EN): Sample English Title Title (CN): 样本中文标题 Introduction: This is an introduction. Story (EN): English content goes here... Story (CN): 这里是中国内容... ``` --- ###