### 使用 Python 爬虫抓取文章并保存 为了实现从指定网站抓取多篇文章并将这些文章的内容按照特定格式保存至本地文件，可以采用 `requests` 库来获取网页内容，并利用 `BeautifulSoup` 来解析 HTML 结构。下面展示了一个完整的解决方案。 #### 安装依赖库 首先确保安装了必要的第三方库： ```bash pip install requests beautifulsoup4 lxml ``` #### 抓取与处理逻辑 编写脚本完成以下功能： - 发送 HTTP 请求获得页面源码； - 解析HTML文档提取所需信息； - 将每篇文章的数据写入对应的文本文件中； 具体代码如下所示： ```python import os from urllib.parse import urljoin import requests from bs4 import BeautifulSoup def fetch_article(url): try: resp = requests.get(url) soup = BeautifulSoup(resp.text, 'lxml') title_en = soup.select_one('.title-en').get_text(strip=True) or '' title_cn = soup.select_one('.title-cn').get_text(strip=True) or '' content_div = soup.find('div', class_='content-text') paragraphs = [] if content_div: for p in content_div.find_all(['p']): text = p.get_text().strip() if text: paragraphs.append(text) return { 'en_title': title_en, 'cn_title': title_cn, 'content': '\n'.join(paragraphs), } except Exception as e: print(f"Error fetching article at {url}: ", str(e)) return None base_url = 'https://www.i21st.cn/story/' index_page = base_url + "index_1.html" response = requests.get(index_page) if not response.ok: raise ValueError("Failed to load index page") html_doc = response.content.decode('utf8') soup_index = BeautifulSoup(html_doc, features="lxml") articles_links = [] for item in soup_index.select(".list-item"): link_tag = item.a href = link_tag['href'] full_link = urljoin(base_url, href) articles_links.append(full_link) count = 0 output_dir = './articles' os.makedirs(output_dir, exist_ok=True) for idx, art_url in enumerate(articles_links[:5], start=1): # 只取前五篇 article_data = fetch_article(art_url) if not article_data: continue filename = f"{article_data['en_title']}.txt".replace('/', '_').replace('\\', '_') filepath = os.path.join(output_dir, filename) with open(filepath, mode='w+', encoding='utf8') as file_obj: file_obj.write("# {}\n\n".format(article_data["en_title"])) file_obj.write("## 中文标题:\n{}\n\n".format(article_data["cn_title"])) file_obj.write("## 正文内容:\n{}".format(article_data["content"])) count += 1 print(f'Successfully saved [{idx}/{len(articles_links)}]: "{filename}"') print("\nTotal {} files have been created.".format(count)) ``` 此段程序会遍历首页上的链接列表，选取其中的五个链接作为目标URL进行进一步请求，随后通过分析返回的结果找到相应的标题和正文部分，最后把这些信息整理好存放到单独创建出来的`.txt` 文件里[^1]。