### 如何在 PyCharm 中编写爬虫程序提取新闻数据 #### 创建项目 在 PyCharm 中启动一个新的 Python 项目。可以通过菜单栏中的 `File -> New Project` 来完成此操作。设置项目的解释器版本以及工作目录。 #### 安装依赖库 为了实现网页抓取功能，通常需要用到两个主要的第三方库：`requests` 和 `BeautifulSoup`。可以在终端中执行以下命令来安装这些库： ```bash pip install requests beautifulsoup4 ``` #### 编写爬虫脚本 创建一个新的 `.py` 文件用于存储爬虫逻辑代码。以下是基于提供的参考资料构建的一个简单示例： ```python import requests from bs4 import BeautifulSoup def fetch_news(url): try: # 发送 GET 请求获取目标页面内容 response = requests.get(url) # 如果响应状态码不是200，则抛出异常 if response.status_code != 200: raise Exception(f"Request failed with status {response.status_code}") # 使用 lxml 或 html.parser 对 HTML 文档进行解析 soup = BeautifulSoup(response.text, 'html.parser') # 查找所有的新闻条目（假设每篇新闻都在特定 div 标签下） news_items = soup.find_all('div', class_='news-item') extracted_data = [] for item in news_items: title = item.find('h2').get_text(strip=True) if item.find('h2') else None summary = item.find('p').get_text(strip=True) if item.find('p') else None link = item.find('a')['href'] if item.find('a') and 'href' in item.find('a').attrs else None extracted_data.append({ 'title': title, 'summary': summary, 'link': link }) return extracted_data except Exception as e: print(f"An error occurred while fetching data: {e}") if __name__ == "__main__": url_to_scrape = "https://example-news-site.com" result = fetch_news(url_to_scrape) if result is not None: for entry in result: print(entry) ``` 上述代码定义了一个名为 `fetch_news` 的函数，该函数接受 URL 参数作为输入，并返回从指定网站上找到的所有新闻文章的相关信息列表[^1]。其中包含了标题、摘要和链接等内容字段[^2]。 #### 测试与调试 运行编写的脚本来验证其能否正常运作并正确地捕获所需的数据项。如果遇到任何错误或者未达到预期效果的情况，请仔细检查HTML结构分析部分是否有误，必要时调整CSS选择器表达式匹配实际的目标站点布局特点[^3]。 #### 数据保存 最后一步就是考虑怎样把收集来的资讯妥善储存起来以便后续利用。可以选择将其导出成CSV文件形式或者其他数据库格式存入本地磁盘当中去[^4]。