### 使用Python实现网页新闻标题爬取与词频统计 #### 1. 准备工作 在开始之前，需要安装必要的库。这些库包括 `requests` 用于发送HTTP请求，`json` 用于解析JSON数据，以及 `collections.Counter` 来统计词频[^1]。 ```bash pip install requests ``` #### 2. 发送HTTP请求获取新闻数据 通过 `requests.get()` 方法向目标网站发起GET请求，并将返回的数据以JSON格式加载到内存中。以下是代码示例： ```python import requests def fetch_news_titles(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) if response.status_code == 200: data = response.json() titles = [item['title'] for item in data['data']] # 假设JSON结构中的字段名为'title' return titles else: raise Exception(f"Failed to retrieve news: {response.status_code}") ``` 此部分实现了对指定URL的访问，并提取了新闻标题列表。 #### 3. 清理和预处理文本 对于每条新闻标题，需先去除停用词(stopwords)，并对单词进行标准化处理（如大小写统一、词形还原）。这一步骤可以通过自定义函数完成[^2]。 ```python from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from nltk.stem import WordNetLemmatizer import string stop_words = set(stopwords.words('english')) lemmatizer = WordNetLemmatizer() def preprocess_text(texts): all_tokens = [] for text in texts: tokens = word_tokenize(text.lower()) # 小写化并分词 filtered_tokens = [ lemmatizer.lemmatize(token) for token in tokens if token.isalpha() and token not in stop_words ] all_tokens.extend(filtered_tokens) return all_tokens ``` 上述代码完成了对输入文本的标记化、去停用词及词干提取操作。 #### 4. 统计词频并生成Top20列表 使用 `Counter` 对清洗后的词语集合进行频率统计，最终筛选出排名靠前的结果。 ```python from collections import Counter def get_top_20_words(tokens): counter = Counter(tokens) top_20 = counter.most_common(20) return top_20 ``` 调用该函数即可获得最常见的20个词汇及其对应的出现次数。 #### 5. 主程序逻辑整合 下面是一个完整的主流程演示： ```python if __name__ == "__main__": url = "https://example.com/api/news" try: titles = fetch_news_titles(url) processed_tokens = preprocess_text(titles) top_20_words = get_top_20_words(processed_tokens) print("Top 20 Words:") for word, freq in top_20_words: print(f"{word}: {freq}") except Exception as e: print(e) ``` 以上代码展示了如何从特定API接口抓取新闻标题，经过一系列自然语言处理步骤后得出高频词汇表。 ---