### 使用Python抓取新浪新闻动态加载网页内容 #### 处理JavaScript渲染和分页 为了有效地抓取像新浪新闻这样的动态加载网页的内容，通常需要解决两个主要挑战：处理由JavaScript生成的内容和管理分页。以下是具体方法： 对于JavaScript生成的内容，Selenium是一个强大的工具，它允许模拟浏览器行为来执行复杂的Web自动化任务[^2]。通过创建WebDriver实例并导航到目标URL，可以等待页面完全加载后再提取所需的信息。 针对分页问题，许多现代网站采用无限滚动或“加载更多”按钮的形式来展示更多信息，这背后往往涉及Ajax请求向服务器获取新数据片段而不必刷新整个页面[^1]。了解这些请求的具体参数（如时间戳、游标位置等），可以直接模仿它们发送HTTP GET/POST请求给API接口从而绕过前端界面直接取得原始JSON响应体中的文章列表。 ```python from selenium import webdriver import time import requests import json def get_ajax_content(url, scroll_pause_time=2): options = webdriver.ChromeOptions() options.add_argument('headless') # 不打开浏览器窗口运行Chrome. driver = webdriver.Chrome(options=options) try: driver.get(url) last_height = driver.execute_script("return document.body.scrollHeight") while True: # 向下滚动到底部 driver.execute_script( "window.scrollTo(0, document.body.scrollHeight);") # 等待加载完成 time.sleep(scroll_pause_time) new_height = driver.execute_script("return document.body.scrollHeight") if new_height == last_height: break last_height = new_height elements = driver.find_elements_by_css_selector('.news-item') titles = [] for element in elements: title_element = element.find_element_by_tag_name('h2').find_element_by_tag_name('a') titles.append(title_element.text.strip()) return titles finally: driver.quit() def fetch_api_data(api_url, params=None): response = requests.post(api_url, data=params) if response.status_code != 200: raise Exception(f"Failed to load page {api_url}") result = json.loads(response.content.decode('utf-8')) items = result['data']['list'] news_titles = [item['title'] for item in items] return news_titles if __name__ == "__main__": ajax_loaded_titles = get_ajax_content('https://example.sina.com.cn/news') api_fetched_titles = fetch_api_data('https://example.api.sina.com/getNewsList', {'page': '1'}) all_news_titles = list(set().union(ajax_loaded_titles, api_fetched_titles)) print("\n".join(all_news_titles)) ``` 此脚本展示了两种不同的策略用于收集来自不同类型的动态加载机制下的新闻标题集合——一种基于Selenium模拟真实用户的浏览习惯直到所有的可见项目都被加载出来；另一种则是解析出实际使用的API调用来批量拉取多批次的结果集。这两种方式可以根据实际情况单独使用或是组合起来提高效率与准确性。