### 解决Selenium抓取的数据与网页实际内容不一致 当遇到Selenium抓取的数据与网页实际内容不一致的情况时，可能的原因包括元素未完全加载、异步脚本影响或页面动态变化。为了确保捕获的内容是最新的和完整的，可以采取以下措施： #### 显式等待 显式等待可以让WebDriver在一定时间内轮询DOM，直到某个条件成立为止。这有助于确保目标元素确实已经加载完毕再进行交互。 ```python from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver.get('http://example.com') try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.ID, "myDynamicElement")) ) finally: driver.quit() ``` 这段代码会尝试查找ID为`myDynamicElement`的元素最多十秒钟；如果在此期间找到了该元素，则继续执行后续操作[^2]。 #### 执行JavaScript强制刷新 有时即使使用了显式等待，仍然无法获得最新的数据更新。此时可以通过调用浏览器自身的API来触发重新渲染或者直接读取最新状态下的HTML源码。 ```python # 刷新整个页面以确保所有资源都被重新请求一次 driver.refresh() # 或者仅重载特定部分而不必刷新整页 script = """ var divs = document.getElementsByTagName('div'); for (let i=0; i<divs.length; ++i){ let d = divs[i]; if(d.id === 'targetDiv'){ location.reload(); break; } } """ driver.execute_script(script) # 获取当前文档对象模型(DOM)字符串表示形式 html_content = driver.page_source print(html_content) ``` 通过这种方式可以直接控制页面的行为，并且能更精确地定位到所需的信息节点。 #### 验证AJAX完成情况 对于依赖于Ajax技术频繁改变其内部结构的网站来说，在每次动作之后都需要确认相应的网络请求已完成并且返回预期的结果集之前不要急于解析任何新产生的DOM片段。 ```python def ajax_complete(driver): try: return 0 == driver.execute_async_script(""" var callback = arguments[arguments.length - 1]; $.ajax({url: "/path/to/resource", success: function(){ callback(true); }}); """) except WebDriverException: pass while not ajax_complete(driver): time.sleep(0.1) # 短暂休眠防止CPU占用过高 ``` 此函数将持续监测指定URL对应的Ajax活动直至结束才允许程序向下运行[^1]。