selenium 在一个页面上有一些文章，想要获取这些文章的标题，但是点击文章进入详细页采集标题时，不同文章页面结构不同，如何表示

### 使用Selenium采集多篇文章标题的不同策略在面对不同结构的文章页面时，可以通过以下几种方法实现统一处理并高效采集标题： #### 方法一：基于通用属性的选择器尽管不同的文章页面可能具有不同的HTML结构，但许多网站会为重要的元素（如标题）设置一些通用的属性，比如`class`、`id`或标签名称。可以尝试编写一组覆盖常见情况的XPath或CSS选择器。 ```python from selenium import webdriver from selenium.webdriver.common.by import By def get_titles(driver, urls): titles = [] for url in urls: driver.get(url) try: title_element = driver.find_element(By.XPATH, '//*[@id="title"] | //*[@class="article-title"]') # 尝试多个条件 titles.append(title_element.text.strip()) except Exception as e: titles.append(f"Error fetching title from {url}: {str(e)}") # 记录错误 return titles # 初始化WebDriver driver = webdriver.Chrome() urls = ["https://example.com/article1", "https://example.com/article2"] titles = get_titles(driver, urls) print(titles) driver.quit() ``` 这种方法利用了XPath的支持逻辑运算符的功能[^1]，可以在单个查询中指定多个备选路径。 --- #### 方法二：动态分析与自适应规则如果无法提前预知所有可能的标题位置，则可以采用一种更灵活的方式——先收集候选区域再筛选最有可能的结果。例如，假设标题通常是较大的字体或者位于页面顶部附近，那么可以根据这些特征进一步缩小范围。 ```python import re def extract_title_from_candidates(candidates): patterns = [ r"^[\w\s\d]{5,}$", # 至少五个字符长度的文字串 r"\bTitle\b|\bHeading\b" ] for candidate in candidates: text = candidate.text.strip() if any(re.match(pattern, text) for pattern in patterns): return text raise ValueError("No suitable title found") def fetch_titles_adaptively(driver, urls): all_titles = [] for url in urls: driver.get(url) potential_elements = driver.find_elements(By.CSS_SELECTOR, "h1,h2,h3,p.title") try: best_match = extract_title_from_candidates(potential_elements) all_titles.append(best_match) except ValueError as ve: all_titles.append(str(ve)) return all_titles all_titles = fetch_titles_adaptively(driver, urls) print(all_titles) ``` 此脚本定义了一个辅助函数 `extract_title_from_candidates()` 来评估哪些候选项可能是真正的标题。 --- #### 方法三：结合机器学习模型预测标题字段对于极其复杂的场景下，还可以考虑引入自然语言处理技术来帮助识别正文中的关键部分作为标题。不过这属于高级应用范畴，在实际项目里需权衡成本效益比后再决定是否采纳此类方案。 --- 以上三种方式各有优劣，具体选用哪一种取决于目标站点的具体特性和需求优先级等因素。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇基于pytorch的舆情趋势预测

目录

selenium 在一个页面上有一些文章，想要获取这些文章的标题，但是点击文章进入详细页采集标题时，不同文章页面结构不同，如何表示

Python内容推荐

Python Selenium自动化获取页面信息的方法

解决Python selenium get页面很慢时的问题

Python+selenium点击网页上指定坐标的实例

python+selenium 定位到元素,无法点击的解决方法

基于Python的selenium操作：判断元素是否存在+判断元素是否可以点击

Python爬虫实现模拟点击动态页面

Python selenium页面加载慢超时的解决方案

python+selenium 点击单选框-radio的实现方法

Python selenium根据class定位页面元素的方法

python + selenium +pyquery 爬虫 爬取 1688详情图片 阿里巴巴详情图片 与标题 下载图片并进行压缩 仅供学习交流使用 .zip

python+Selenium自动化测试——输入,点击操作

python selenium 获取标签的属性值、内容、状态方法

selenium获取当前页面的url、源码、title的方法

selenium处理元素定位点击无效问题

基于selenium 获取新页面元素失败的解决方法

java selenium智能等待页面加载完成示例代码

Selenium 模拟浏览器动态加载页面的实现方法

Selenium使用PageObject模式测试登陆页面

C#操作Selenium自动化测试，采集数据实例源码。

【Java】获取指定HTML 文档指定的body、页中超链接的标题和链接、指定博客文章的内容

高校技术转移办公室如何实现技术成果的智能推荐与精准路演？.docx

麻烦了熠哥，麻烦了熠哥麻烦了哈

STM32 LCD 16×2 屏幕使用

两台逆变器并联零序环流抑制+LCL并网矢量控制Simulink仿真

share_b0dd64dd072936e16da2f27bbd48bdc51791767975916.mp4

Go语言高并发云原生数据库实战：覆盖时序、图、文档、关系型及区块链数据库

OpenStock：中小企业可用的开源库存管理系统

深度学习里常听说的‘内积层’到底指什么？它和全连接层是什么关系？

MATLAB 2019实现多波形同坐标绘图及示波器数据导出至Excel和Origin

OpenStock：开源A股行情数据抓取与自动化选股策略工具

python + selenium +pyquery 爬虫爬取 1688详情图片阿里巴巴详情图片与标题下载图片并进行压缩仅供学习交流使用 .zip