python怎么删除页面重复的img链接

### 使用Python去除HTML页面中重复的`img`标签或图片链接要去除HTML页面中的重复`img`标签或图片链接，可以采用多种方法。以下是基于正则表达式和解析库（如BeautifulSoup）的具体实现。 #### 方法一：使用正则表达式去重通过正则表达式提取所有的`img`标签及其属性，并记录已出现过的图片链接地址。如果发现相同的链接，则跳过该标签。 ```python import re def remove_duplicate_img_tags(html_content): img_pattern = re.compile(r'(<img\s+[^>]*?src=["\']([^"\']+)["\'][^>]*>)', re.IGNORECASE | re.MULTILINE) seen_srcs = set() result_html = [] start_index = 0 for match in img_pattern.finditer(html_content): src = match.group(2).strip().lower() # 提取src属性并忽略大小写 if src not in seen_srcs: seen_srcs.add(src) # 添加到集合中表示已经见过此图片链接 result_html.append(html_content[start_index:match.end()]) start_index = match.end() result_html.append(html_content[start_index:]) # 追加剩余部分 return ''.join(result_html) # 测试代码 html_input = ''' <html> <body> <img src="image1.jpg" alt="Image One"> <img src="image2.jpg" alt="Image Two"> <img src="image1.jpg" alt="Duplicate Image"> </body> </html> ''' cleaned_html = remove_duplicate_img_tags(html_input) print(cleaned_html) ``` 这种方法利用了正则表达式的强大功能来定位所有`<img>`标签，并通过集合数据结构防止重复插入相同链接的内容[^4]。 --- #### 方法二：使用BeautifulSoup解析HTML文档相比直接操作字符串的方式，借助专门用于处理HTML/XML文档的工具会更加直观可靠。下面展示了一个例子： ```python from bs4 import BeautifulSoup def remove_duplicate_images_with_bs4(html_content): soup = BeautifulSoup(html_content, 'lxml') image_set = set() imgs_to_remove = [] # 存储待删除的对象列表而不是立即执行remove动作以避免影响遍历过程 for img_tag in soup.find_all('img'): src_attr = img_tag.get('src') if src_attr is None or src_attr.strip() == "": continue # 跳过无有效src的情况 normalized_src = src_attr.lower().strip() # 统一格式化路径便于比较 if normalized_src in image_set: imgs_to_remove.append(img_tag) # 如果存在就标记为要移除项 else: image_set.add(normalized_src) # 加入唯一性的set容器里 for tag in imgs_to_remove: tag.decompose() # 删除指定节点 return str(soup) # 示例调用 if __name__ == "__main__": sample_html = """ <!DOCTYPE html> <html lang="en"> <head><title>Demo Page</title></head> <body> <p>This contains some images:</p> <img src="/static/image.png"/> <img src="//cdn.example.com/static/image.PNg "/> <img src="#invalid"/> <img src="/static/other_image.jpeg"/> <img src="/Static/Image.PNG"/>  </body> </html> """ output_html = remove_duplicate_images_with_bs4(sample_html) print(output_html) ``` 这段脚本首先加载整个HTML树形结构，接着逐一访问每一个`<img>`元素判断其是否已经被加入到了存储唯一的图像源URL的集合当中；如果是的话便将其列入稍后的清理计划之中[^3]。 --- #### 性能对比分析两种方式各有优劣： - **正则表达式**适合轻量级场景下的快速替换需求，但对于复杂的嵌套或者特殊字符编码支持可能不够全面。 - **BeautifulSoup**虽然消耗更多资源，但它提供了更强大的DOM模型操控能力以及更好的错误容忍度，在面对实际项目里的脏乱差的数据时表现更为稳健。最终选择取决于具体应用场景的要求和个人偏好。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 python 获取ftp服务器每个文件夹下所有文件名

目录

python怎么删除页面重复的img链接

Python内容推荐

python批量下载图片

python删除文件夹下相同文件和无法打开的图片

python批量复制图片到另一个文件夹

比较两个文件夹中的图片并删除.rar_界面编程_Python_

python源码-案例框架-自动办公-12 用Python将PDF文件转存为图片.zip

opencv python 图像去噪的实现方法

imagehash：Python感知图像哈希模块

python入门到高级全栈工程师培训 第3期 附课件代码

利用Python批量生成任意尺寸的图片

1.python从入门到精通.md

Pillow SIMD 版本 9.0.0 适用于 Python 3.8 的 Windows 64 位安装包

Python智能体开发实战项目：工具调用编排与评估报告生成器

考虑用户行为基于扩散模型的电动汽车充电场景生成（Python代码实现）

基于jQuery实现瀑布流页面

2021-2022计算机二级等级考试试题及答案No.16381.docx

PHP基于php_imagick_st-Q8.dll实现JPG合成GIF图片的方法

seam_carving

2021-2022计算机二级等级考试试题及答案No.15591.docx

RAW文件预处理工具.zip

OpenCV计算机视觉学习（8）——图像轮廓处理（轮廓绘制，轮廓检索，轮廓填充，轮廓近似） - 战争热诚 - 博客园1

Python实现将数据库一键导出为Excel表格的实例

python将excel数据导入数据库

Reading Excel files using ODBC使用ODBC读Excel文件

Python获取数据库数据并保存在excel表格中的方法

用Python将Excel数据导入到SQL Server的例子

学生成绩管理系统C++课程设计与实践

别再手动拖拽了！用Lumerical脚本批量创建FDTD仿真结构（附完整代码）

Java邮件解析任务中，如何安全高效地提取HTML邮件内容并避免硬编码、资源泄漏和类型转换异常？

RH公司应收账款管理优化策略研究

新手别慌！用BingPi-M2开发板带你5分钟搞懂Tina Linux SDK目录结构

python入门到高级全栈工程师培训第3期附课件代码