为了对网页查询结果中“暂无信息”和“出现相关查询资料”两种情况进行分析判别，核心在于设计一个能够抓取页面内容并识别特定关键词的Python程序。这通常涉及网络请求、HTML解析以及文本分析技术[ref_4]。 以下是实现这一功能的详细方案与代码： ### 问题解构与方案推演 1. **目标**：编写一个判别函数，输入一个URL（或模拟查询操作），输出查询结果的类别（“无结果”或“有结果”）。 2. **关键点**： * **获取页面内容**：使用网络请求库（如 `requests`）模拟查询并获取返回的HTML源码[ref_1][ref_4]。 * **定位目标区域**：查询结果（无论是“暂无信息”还是相关资料）通常位于页面的特定容器（如 `<div id="result">`）或占据主要视觉区域。需要定位到这个区域进行分析。 * **内容判别**： * **策略一：关键词匹配**。在结果区域中搜索“暂无信息”、“暂无数据”、“未找到”等表示无结果的词汇。如果匹配成功，则判为“无结果”。否则，判为“有结果”[ref_4]。 * **策略二：结构分析**。有时“有结果”时页面会呈现出列表或表格等结构化的HTML元素（如多个 `<li>` 或 `<tr>` 标签），而“无结果”时仅有一段文本。可以分析结果区域的子元素数量和复杂度来辅助判别。 3. **扩展考虑**： * **反爬虫策略**：需要设置合适的请求头（特别是 `User-Agent`）来模拟浏览器访问，并可能需要处理Cookie、Session等[ref_4]。 * **网络异常处理**：网络请求可能失败，代码需要健壮性。 * **判别阈值**：对于“有结果”，如何定义“相关”？简单情况下，只要没有“暂无信息”且页面存在一定量的文本或特定结构即可。更复杂的情况下，可能需要结合具体的查询关键词来判断结果的相关性[ref_3]。 ### Python代码实现 以下是一个结合了上述策略的通用判别程序。它假设查询已经完成，我们只需分析给定的结果页URL。 ```python import requests from bs4 import BeautifulSoup import logging from typing import Tuple, Optional # 配置日志，便于调试 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') logger = logging.getLogger(__name__) class QueryResultClassifier: """ 网页查询结果分类器。 用于判别一个查询结果页面是显示“暂无信息”还是包含相关查询资料。 """ def __init__(self, timeout: int = 10, result_container_selectors: Optional[list] = None): """ 初始化分类器。 :param timeout: 请求超时时间（秒）。 :param result_container_selectors: 一个CSS选择器列表，用于定位可能包含查询结果的HTML容器。 程序将按列表顺序尝试，直到找到第一个匹配的容器。 """ self.timeout = timeout # 默认的结果区域选择器，可根据目标网站结构调整或扩充 self.result_selectors = result_container_selectors or [ 'div#content', 'div.main', 'div.results', 'div.list', 'tbody', 'ul.results', 'body' ] # 定义表示“无结果”的关键词列表（可根据具体网页内容添加） self.no_result_keywords = ['暂无信息', '暂无数据', '未找到', '没有找到', 'no result', 'no data found', 'empty'] # 请求头，模拟浏览器访问以规避简单的反爬虫机制 self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def fetch_page(self, url: str) -> Tuple[bool, Optional[str], Optional[BeautifulSoup]]: """ 获取并解析目标网页。 :param url: 目标网页的URL。 :return: (成功标志, 原始文本, BeautifulSoup对象) """ try: response = requests.get(url, headers=self.headers, timeout=self.timeout) response.raise_for_status() # 检查HTTP请求是否成功 response.encoding = response.apparent_encoding or 'utf-8' # 尝试自动识别编码 html_text = response.text soup = BeautifulSoup(html_text, 'html.parser') logger.info(f"成功获取页面：{url}") return True, html_text, soup except requests.exceptions.RequestException as e: logger.error(f"网络请求失败 ({url}): {e}") return False, None, None except Exception as e: logger.error(f"解析页面时发生未知错误 ({url}): {e}") return False, None, None def locate_result_container(self, soup: BeautifulSoup) -> Optional[BeautifulSoup.Tag]: """ 尝试定位包含查询结果的核心HTML容器。 :param soup: BeautifulSoup对象。 :return: 定位到的容器Tag对象，如果未找到则返回None。 """ for selector in self.result_selectors: container = soup.select_one(selector) if container: logger.debug(f"使用选择器 '{selector}' 定位到结果容器。") # 如果定位到的是body，可以尝试进一步寻找更具体的子容器（如main, content等） # 这里简化处理，直接返回定位到的第一个容器 return container logger.warning("未能通过预设选择器定位到明确的结果容器，将使用整个页面正文进行分析。") return soup.body if soup.body else soup def classify(self, url: str) -> str: """ 主判别函数。分析给定URL的页面，判断查询结果类型。 :param url: 查询结果页面的URL。 :return: 分类结果，'NO_RESULT'（无结果）或 'HAS_RESULT'（有结果）。 """ success, raw_html, soup = self.fetch_page(url) if not success: return "FETCH_ERROR" # 或者可以抛出异常 # 1. 定位结果区域 result_area = self.locate_result_container(soup) if not result_area: # 如果没有找到任何有效区域，视为无结果或分析失败 logger.warning("无法定位页面有效内容区域。") return "NO_RESULT" # 获取结果区域的纯文本（去除HTML标签），用于分析 area_text = result_area.get_text(strip=True, separator=' ').lower() # 转换为小写方便匹配 # 2. 策略一：关键词匹配（首要判别依据） for keyword in self.no_result_keywords: if keyword.lower() in area_text: logger.info(f"在结果区域检测到无结果关键词: '{keyword}'") return "NO_RESULT" # 3. 策略二：结构/内容辅助判别（用于减少误判） # 3.1 检查区域内的链接、列表项或表格行数量 num_links = len(result_area.find_all('a', href=True)) num_list_items = len(result_area.find_all(['li', 'tr'])) # 列表项或表格行 # 3.2 检查文本长度（“暂无信息”页面通常内容非常简短） text_length = len(area_text) logger.debug(f"辅助判别指标 - 链接数: {num_links}, 列表/行数: {num_list_items}, 文本长度: {text_length}") # 设定一些经验阈值（这些阈值需要根据目标网站具体调整） if text_length < 50: # 如果整个结果区域的纯文本少于50个字符，很可能就是“暂无信息”的变体 logger.info("结果区域文本过短，倾向于判定为无结果。") return "NO_RESULT" if num_links == 0 and num_list_items == 0 and text_length < 200: # 没有链接、没有列表结构且文本较短，也倾向于无结果 logger.info("结果区域缺乏结构化内容且文本较短，倾向于判定为无结果。") return "NO_RESULT" # 如果上述无结果的迹象都不明显，则判定为有结果 logger.info("未检测到明确的无结果特征，判定为存在查询资料。") return "HAS_RESULT" # 使用示例 if __name__ == "__main__": # 初始化分类器 classifier = QueryResultClassifier(timeout=15) # 示例URL列表（请替换为实际的查询结果页面URL进行测试） test_urls = [ "http://example.com/search?q=python", # 假设这个页面显示“暂无信息” "http://example.com/search?q=requests", # 假设这个页面显示相关资料 ] for url in test_urls: print(f"\n分析URL: {url}") result = classifier.classify(url) if result == "NO_RESULT": print("判别结果：页面显示‘暂无信息’或无相关结果。") elif result == "HAS_RESULT": print("判别结果：页面包含相关查询资料。") else: print(f"判别结果：{result} (可能是获取页面失败)") ``` ### 代码说明与关键逻辑 1. **核心类 `QueryResultClassifier`**：封装了判别逻辑，便于配置和复用。 2. **获取页面 (`fetch_page`)**：使用 `requests` 库发送GET请求，并用 `BeautifulSoup` 解析HTML[ref_1]。设置了 `User-Agent` 请求头以规避基础的反爬虫检测[ref_4]。 3. **定位结果区域 (`locate_result_container`)**：这是提高判别准确率的关键。程序尝试使用一组CSS选择器（如 `div#content`, `div.results`）来定位页面上最可能包含查询结果的部分，而不是分析整个页面。这可以避免页头、页脚、侧边栏等无关内容的干扰。如果所有选择器都失效，则回退到分析整个页面正文 (`soup.body`)[ref_3]。 4. **判别函数 (`classify`)**： * **首要策略**：在定位到的结果区域文本中，搜索预定义的“无结果关键词”（`no_result_keywords`）。一旦匹配，立即返回 `"NO_RESULT"`[ref_4]。 * **辅助策略**：如果未匹配到关键词，则进行进一步分析，以防漏判（例如，网页用“没有找到相关记录”这样的变体）。通过检查结果区域的**链接数量**、**列表/表格项数量**以及**纯文本长度**来判断。一个典型的“有结果”页面通常会包含多个链接、列表项或较长的描述性文本。而“无结果”页面通常只有一句提示语，结构简单[ref_1][ref_6]。这里设定的阈值（如文本长度<50）是经验值，在实际应用中需要根据目标网站的具体样式进行调整和优化。 5. **输出与日志**：代码包含了详细的日志输出，便于调试和观察判别过程。最终结果为字符串常量 `"NO_RESULT"` 或 `"HAS_RESULT"`。 ### 应用场景与调整建议 * **场景**：此代码适用于需要批量、自动化检查一系列查询请求是否有结果的场景，例如监控系统、数据采集前的有效性校验等。 * **调整建议**： * **关键词列表 (`no_result_keywords`)**：必须根据目标网站实际显示的“无结果”提示语进行补充和修改。可以通过人工浏览几个无结果的查询页面来确定。 * **结果区域选择器 (`result_selectors`)**：使用浏览器的开发者工具（F12）检查目标网站的查询结果在HTML中的结构，找到包裹结果的最外层容器的id或class，并更新到选择器列表中。这是提高判别准确性和鲁棒性的最重要步骤[ref_3]。 * **辅助判别阈值**：`text_length` 和 `num_links` 的阈值需要根据目标网站无结果页和有结果页的具体情况通过实验来确定。 * **处理动态加载**：如果查询结果是JavaScript动态加载的（如单页应用），`requests` + `BeautifulSoup` 的方案将无法获取到动态内容。此时需要使用 `Selenium` 或 `Playwright` 等浏览器自动化工具来获取渲染后的页面源码[ref_1]。 通过上述代码和逻辑，可以构建一个能够有效判别网页查询结果状态的Python工具，其核心在于结合关键词精确匹配与页面结构特征分析两种方法，以提高判别的准确性[ref_6]。