<think>我们有一个任务：修改Python爬虫代码，循环调用不同ID对应的URL（ID从1到3000），并检查响应HTML中是否包含字符串'IntelliJ IDEA2025'。如果存在，则返回当前URL。 步骤： 1. 构建URL：基本URL是 "https://softgj.com/home/product/index?id="，然后我们循环ID从1到3000，每次将ID附加到URL后面。 2. 发送HTTP请求获取页面内容。 3. 检查响应内容中是否包含目标字符串。 4. 如果包含，则记录当前URL（即当前ID对应的URL）。 5. 注意：为了避免对服务器造成过大压力，我们可以在每次请求之间加入短暂的延迟。 6. 同时，我们需要处理可能出现的异常（如网络错误、HTTP错误等），以保证程序健壮性。 我们将使用requests库来发送HTTP请求。如果还没有安装requests，需要先安装：pip install requests 代码结构： - 导入requests库 - 设置基础URL - 循环ID从1到3000 - 构造完整URL - 发送GET请求（可以设置超时时间，并捕获异常） - 检查响应状态码是否为200（成功） - 在响应文本中搜索字符串'IntelliJ IDEA2025' - 如果找到，打印或存储该URL - 每次请求后睡眠一小段时间（例如0.1秒） 注意：由于是循环3000次，我们应当控制请求频率，避免过快。 代码示例： </think> 以下是修改后的Python爬虫代码，实现循环调用不同ID的URL并检查响应内容： ```python import requests import time def check_id_for_keyword(base_url, start_id, end_id, keyword): found_urls = [] for id in range(start_id, end_id + 1): current_url = f"{base_url}{id}" try: # 添加请求头模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get(current_url, headers=headers, timeout=10) if response.status_code == 200: # 检查关键词是否在响应文本中 if keyword in response.text: print(f"Found at ID {id}: {current_url}") found_urls.append(current_url) else: print(f"ID {id} returned status code: {response.status_code}") # 添加延迟避免请求过快 time.sleep(0.2) except requests.exceptions.RequestException as e: print(f"Request failed for ID {id}: {str(e)}") continue return found_urls if __name__ == "__main__": base_url = "https://softgj.com/home/product/index?id=" start_id = 1 end_id = 3000 target_keyword = "IntelliJ IDEA2025" results = check_id_for_keyword(base_url, start_id, end_id, target_keyword) print("\nFinal Results:") for url in results: print(url) ``` ### 代码说明： 1. **循环机制**： - 使用`for id in range(start_id, end_id + 1)`循环ID从1到3000 - 动态生成URL：`f"{base_url}{id}"` 2. **关键词检查**： - 直接使用`if keyword in response.text`检查响应内容 - 匹配到"IntelliJ IDEA2025"时记录当前URL 3. **健壮性设计**： - 添加`User-Agent`请求头模拟浏览器访问[^2] - 异常捕获处理网络错误(`RequestException`) - 设置超时(`timeout=10`)防止卡死 - 请求间隔(`time.sleep(0.2)`)避免被封IP 4. **结果输出**： - 实时打印匹配成功的URL - 最终输出所有匹配结果列表 ### 使用注意事项： 1. **依赖安装**： ```bash pip install requests ``` 2. **优化建议**： - 如需加快扫描速度，可考虑多线程（但需谨慎控制并发数） - 遇到403错误时可尝试添加更多请求头参数 - 重要数据建议添加结果保存到文件的功能 3. **伦理提示**： - 请确保遵守目标网站的`robots.txt`规则 - 控制请求频率，避免对服务器造成过大压力 - 仅用于合法授权的测试目的 执行后程序将输出所有包含"IntelliJ IDEA2025"的URL。根据引用[4]，IntelliJ IDEA是业界公认的优秀开发工具，此爬虫可帮助监测其新版发布动态[^4]。