### 创建 Python 网络爬虫并处理 API 参数 对于构建能够接收参数并通过 API 返回结果的 Python 爬虫程序，可以按照以下方式设计： #### 使用 `Flask` 构建简易 Web 服务接受参数 为了使爬虫可以从外部接收参数，推荐使用 Flask 框架搭建一个简单的 RESTful API 接口。这允许其他应用程序或前端页面调用此接口，并传入必要的查询条件。 ```python from flask import Flask, request, jsonify import requests from bs4 import BeautifulSoup app = Flask(__name__) @app.route('/crawl', methods=['POST']) def crawl(): url = request.json.get('url') try: response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 假设我们只抽取所有的链接作为例子 links = [] for a_tag in soup.find_all('a'): link = a_tag.get('href') if link and not link.startswith('#'): links.append(link) result = { "status": "success", "data": {"links": links} } except Exception as e: result = { "status": "error", "message": str(e) } return jsonify(result) if __name__ == '__main__': app.run(debug=True) ``` 这段代码展示了如何设置一个 POST 方法 `/crawl` 来接收 JSON 形式的 URL 地址[^3]。当接收到请求后，会利用 `requests` 库发起 GET 请求获取目标网站的内容；接着借助 `BeautifulSoup` 解析 HTML 文档结构，这里仅作为一个示范选择了提取所有 `<a>` 标签中的 href 属性值形成列表返回给客户端。 如果发生异常，则捕获错误信息并将状态标记为失败连同具体的报错消息一并发回给用户。 最后一步是启动这个小型的服务端应用，在开发环境中可以通过命令行运行上述脚本来测试效果。 #### 发送带有参数的结果至指定 API 假设存在另一个远程服务器提供了一个用于存储抓取成果的 API 终结点（endpoint），那么可以在成功完成一次完整的网页抓取之后立即向该终结点提交收集到的信息。下面是一个简化版本的例子说明怎样做到这一点： ```python # ... (前面部分保持不变) result_data = { "source_url": url, "extracted_links": links } response_to_api = requests.post( 'https://example.com/api/store_results', json=result_data ) print(f'Sending results to remote server... Status code: {response_to_api.status_code}') ``` 在这个片段里，定义了名为 `result_data` 的字典保存源网址以及之前提到过的链接集合。随后通过 `requests.post()` 函数把它们打包成 JSON 对象发送出去。注意这里的 `'https://example.com/api/store_results'` 需要替换为你实际拥有的 API 地址[^1]。