### 使用 Python3 编写爬虫程序从高德地图获取全国农贸市场数据的方法 要实现这一目标，可以通过调用高德地图开放平台的 API 来完成。以下是具体方法： #### 1. 获取高德地图API Key 在使用高德地图的数据之前，需要先注册成为开发者并申请一个有效的 API Key[^2]。 #### 2. 调用高德地图POI搜索接口 高德地图提供了 POI (Point of Interest) 搜索功能，可以用来查询特定类型的地点信息。农贸市场的类别码为 `06` 或更具体的子类编码[^3]。 请求 URL 的基本结构如下： ```plaintext https://restapi.amap.com/v3/place/text?key=您的Key&keywords=&types=06&city=%E5%85%A8%E5%9B%BD&page=1&offset=20&extensions=all ``` 其中参数说明： - `key`: 开发者申请的 API 密钥。 - `keywords`: 可选关键词，默认为空表示不限制名称筛选条件。 - `types`: 场所分类代码，这里设置为 `06` 表示农贸市场。 - `city`: 查询范围的城市名或 adcode，填写“全国”即可覆盖整个中国区域。 - `page`: 当前页数，用于分页显示结果。 - `offset`: 单次返回的最大记录条目数量（最大支持 20）。 - `extensions`: 返回结果控制字段，“base”仅基础信息；“all”则包含详细地址和其他扩展属性。 #### 3. 实现完整的爬取逻辑 下面是一个简单的脚本例子来演示如何抓取这些数据： ```python import requests def fetch_farmers_markets(api_key, page_num): base_url = 'https://restapi.amap.com/v3/place/text' params = { 'key': api_key, 'keywords': '', 'types': '06', # 农贸市场对应的类型编号 'city': '全国', 'page': str(page_num), 'offset': '20', 'extensions': 'all' } try: resp = requests.get(base_url, params=params) data = resp.json() if data['status'] != '1': raise Exception(f"Error fetching data: {data}") pois = data['pois'] total_count = int(data['count']) return pois, total_count except Exception as e: print(e) if __name__ == '__main__': key = 'your_api_key_here' # 替换为您自己的API密匙 all_pois = [] current_page = 1 while True: markets, count = fetch_farmers_markets(key, current_page) if not markets or len(markets)==0: break all_pois.extend(markets) print(f"Fetched Page-{current_page}, Total Records So Far:{len(all_pois)}") current_page +=1 print("All Data Fetched.") for market in all_pois[:5]: print(market['name'], market['location']) ``` 此段代码会持续读取每一页的结果直到没有更多数据为止，并打印出部分样例输出。 #### 注意事项 - **频率限制**: 高德地图对于免费用户的访问频次有一定限额，请注意查看官方文档了解最新规定[^4]。 - **合法性审查**: 确保遵循高德地图服务条款以及相关法律法规，在合理范围内合法合规地使用其资源和服务。