### 使用 Python 实现对国家统计局网站四级行政区划地址数据的爬取 为了实现这一目标，可以采用 `requests` 和 `BeautifulSoup` 库来进行网页请求和解析工作。下面是一个完整的解决方案。 #### 准备环境 首先需要确保环境中已经安装了必要的库： ```bash pip install requests beautifulsoup4 pymysql ``` #### 编写代码逻辑 接下来展示一段用于抓取并存储国家统计局发布的最新版区划信息至 MySQL 数据库中的 Python 脚本[^1]。 ```python import requests from bs4 import BeautifulSoup import pymysql def get_html(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } r = requests.get(url, timeout=30, headers=headers) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except Exception as e: print(f'Error occurred while fetching {url}:', str(e)) raise def parse_page(html): soup = BeautifulSoup(html, "html.parser") trs = soup.find_all('tr', class_='citytr') data_list = [] for tr in trs: tds = tr.find_all('td') code = tds[0].string.strip() if tds[0].string else '' name = tds[1].a.string.strip() if tds[1].a and tds[1].a.string else '' next_url_part = '/'.join(tds[1].a['href'].split('/')[:-1]) + '/' full_next_url = f'http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/{next_url_part}' data_list.append((code, name, full_next_url)) return data_list def save_to_db(data_list): conn = None cursor = None try: # 这里填写自己的数据库连接参数 conn = pymysql.connect( host='localhost', user='root', password='', database='area_data', charset='utf8mb4' ) cursor = conn.cursor() sql_insert = """ INSERT INTO areas(code, name, url) VALUES (%s,%s,%s); """ for item in data_list: cursor.execute(sql_insert, item) conn.commit() finally: if cursor is not None: cursor.close() if conn is not None: conn.close() if __name__ == '__main__': start_urls = ['http://www.stats.gov.cn/tjsj/tjbz/tjyqhdmhcxhfdm/index.html'] all_areas_info = [] for url in start_urls: html_content = get_html(url) parsed_results = parse_page(html_content) all_areas_info.extend(parsed_results) save_to_db(all_areas_info) ``` 这段脚本实现了从指定 URL 开始获取页面内容，并从中提取出所需的地区编码、名称以及链接到更详细的子级区域的信息。之后这些信息会被保存在一个名为 `areas` 的关系型表格内[^2]。 请注意，在实际部署之前还需要调整数据库配置部分以适应个人的具体情况；另外由于网络状况等因素的影响，建议加入重试机制提高稳定性[^3]。