### 使用Python编写爬虫程序抓取全球历年GDP和各产业产值数据 为了实现这一目标，可以采用`requests`库发送HTTP请求以及`BeautifulSoup`或`lxml`解析网页内容。对于更复杂的交互式页面，则可能需要用到`selenium`模拟浏览器行为。 #### 安装必要的库 首先安装所需的第三方库： ```bash pip install requests beautifulsoup4 lxml pandas openpyxl selenium ``` #### 编写基本的爬虫框架 构建一个简单的函数用于发起GET请求并返回响应对象： ```python import requests from bs4 import BeautifulSoup def fetch_page(url): headers = { 'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko)' 'Chrome/91.0.4472.124 Safari/537.36') } try: response = requests.get(url=url, timeout=30, headers=headers) if response.status_code == 200: return response.text else: print(f"Failed to load page {url}, status code: ", response.status_code) return None except Exception as e: print("Error occurred while fetching the URL:", str(e)) return None ``` 定义另一个方法用来提取所需的数据条目，并将其整理成结构化的形式以便后续操作： ```python def parse_data(html_content): soup = BeautifulSoup(html_content, "lxml") data_list = [] table = soup.find('table', attrs={'class': 'data'}) # 假设表格有一个特定类名"data" rows = table.findAll('tr')[1:] # 跳过表头 for row in rows: cols = row.findAll(['td']) year = cols[0].text.strip() gdp_value = float(cols[1].text.replace(',', '').strip()) industries_values = {} for i, col in enumerate(cols[2:], start=2): # 处理其他列作为不同行业的产出值 industry_name = f'Industry_{i}' value = float(col.text.replace('%', '').replace('$', '').strip()) / 100 * gdp_value industries_values[industry_name] = round(value, 2) record = {'Year': int(year), 'GDP_Value': gdp_value} record.update(industries_values) data_list.append(record) return data_list ``` 最后一步是将收集到的信息存储至Excel文档中供进一步分析使用： ```python import pandas as pd def save_to_excel(data, filename='global_gdp.xlsx'): df = pd.DataFrame(data) writer = pd.ExcelWriter(filename, engine='openpyxl') df.to_excel(writer, index=False, sheet_name="Global GDP Data") writer.save() print(f'Data successfully saved into file "{filename}"!') ``` 以上代码片段展示了如何创建一个基础版本的Web Scraper来获取指定网站上关于全球经济指标的相关信息[^1]。需要注意的是，在实际应用过程中应当遵循目标站点的服务条款与法律法规，合理设置访问频率以免给服务器造成过大压力；同时也应该考虑加入异常处理机制提高程序稳定性。