# 什么是 DataFrame DataFrame 是 Python 中 Pandas 库的核心数据结构，它是一个二维的、大小可变的、可以存储多种类型数据的表格结构，并且带有标签的轴（行和列）[ref_1]。 ## DataFrame 的基本概念 ### 数据结构特征 DataFrame 类似于电子表格或 SQL 表，具有以下关键特征： | 特征 | 描述 | |------|------| | 二维结构 | 包含行和列的表格形式数据 | | 标签化轴 | 行和列都有明确的标签 | | 异构数据 | 不同列可以包含不同的数据类型 | | 大小可变 | 可以动态添加/删除行和列 | | 强大的索引 | 支持复杂的索引和切片操作 | ### 创建 DataFrame 的常用方法 **1. 从字典创建** ```python import pandas as pd # 使用字典创建 DataFrame data = { '姓名': ['张三', '李四', '王五'], '年龄': [25, 30, 35], '城市': ['北京', '上海', '广州'] } df = pd.DataFrame(data) print(df) ``` **2. 从列表创建** ```python # 从列表创建 DataFrame data = [ {'id': 1, 'name': 'Alice', 'age': 25}, {'id': 2, 'name': 'Bob', 'age': 30}, {'id': 3, 'name': 'Charlie', 'age': 35} ] df = pd.DataFrame(data) print(df.head()) ``` ## DataFrame 的核心操作 ### 数据访问和索引 **使用 loc 和 iloc 进行数据访问**： ```python # 创建示例 DataFrame df = pd.DataFrame({ 'A': [1, 2, 3, 4], 'B': [10, 20, 30, 40], 'C': [100, 200, 300, 400] }, index=['行1', '行2', '行3', '行4']) # 使用 loc 按标签访问 print(df.loc['行2']) # 访问第二行 # 使用 iloc 按位置访问 print(df.iloc[1]) # 访问第二行（位置索引） ``` ### 数据转置操作 ```python # DataFrame 转置 df_transposed = df.T print("原始 DataFrame:") print(df) print("\n转置后的 DataFrame:") print(df_transposed) ``` ### 行列操作 **添加和删除列**： ```python # 添加新列 df['D'] = [1000, 2000, 3000, 4000] # 删除列 df = df.drop('B', axis=1) # 删除 B 列 ``` **添加和删除行**： ```python # 添加新行 new_row = pd.Series({'A': 5, 'C': 500, 'D': 5000}, name='行5') df = df.append(new_row) # 删除行 df = df.drop('行3') # 删除第三行 ``` ## DataFrame 的属性与方法 ### 基本属性 ```python # 查看 DataFrame 的基本信息 print("形状:", df.shape) # 数据维度 print("列名:", df.columns) # 列名称 print("索引:", df.index) # 行索引 print("数据类型:\n", df.dtypes) # 每列的数据类型 ``` ### 常用方法 ```python # 数据预览 print(df.head()) # 前5行数据 print(df.tail()) # 后5行数据 print(df.info()) # 数据信息概览 print(df.describe()) # 数值列的统计信息 ``` ## 实际应用场景 ### 大规模数据处理 在处理包含 100 万个元素的大型数据集时，DataFrame 展现出强大的性能[ref_1]： ```python import pandas as pd import time # 生成大规模测试数据 data = [ {"id": i, "name": f"name_{i}", "age": i % 100} for i in range(1, 1000001) ] # 性能测试 start_time = time.time() df = pd.DataFrame(data) end_time = time.time() print(f"转换100万条数据用时: {end_time - start_time:.2f}秒") print(f"数据形状: {df.shape}") ``` ### 数据清洗和校验 ```python # 数据校验示例 def validate_data(df): # 检查缺失值 missing_values = df.isnull().sum() print("缺失值统计:") print(missing_values) # 数据类型检查 print("\n数据类型:") print(df.dtypes) # 数据统计 print("\n数值列统计:") print(df.describe()) return df # 应用数据校验 validated_df = validate_data(df) ``` ## 性能优化策略 ### 分块处理大数据 当处理超大规模数据时，可以采用分块处理策略[ref_1]： ```python # 分块读取和处理大数据 chunksize = 100000 # 每次处理10万行 chunk_list = [] for chunk in pd.read_csv('large_data.csv', chunksize=chunksize): # 对每个数据块进行处理 processed_chunk = chunk[chunk['age'] > 18] # 过滤条件 chunk_list.append(processed_chunk) # 合并所有处理后的数据块 final_df = pd.concat(chunk_list) ``` ### 并行处理优化 对于计算密集型任务，可以使用多进程加速： ```python from multiprocessing import Pool def process_chunk(chunk): """处理单个数据块的函数""" return chunk.groupby('category').sum() # 使用多进程并行处理 with Pool(4) as pool: # 4个进程 results = pool.map(process_chunk, chunks) final_result = pd.concat(results) ``` DataFrame 作为 Pandas 库的核心组件，为数据分析和处理提供了强大而灵活的工具集。无论是小规模的数据探索还是大规模的数据处理，DataFrame 都能提供高效的解决方案，成为数据科学工作中不可或缺的工具。