Jupyter Notebook 批量读取数据库表是一个常见的任务，在数据分析、数据处理等场景中经常遇到。下面将详细介绍如何利用Python结合SQLAlchemy和Pandas库在Jupyter Notebook中批量读取数据库表。 ### 步骤一：安装依赖包 首先确保已经安装了必要的 Python 库，如 `pandas` 和 `sqlalchemy`, 如果尚未安装，则可以在 Jupyter 中通过以下命令完成： ```python !pip install pandas sqlalchemy pymysql # 这里以 MySQL 数据库为例，如果你使用其他类型的数据库，请替换相应的驱动程序 ``` ### 步骤二：导入所需模块并建立连接引擎 接着我们需要从已安装好的库当中引入所需的工具，并创建到目标数据库的一个引擎实例用于后续操作: ```python import pandas as pd from sqlalchemy import create_engine # 替换为你的实际信息 db_config = { 'user': 'your_username', 'password': 'your_password', 'host': 'localhost', # 或者 IP 地址 'port': '3306', # 端口号，MySQL 默认端口是 3306 'database': 'your_db_name' } connection_string = f"mysql+pymysql://{db_config['user']}:{db_config['password']}@{db_config['host']}:{db_config['port']}/{db_config['database']}" engine = create_engine(connection_string) ``` ### 步骤三：获取所有表格名称列表 现在我们准备查询元数据来获得该数据库内所有的非系统表名(这一步取决于具体的DBMS): 对于MySQL可以这样做： ```python with engine.connect() as conn: result = conn.execute("SHOW TABLES") tables_list = [row[0] for row in result] print(tables_list) # 查看有哪些表被选出来了 ``` ### 步骤四：循环遍历每个表并将内容加载至DataFrame 最后就是核心部分——逐个地把每一个表的数据提取出来保存成 Pandas 的 DataFrame 对象以便进一步分析或可视化展示啦！ ```python dfs_dict = {} # 创建空字典存放 DataFrames for table in tables_list[:]: # :前加上限制是为了防止误操作全库导出导致内存溢出等问题 # 生产环境中应该谨慎选择要读取哪些表 query = f'SELECT * FROM {table}' try: df = pd.read_sql(query, con=engine) dfs_dict[table] = df print(f'{table} 表成功加载.') except Exception as e: print(f'未能正确加载 {table}: ', str(e)) df_example = list(dfs_dict.values())[0].head() display(df_example) # 展示第一个 DataFrame 示例 ``` 此段代码将会尝试依次对每一张表执行 SELECT 操作然后将其结果转化为 pandas dataframe 格式存储于名为 `dfs_dict` 的 python 字典型变量之中；如果过程中遇到了错误则会打印对应的消息而不影响整个过程继续运行下去.