在使用 Python 将 CSV 文件导入数据库时，主要涉及以下几个步骤：读取 CSV 文件内容、连接数据库、创建目标表（如果尚未存在），以及将数据写入数据库表中。根据不同的数据库系统（如 MySQL 或 Oracle），具体实现可能略有差异，但整体流程保持一致。 ### 读取 CSV 文件内容 Python 提供了内置的 `csv` 模块来处理 CSV 文件。使用 `csv.reader` 可以逐行读取文件内容，并将其转换为 Python 中的列表形式，便于后续处理。 ```python import csv with open('data.csv', 'r') as f: reader = csv.reader(f) next(reader) # 跳过标题行 data = [row for row in reader] ``` ### 连接数据库 对于 MySQL 数据库，可以使用 `pymysql` 或 `mysql-connector-python` 等库进行连接。以下是一个使用 `pymysql` 的示例： ```python import pymysql db = pymysql.connect( host='localhost', user='root', password='password', database='mydatabase' ) cursor = db.cursor() ``` 对于 Oracle 数据库，通常使用 `cx_Oracle` 库进行连接[^3]。 ### 创建目标表 在导入数据之前，通常需要确保目标表已经存在。如果表不存在，可以通过 Python 动态创建表结构。例如，以下代码片段用于创建一个包含字段 `id`、`name` 和 `age` 的表： ```python create_table_sql = """ CREATE TABLE IF NOT EXISTS mytable ( id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255), age INT ) """ cursor.execute(create_table_sql) ``` ### 插入数据到数据库 使用 `executemany` 方法可以高效地批量插入数据。以下是一个示例： ```python insert_sql = "INSERT INTO mytable (name, age) VALUES (%s, %s)" cursor.executemany(insert_sql, data) db.commit() ``` ### 使用 LOAD DATA INFILE 提升性能 对于 MySQL 数据库，如果数据量较大，可以使用 `LOAD DATA INFILE` 语句直接从 CSV 文件导入数据，避免逐行插入的开销。例如： ```python load_data_sql = """ LOAD DATA LOCAL INFILE 'data.csv' INTO TABLE mytable FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES """ cursor.execute(load_data_sql) db.commit() ``` ### 完整示例 以下是一个完整的示例，展示如何将 CSV 文件导入 MySQL 数据库： ```python import pymysql import csv def import_csv_to_mysql(csv_file_path, db_name, table_name): # 连接数据库 db = pymysql.connect( host='localhost', user='root', password='password', database=db_name ) cursor = db.cursor() # 创建表 create_table_sql = f""" CREATE TABLE IF NOT EXISTS {table_name} ( id INT PRIMARY KEY AUTO_INCREMENT, name VARCHAR(255), age INT ) """ cursor.execute(create_table_sql) # 读取 CSV 文件 with open(csv_file_path, 'r') as f: reader = csv.reader(f) next(reader) # 跳过标题行 data = [(row[0], row[1]) for row in reader] # 插入数据 insert_sql = "INSERT INTO mytable (name, age) VALUES (%s, %s)" cursor.executemany(insert_sql, data) db.commit() # 关闭连接 cursor.close() db.close() # 调用函数 import_csv_to_mysql('data.csv', 'mydatabase', 'mytable') ``` ### 注意事项 - **字段类型匹配**：确保 CSV 文件中的字段类型与数据库表的字段类型一致，否则可能导致插入失败。 - **编码问题**：CSV 文件的编码格式（如 UTF-8）应与数据库和表的字符集设置一致，以避免乱码问题。 - **性能优化**：对于大数据量的导入操作，建议使用 `LOAD DATA INFILE`（MySQL）或类似机制（如 Oracle 的 SQL*Loader）提升导入效率。 通过上述方法，可以高效地将 CSV 文件导入数据库，并确保数据的完整性和一致性。