### 使用 Python 将文本文件数据导入数据库 在处理数据导入任务时，通常需要将文本文件中的内容读取后，解析为结构化数据，并插入到数据库中。Python 提供了多种方式来实现这一目标，具体方法取决于使用的数据库类型（如 MySQL、SQLite 等）和文本文件的格式。 #### 读取文本文件并导入数据库 可以通过 `open()` 函数逐行读取文本文件，并使用数据库连接模块（如 `mysql.connector` 或 `sqlite3`）将数据插入到数据库中。例如，对于 MySQL 数据库，可以使用以下方式： ```python import mysql.connector # 连接到 MySQL 数据库 db_connection = mysql.connector.connect( user="admin", password="password", host="192.168.168.168", database="hosts_info" ) # 打开文本文件并逐行处理 with open('phosts.txt', 'r') as f: for line in f: data = line.strip().split(' ') sql = "INSERT INTO host_tmp (ip, username, password) VALUES (%s, %s, %s)" val = (data[0], data[1], data[2]) cursor = db_connection.cursor() cursor.execute(sql, val) db_connection.commit() cursor.close() # 关闭数据库连接 db_connection.close() ``` 该方式适用于每行数据以空格分隔的情况，将每行数据分割后插入到数据库表中 [^3]。 #### 使用 SQLite 数据库导入文本数据 对于 SQLite 数据库，可以使用内置的 `sqlite3` 模块进行操作。以下代码展示了如何将一个以 `^` 分隔的文本文件导入到 SQLite 数据库中： ```python import sqlite3 # 连接到 SQLite 数据库 conn = sqlite3.connect(r"F:\pythonProject1\food.db") cur = conn.cursor() # 创建数据表 cur.execute("CREATE TABLE IF NOT EXISTS foodgroup(id TEXT PRIMARY KEY, food_name TEXT)") # 读取并处理文本文件 for line in open(r"F:\pythonProject1\FD_GROUP.txt"): fields = line.split("^") fields = [i.strip().strip('~') for i in fields] cur.execute("INSERT INTO foodgroup(id, food_name) VALUES (?, ?)", (fields[0], fields[1])) conn.commit() # 关闭数据库连接 conn.close() ``` 该方法适用于以特定字符分隔的文本文件，通过 `split()` 方法进行字段拆分并插入到数据库表中 [^4]。 #### 处理不同格式的文本文件 对于不同格式的文本文件，如 CSV、TSV 或固定宽度格式，可以使用 `csv` 模块或自定义解析逻辑进行读取。例如，使用 `csv` 模块读取 CSV 文件并插入到数据库中： ```python import csv import sqlite3 # 连接到 SQLite 数据库 conn = sqlite3.connect('example.db') cur = conn.cursor() # 创建表 cur.execute("CREATE TABLE IF NOT EXISTS users(name TEXT, age INTEGER)") # 读取 CSV 文件并插入数据 with open('users.csv', newline='') as csvfile: reader = csv.reader(csvfile, delimiter=',') for row in reader: cur.execute("INSERT INTO users(name, age) VALUES (?, ?)", (row[0], int(row[1]))) conn.commit() # 关闭连接 conn.close() ``` 该方法适用于标准 CSV 文件的导入操作。 #### 数据库连接与事务处理 在导入大量数据时，建议使用事务处理以提高性能。例如，在 SQLite 中可以使用 `BEGIN IMMEDIATE` 来提升写入速度；在 MySQL 中可以使用 `cursor.executemany()` 批量插入数据，减少数据库提交次数。 #### 数据验证与错误处理 在实际应用中，导入数据前应进行数据验证，确保字段数量、格式和类型符合数据库要求。可以通过异常捕获机制处理数据导入过程中可能出现的错误，例如字段缺失、类型不匹配等。 ```python try: # 数据库操作 except mysql.connector.Error as err: print(f"Database error: {err}") finally: if 'db_connection' in locals() and db_connection.is_connected(): db_connection.close() ``` 通过上述方式，可以有效处理数据导入过程中的异常情况，确保程序的健壮性。