### 使用 `write.format('jdbc')` 方法的详细说明 在 PySpark 中，可以通过 `DataFrameWriter` 的 `.format()` 方法指定数据源格式为 `'jdbc'` 来实现向关系型数据库（如 MySQL、PostgreSQL 等）写入数据的功能。以下是该方法的核心配置项及其作用： #### 核心选项解释 1. **`url`**: 数据库连接字符串，用于定义目标数据库的位置和访问方式。 - 示例：`jdbc:mysql://localhost:3306/mydatabase` - 参数可以附加 JDBC 支持的属性，例如 `useSSL=false&allowPublicKeyRetrieval=true`[^3]。 2. **`driver`**: 指定 JDBC 驱动程序类名。 - 对于 MySQL，通常为 `com.mysql.cj.jdbc.Driver` 或旧版本中的 `com.mysql.jdbc.Driver`[^1]。 3. **`dbtable`**: 要操作的目标表名称。 - 可以为现有表或新创建的表。 4. **`user` 和 `password`**: 连接数据库所需的用户名和密码。 5. **`mode`**: 定义写入模式，默认为覆盖 (`overwrite`)。 - 常见模式有： - `append`: 如果表存在，则追加数据； - `overwrite`: 替换整个表的数据； - `errorIfExists`: 表已存在时抛出错误； - `ignore`: 若表不存在则忽略写入请求。 6. **其他可选参数**: - `batchsize`: 设置每次提交到数据库的最大记录数。 - `isolationLevel`: 控制事务隔离级别。 - `truncate`: 是否截断已有数据后再插入。 #### 示例代码 以下是一个完整的示例，展示如何通过 `write.format('jdbc')` 将 DataFrame 写入 MySQL 数据库： ```python from pyspark.sql import SparkSession # 创建 SparkSession 实例 spark = SparkSession.builder \ .appName("JDBC Write Example") \ .getOrCreate() # 构造示例 DataFrame data = [(1, "Alice"), (2, "Bob")] columns = ["id", "name"] df = spark.createDataFrame(data, columns) # JDBC URL 和相关参数 url = 'jdbc:mysql://localhost:3306/test_db?useUnicode=true&characterEncoding=utf-8&useSSL=false' properties = { "user": "root", "password": "your_password", "driver": "com.mysql.cj.jdbc.Driver" } # 写入数据至 MySQL 表 df.write.format('jdbc') \ .option('url', url) \ .option('dbtable', 'users_table') \ .option('driver', properties['driver']) \ .option('user', properties['user']) \ .option('password', properties['password']) \ .mode('append') \ .save() ``` #### 解决常见问题 1. **ClassNotFoundException** - 当驱动未正确加载时会报此错。 - 解决方案：将对应的 JDBC 驱动 JAR 文件放置到 `$SPARK_HOME/jars/` 目录下。 2. **Public Key Retrieval Error** - 出现原因可能是服务器公钥不可用。 - 添加 `allowPublicKeyRetrieval=true` 到 URL 或者作为额外参数传递给 `properties` 字典。 3. **SSL Connection Warning** - 默认情况下可能尝试建立加密连接而失败。 - 关闭 SSL 验证，在 URL 后面加入 `useSSL=false`[^3]。 --- ###