### PySpark中正确添加MySQL驱动路径的方法 要在PySpark环境中成功连接到MySQL数据库并确保`mysql-connector-java-5.1.49.jar`被正确加载，可以通过以下方式实现： #### 1. 设置环境变量 在启动PySpark之前，需通过设置`SPARK_CLASSPATH`或直接传递JAR文件的方式让Spark识别MySQL驱动。以下是具体方法之一，在脚本开头定义如下内容： ```bash export SPARK_CLASSPATH=/usr/local/spark/jars/mysql-connector-java-5.1.49.jar:$SPARK_CLASSPATH ``` 此操作会将MySQL驱动加入到Spark的classpath中[^2]。 #### 2. 启动PySpark时显式指定JAR包 如果不想修改全局环境变量，则可以在启动PySpark时通过`--jars`选项来指定所需的JAR包位置。例如： ```bash pyspark --jars /usr/local/spark/jars/mysql-connector-java-5.1.49.jar ``` 这一步骤可以确保MySQL驱动随PySpark一起加载，并能用于后续的数据源读写操作[^2]。 #### 3. 编写PySpark代码访问MySQL 当驱动已正确定位后，可通过PySpark内置API完成与MySQL之间的交互。下面是一个简单的例子展示如何从MySQL表中提取数据： ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("MySQL to DataFrame using JDBC") \ .config("spark.jars", "/usr/local/spark/jars/mysql-connector-java-5.1.49.jar") \ .getOrCreate() df = spark.read.format("jdbc").options( url="jdbc:mysql://<host>:<port>/<database>?useSSL=false", driver="com.mysql.jdbc.Driver", dbtable="<table_name>", user="<username>", password="<password>" ).load() df.show() ``` 注意替换 `<host>`, `<port>`, `<database>`, `<table_name>`, `<username>` 和 `<password>` 成实际使用的值[^4]。 #### 4. 常见错误处理 对于可能出现的权限不足等问题（如引用中的情况），应确认执行者拥有足够的权限去访问目标资源以及运行必要的外部程序。比如遇到 `java.io.IOException: Cannot run program ... : error=13, 权限不够` 的异常时，可尝试赋予相应文件适当的操作许可或者调整安全策略以允许该进程被执行[^5]。 --- ###