### 使用 PySpark 提交任务到集群执行的具体方法和配置 #### 配置说明 在使用 PySpark 将任务提交至 YARN 或其他分布式计算框架时，需合理配置多个参数以优化性能并确保任务正常运行。以下是常用的关键参数及其作用： - **`--master`**: 指定 Spark 应用程序的运行模式，例如 `yarn`, `local`, 或者 `spark://host:port` 表示连接到特定的 Spark 主节点[^1]。 - **`--deploy-mode`**: 设置部署模式为 `client` 或 `cluster`。`client` 模式下 Driver 运行于客户端机器上；而 `cluster` 模式则使 Driver 在集群中的某个节点上运行[^2]。 - **`--num-executors`**: 定义整个 Spark 作业所需的 Executor 数量。通常推荐设置范围为 50 到 100 左右，具体取决于数据规模与硬件条件[^2]。 - **`--executor-memory`**: 控制每个 Executor 可使用的最大内存大小（单位可以是 g/G, m/M）。此选项影响所有类型的任务，包括 Python 和 Java/Scala 编写的部分。 - **`--executor-cores`**: 设定每台计算机上的核心数分配给单个 executor 实例的数量。增加 core 数可提升并发度但也会消耗更多 CPU 资源[^2]。 - **`--driver-memory`**: 分配给 driver program 的 JVM heap size 大小 (同样支持 g/m 单位)[^2]. - **`--conf spark.executor.pyspark.memory`**: 特别针对 PySpark 场景下的额外内存需求进行调整，它专门用来约束 pyspark task 所能占用的最大份额比例相对于总的 executor memory 来说。 #### 命令实例 下面展示了一个完整的通过命令行方式把 py 文件作为入口脚本上传至 yarn 平台上运行的例子: ```bash spark-submit \ --master yarn \ --deploy-mode cluster \ --num-executors 80 \ --executor-memory 4g \ --executor-cores 5 \ --driver-memory 2g \ /path/to/your_script.py arg1 arg2 ... ``` 如果需要引入外部库或者自定义 python 环境，则可以通过如下操作完成打包传输过程: 1. 创建包含所需依赖项在内的虚拟环境； 2. 对其做压缩处理得到 `.zip` 格式的存档文件； 3. 把生成好的档案连同主逻辑一起交给调度工具比如 DolphinScheduler 加载分发下去[^3]。 最后记得验证各项设定是否满足实际业务场景的要求，并持续监控系统表现以便及时作出必要的改动！ ---