在Mac系统中使用Jupyter Notebook运行PySpark SQL，需要完成一系列配置步骤以确保Jupyter能够正确调用Spark环境并执行SQL操作。以下是详细的配置流程： ### 安装Apache Spark 首先，从[Apache Spark官网](https://spark.apache.org/downloads.html)下载适用于本地系统的Spark版本。推荐选择与Hadoop兼容的预编译版本。解压后将其放置于一个易于访问的目录，例如`/usr/local/spark`。 为方便后续调用，建议将Spark路径添加到环境变量中。编辑`~/.bash_profile`或`~/.zshrc`文件，加入如下内容： ```bash export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin ``` 保存后执行`source ~/.bash_profile`或`source ~/.zshrc`使更改生效。 ### 安装PySpark 使用pip安装PySpark库，命令如下： ```bash pip install pyspark ``` ### 配置Jupyter Notebook以支持PySpark内核 为了能够在Jupyter Notebook中直接使用PySpark，需创建一个新的内核用于运行Spark任务。 1. 创建新的内核配置文件： ```bash python3 -m ipykernel install --user --name=spark_env ``` 这里`--name`参数指定新内核的名字，可以根据实际需求命名。 2. 编辑新生成的内核配置文件（通常位于`~/.local/share/jupyter/kernels/spark_env/kernel.json`），更新其中的`argv`字段以包含Spark相关参数。示例配置如下： ```json { "argv": [ "/usr/local/opt/python@3.9/bin/python3", "-m", "ipykernel_launcher", "--spark-home=/usr/local/spark", "--f", "{connection_file}" ], "display_name": "Python with Spark", "language": "python" } ``` ### 在Jupyter Notebook中使用PySpark SQL 启动Jupyter Notebook服务，并选择之前创建的新内核。接着可以导入必要的模块并初始化SparkSession来开始使用PySpark SQL功能。 ```python from pyspark.sql import SparkSession # 初始化Spark会话 spark = SparkSession.builder \ .appName("Jupyter_PySpark_SQL") \ .getOrCreate() # 示例：创建DataFrame并执行SQL查询 data = [("James","Smith","USA","CA"),("Michael","Rose","USA","NY")] columns = ["firstname","lastname","country","state"] df = spark.createDataFrame(data, columns) df.createOrReplaceTempView("people") sqlDF = spark.sql("SELECT * FROM people WHERE country='USA'") sqlDF.show() ``` 以上代码展示了如何构建一个简单的Spark应用，在Jupyter Notebook中利用PySpark SQL进行数据处理和分析。