### 配置并加载 PySpark 到 Jupyter Notebook 要在 Jupyter Notebook 中成功配置和加载 PySpark，可以通过两种主要方法实现：一种是利用 `findspark` 和 Python 的标准方式；另一种则是通过 Apache Toree 插件来设置 Spark 内核。 #### 方法一：使用 FindSpark 初始化 PySpark 此方法适用于快速启动 PySpark 并将其集成到现有的 Jupyter Notebook 环境中。以下是具体操作： 1. **安装依赖项** 在 shell 终端运行以下命令以安装所需的包： ```bash pip install pyspark findspark ``` 2. **初始化 PySpark** 在 Jupyter Notebook 单元格中执行如下代码片段，用于指定 Spark 安装路径以及初始化 PySpark 环境： ```python import os import sys # 设置 SPARK_HOME 路径 (替换为实际的 Spark 安装目录) os.environ["SPARK_HOME"] = "/path/to/spark" # 添加 PySpark 到 PYTHONPATH sys.path.append("/path/to/spark/python") # 使用 findspark 来初始化 PySpark import findspark findspark.init() from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("Jupyter_PySpark") \ .getOrCreate() ``` 上述代码会创建一个名为 `Jupyter_PySpark` 的 Spark 应用程序实例[^1]。 3. **验证配置** 可以尝试读取一些测试数据或者打印版本号以确认配置无误： ```python print(spark.version) df = spark.createDataFrame([(1, "a"), (2, "b")], ["id", "value"]) df.show() ``` #### 方法二：借助 Apache Toree 创建专用内核 如果希望更深入地整合 Spark 功能，则可以考虑采用 Apache Toree 方案。这种方法允许直接在 Notebook 中编写 Scala、SQL 或其他受支持的语言脚本而无需额外转换逻辑。 1. **安装 Toree** 下载最新版 Toree 发布文件并通过 conda 或 pip 工具完成部署过程： ```bash pip install toree jupyter toree install --kernel_name=apache_toree_pyspark --spark_home=/path/to/spark --interpreters=Py ``` 2. **启动带有 Toree 支持的新 Kernel** 打开 Jupyter Notebook 后，在新建文档界面应该能看到新增加的一个选项叫做 “Apache Toree - PySpark”。选择它即可进入专门针对 PySpark 设计的工作区[^2]。 3. **基本交互示例** 当切换至该模式之后，可以直接定义变量并与集群通信： ```python sc.parallelize([1, 2, 3]).count() sqlContext.sql("SELECT * FROM table").show() ``` 以上就是关于如何在 Jupyter Notebook 中加载和配置 PySpark 的详细介绍。无论采取哪种策略都能满足日常开发需求，但需注意各自适用场景的不同之处。