### 如何在虚拟机中启动和使用 PySpark 要在虚拟机中成功启动和使用 PySpark，需要完成以下几个方面的配置： #### 1. 安装必要的依赖项 为了使 PySpark 正常工作，必须先安装其所需的依赖项。这些包括 JDK 和 Scala，因为 Spark 是基于 JVM 构建的工具集[^4]。 ```bash sudo apt update sudo apt install default-jdk scala ``` #### 2. 配置 Java 环境变量 确保 JAVA_HOME 已正确定义，并将其添加到系统的 PATH 中。 ```bash export JAVA_HOME=/usr/lib/jvm/default-java export PATH=$JAVA_HOME/bin:$PATH echo 'export JAVA_HOME=/usr/lib/jvm/default-java' >> ~/.bashrc echo 'export PATH=$JAVA_HOME/bin:$PATH' >> ~/.bashrc source ~/.bashrc ``` #### 3. 下载并解压 Apache Spark 从官方网站下载适合的 Spark 版本，并将其放置在一个合适的目录中。 ```bash wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz tar xvf spark-3.2.0-bin-hadoop3.2.tgz sudo mv spark-3.2.0-bin-hadoop3.2 /opt/spark ``` #### 4. 设置 Spark 环境变量 将 SPARK_HOME 添加到环境变量中，并更新 PATH 变量以便能够全局调用 `pyspark` 命令。 ```bash export SPARK_HOME=/opt/spark export PATH=$SPARK_HOME/bin:$PATH echo 'export SPARK_HOME=/opt/spark' >> ~/.bashrc echo 'export PATH=$SPARK_HOME/bin:$PATH' >> ~/.bashrc source ~/.bashrc ``` #### 5. 创建 Conda 虚拟环境 创建一个新的 Conda 虚拟环境来隔离 PySpark 的依赖关系。 ```bash conda create --name myspark python=3.8 conda activate myspark ``` #### 6. 在虚拟环境中安装 PySpark 激活虚拟环境后，在其中安装 PySpark 库。 ```bash pip install pyspark ``` 如果遇到关于未激活 Conda 环境的警告，则可以通过以下方法解决此问题[^5]: ```bash conda init bash exec bash ``` #### 7. 测试 PySpark 是否正常工作 通过简单的测试脚本来验证 PySpark 是否已正确安装并能正常使用。 ```python from pyspark import SparkContext sc = SparkContext.getOrCreate() print(sc.version) ``` 保存以上代码至文件 test_pyspark.py 并运行它: ```bash python test_pyspark.py ``` 如果一切设置无误，应该可以看到当前使用的 Spark 版本号被打印出来。 --- ### 注意事项 当尝试访问共享文件夹时发现无法查看内容的情况，可能是因为用户权限不足所致。此时可考虑将该用户加入 VirtualBox 提供的特殊用户组 `vboxsf` 来解决问题[^1]。 ```bash sudo usermod -a -G vboxsf your_username ``` 之后重新登录以应用更改。 ---