### 如何在 Windows 上安装和配置 Hadoop、Spark 和 PySpark #### 配置 Hadoop 为了使 Spark 能够正常工作，通常需要先在本地环境中设置好 Hadoop 的运行环境。以下是具体操作： 1. **下载并解压 Hadoop** 访问 Apache Hadoop 官方网站或者阿里云镜像站点[^2]，选择适合的版本（例如 `hadoop-3.3.6`），将其下载至本地并解压缩到指定目录。 2. **修改环境变量** 设置系统环境变量以便于命令行工具能够识别 Hadoop 命令： - 创建一个新的环境变量名为 `HADOOP_HOME` 并指向已解压好的 Hadoop 文件夹位置。 - 更新系统的 `PATH` 变量，在其中追加 `%HADOOP_HOME%\bin;`. 3. **验证安装成功与否** 打开新的 CMD 窗口输入如下指令来确认是否可以正常使用 Hadoop: ```bash hadoop version ``` #### 安装与配置 Spark 接着按照以下步骤完成 Spark 的部署: 1. **获取 Spark 包含 Hadoop 支持版** 从官方资源库中选取预编译且兼容特定 Hadoop 版本的 Spark 发行包 (如 `spark-3.3.0-bin-hadoop3.tgz`) 下载下来之后同样进行解档处理[^1]. 2. **设定 SPARK_HOME 环境参数** 类似之前的操作流程定义另一个全局可用的新变量叫作 `SPARK_HOME`, 指向刚刚安置完毕后的 Spark 主目录；与此同时也要记得把它的子文件夹 `\bin` 加入现有的 PATH 当前路径里去[^4]: ```plaintext set SPARK_HOME=C:\path_to_spark_directory\ set PATH=%SPARK_HOME%\bin;%PATH% ``` 3. **测试 Spark Shell 功能** 输入下列语句进入交互式的 Scala 编程界面从而检验整个过程无误: ```bash spark-shell ``` #### 使用 PySpark 结合上述组件开发应用 最后一步就是让 Python 用户也能轻松调用大数据框架服务啦！ 1. **准备必要的依赖项** 确认已经安装最新稳定发行版 Anaconda 或 Miniconda 来管理虚拟envs 同时简化科学计算类库导入麻烦事半功倍哦~ 2. **启动 PySpark REPL** 直接通过命令提示符键入 pyhton.exe 即可加载默认初始化脚本自动连接远程集群节点执行任务咯！当然也可以手动指定 master URL 参数来自定义行为模式比如 local[*]: ```python from pyspark.sql import SparkSession spark = SparkSession.builder \ .appName("PythonWordCount") \ .getOrCreate() sc = spark.sparkContext text_file = sc.textFile("file:///example.txt") counts = text_file.flatMap(lambda line: line.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a,b:a+b) output = counts.collect() for(word,count)inoutput: print("%s:%i"%(word,count)) spark.stop() ```