Windows 环境下 Hadoop 的安装和配置

admin管理员组

文章数量:1336646

Windows 环境下 Hadoop 的安装和配置

• Windows 环境下 Hadoop 的安装和配置
• • 平台及版本
  • 安装 Java1.8，并配置环境变量
  • 安装 Hadoop2.7.3
  • Hadoop 核心配置文件
  • 启动 Hadoop 服务

Windows 环境下 Hadoop 的安装和配置

平台及版本

• Windows10
• JDK1.8.0_192
• Hadoop2.7.3

安装 Java1.8，并配置环境变量

首先要安装好Java。没装的先搜索安装Java的教程吧。

这里我已经安装好了，需要配置好环境变量，Hadoop的安装会用到。

路径：C:\Program Files\Java\jdk1.8.0_192

环境变量：HAVA_HOME，值：C:\Program Files\Java\jdk1.8.0_192

安装 Hadoop2.7.3

1. 从hadoop-2.7.3下载hadoop-2.7.3.tar.gz，解压后放到C盘根目录下：

2. 原版的Hadoop不支持Windows系统，我们需要修改一些配置方便在Windows上运行，需要从网上搜索下载hadoop对应版本的windows运行包hadooponwindows-master.zip。解压后，复制解压开的bin文件和etc文件到hadoop-2.7.3文件中，并替换原有的bin和etc文件。

hadooponwindows-master.zip下载：
链接：https://pan.baidu/s/1M2i8prhEPFOIROG_EIYhJw
提取码：acif

3. 配置Java环境变量：

   并在Path系统变量中加上：%JAVA_HOME%\bin;

4. 配置Hadoop环境变量：

   并在Path系统变量中加上：%HADOOP_HOME%\bin;

5. 使用编辑器打开C:\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，找到set JAVA_HOME，将等号右边的值改成自己Java jdk的路径（如果路径中有Program Files，则将Program Files改为 PROGRA~1）。

6. 配置好上面所有操作后，win+R 输入cmd 打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示结果，则说明安装成功：

Hadoop 核心配置文件

在hadoop-2.7.3根目录下新建data文件夹和tmp文件夹，再在data文件夹里面新建datanote和namenote文件夹：

在hadoop-2.7.3\etc\hadoop中找到以下几个文件用文本编辑器打开。

1. 打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存：

   <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
   </configuration>
   

2. 打开hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存：

   <configuration>
       <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
       </property>
   </configuration>
   

3. 打开hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存：

   <configuration>
    <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>file:/C:/hadoop-2.7.3/data/namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>file:/C:/hadoop-2.7.3/data/datanode</value>
       </property>
   </configuration>
   

4. 打开hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存：

   <configuration>
       <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
       </property>
       <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
   </configuration>
   

从C:\hadoop-2.7.3\bin下拷贝hadoop.dll到 C:\Windows\System32 ，不然在window平台使用MapReduce测试时报错：

启动 Hadoop 服务

到C:\hadoop-2.7.3\bin下，按下Win+R进入命令行窗口，输入hdfs namenode -format，执行结果如下图所示：

格式化之后，namenode文件夹里会自动生成一个current文件，说明格式化成功：

到C:\hadoop-2.7.3\sbin下，按下Win+R进入命令行窗口，输入start-all，启动Hadoop集群：

出现下面四个窗口表示启动Hadoop集群成功：

在同命令行窗口下输入start-all（或运行start-all.cmd），启动Hadoop服务，等待他启动完成。

完成之后，输入jps，可以查看运行的所有服务：

访问http://localhost:50070，这是Hadoop的管理页面：

访问http://localhost:8088，这是yarn的Web界面：

在同命令行窗口下输入stop-all（或运行stop-all.cmd），关闭Hadoop服务。

本文标签： 环境WindowsHadoop