在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。
1.下载文件
(1)下载hadoop,建议2.x版本(这里使用的是hadoop2.5.2)并解压到本地目录。
(2)下载hadooponwindows-master.zip
2.配置环境变量
(1)键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,值为解压后的hadoop文件目录。
(2)编辑环境变量path,将hadoop的bin目录加入到后面。
3.修改hadoop配置文件
(1)修改${HADOOP_HOME}\etc\hadoop下的core-site.xml文件,内容如下:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/E:/hadoop/tmp</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>E:/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
(2)修改${HADOOP_HOME}\etc\hadoop下的mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://localhost:9001</value>
</property>
</configuration>
(3)修改${HADOOP_HOME}\etc\hadoop下的hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/E:/hadoop/data</value>
</property>
</configuration>
(4)修改${HADOOP_HOME}\etc\hadoop下的yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
</configuration>
(5)修改${HADOOP_HOME}\etc\hadoop下的hadoop-env.cmd,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径。
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\software\jdk\jdk1.8
4.替换文件
将hadooponwindows-master.zip解压,将bin目录下的文件复制替换hadoop目录下bin里面的文件。
5.运行
(1)初始化。在cmd窗口执行hdfs namenode -format。
(2)切换到hadoop的sbin目录下,执行start-all.cmd,启动hadoop。会启动如下四个窗口,分别是namenode,datanode,resource_manager,node_manager。
执行一些简单的hadoop命令,一切正常。