最新消息:深度思考

windows环境下安装配置hadoop

hadoop liuxuecheng 2107浏览 0评论

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。

1.下载文件

(1)下载hadoop,建议2.x版本(这里使用的是hadoop2.5.2)并解压到本地目录。
(2)下载hadooponwindows-master.zip

2.配置环境变量

(1)键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,值为解压后的hadoop文件目录。
(2)编辑环境变量path,将hadoop的bin目录加入到后面。

3.修改hadoop配置文件

(1)修改${HADOOP_HOME}\etc\hadoop下的core-site.xml文件,内容如下:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>E:/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

(2)修改${HADOOP_HOME}\etc\hadoop下的mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

(3)修改${HADOOP_HOME}\etc\hadoop下的hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/E:/hadoop/data</value>
    </property>
</configuration>

(4)修改${HADOOP_HOME}\etc\hadoop下的yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

(5)修改${HADOOP_HOME}\etc\hadoop下的hadoop-env.cmd,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径。

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\software\jdk\jdk1.8

4.替换文件

将hadooponwindows-master.zip解压,将bin目录下的文件复制替换hadoop目录下bin里面的文件。

5.运行

(1)初始化。在cmd窗口执行hdfs namenode -format。
(2)切换到hadoop的sbin目录下,执行start-all.cmd,启动hadoop。会启动如下四个窗口,分别是namenode,datanode,resource_manager,node_manager。
执行一些简单的hadoop命令,一切正常。
hadoop

转载请注明:大数据随笔 » windows环境下安装配置hadoop

发表我的评论
取消评论

表情

Hi,您需要填写昵称和邮箱!

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址