windows环境下安装配置hadoop

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。

1.下载文件

(1)下载hadoop,建议2.x版本(这里使用的是hadoop2.5.2)并解压到本地目录。
(2)下载hadooponwindows-master.zip

2.配置环境变量

(1)键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME,值为解压后的hadoop文件目录。
(2)编辑环境变量path,将hadoop的bin目录加入到后面。

3.修改hadoop配置文件

(1)修改${HADOOP_HOME}\etc\hadoop下的core-site.xml文件,内容如下:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/hadoop/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>E:/hadoop/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

(2)修改${HADOOP_HOME}\etc\hadoop下的mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

(3)修改${HADOOP_HOME}\etc\hadoop下的hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/E:/hadoop/data</value>
    </property>
</configuration>

(4)修改${HADOOP_HOME}\etc\hadoop下的yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

(5)修改${HADOOP_HOME}\etc\hadoop下的hadoop-env.cmd,将JAVA_HOME用 @rem注释掉,编辑为JAVA_HOME的路径。

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:\software\jdk\jdk1.8

4.替换文件

将hadooponwindows-master.zip解压,将bin目录下的文件复制替换hadoop目录下bin里面的文件。

5.运行

(1)初始化。在cmd窗口执行hdfs namenode -format。
(2)切换到hadoop的sbin目录下,执行start-all.cmd,启动hadoop。会启动如下四个窗口,分别是namenode,datanode,resource_manager,node_manager。
执行一些简单的hadoop命令,一切正常。

hadoop

暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇