最新消息:深度思考

标签:hadoop

windows环境下安装配置hadoop
hadoop

windows环境下安装配置hadoop

liuxuecheng 1年前 (2018-07-19) 2099浏览 0评论

在本地安装hadoop可以很方便的连接eclipse等工具调试hadoop源码或者是自己写的yarn应用,下面讲一下如何安装。 1.下载文件 (1)下载hadoop,建议2.x版本(这里使用的是hadoop2.5.2)并解压到本地目录。 (2)下载h...

Hadoop机架感知
hadoop

Hadoop机架感知

liuxuecheng 2年前 (2017-07-08) 4613浏览 2评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.数据分块 HDFS作为Hadoop中的一个分布式文件系统,而且是专门为它的 MapReduce设计,所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外,还必须为MapReduc...

spark与hadoop的分布式文件缓存
hadoop

spark与hadoop的分布式文件缓存

liuxuecheng 3年前 (2017-06-14) 2981浏览 0评论

版权申明:转载请注明出处。 文章来源:大数据随笔 1.简介 分布式计算框架中,各种配置文件、jar包、数据文件等都是通过分布式文件缓存进行下发的。这种方式将作业所需的资源文件下发到执行作业的各个节点上,作业执行过程中文件不再改动。 关于h...