2016年02月的内容

大数据与分布式

Hadoop启动Yarn进行资源调度

Hadoop启动Yarn进行资源调度
Yarn负责Hadoop的分布式资源调度,它运行于MapReduce之上,提供了高可用性及高扩展性。在部署Hadoop运行环境也可以启动Yarn来进行资源调度。 下面介绍下,在部署Hadoop伪分布式环境基础上,MapReduce任务如何进行Yarn配置。 配置文件修改 ...

fireling 2年前 (2016-02-03) 1659℃ 0评论 1喜欢

大数据与分布式

Hadoop伪分布式环境配置

Hadoop伪分布式环境配置
Hadoop是一个开源、高可靠、可扩展的分布式计算框架。它主要包含两个框架:一个是分布式存储框架HDFS,一个分布式计算框架MapReduce,学习Hadoop也主要围绕着这两块问题来。 Hadoop的环境部署,不是太简单。它是基于JVM环境搭建的,如果我们需要多台机器协作,还...

fireling 2年前 (2016-02-02) 1927℃ 0评论 0喜欢