分类:大数据与分布式

Master/Slave分布式计算模式介绍

Master/Slave分布式计算模式介绍
对于计算密集型任务来说,我们可以采用多进程或多线程方式进行操作,也可以采用多台机器进行并行计算,实现效率的大大提升,总得来说,精髓在于对于大数据的“分而治之”。 在分布式系统中,一个比较常用的计算结构就是Master/Slave模式。简单来说,Master/Slave与进程与线...

fireling 3年前 (2016-01-14) 5896℃ 0评论 3喜欢

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?(转)

如何用形象的比喻描述大数据的技术生态?Hadoop、Hive、Spark 之间是什么关系?(转)
大数据本身是个很宽泛的概念,Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆,各有各的用处,互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤,你可以用小刀或者刨子去皮。但是每个工具有自己的特性,虽...

fireling 3年前 (2016-01-14) 1504℃ 0评论 5喜欢

专治不明觉厉——云计算与大数据(转)

专治不明觉厉——云计算与大数据(转)
云计算(Cloud Computing) 云计算这个名词来自于Google,而最早的云计算产品来自于Amazon。有意思的是,Google在2006年正式提出云计算这个名词的时候,Amazon的云计算产品AWS(Amazon Web Service)已经正式运作差不多4年了。因此...

fireling 3年前 (2015-09-11) 1620℃ 0评论 5喜欢