fireling的文章

个人邮箱:lining0806@gmail.com
大数据与分布式

Spark与Pandas中DataFrame对比(综述)

Spark与Pandas中DataFrame对比(综述)
搭建Spark运行环境: 可以自搭建Hadoop的standalone版,主要配置在于JDK和Hadooop的环境变量设置。 在此基础上搭建Spark的standalone版,下载“Hadoop Free”版本,主要配置在于Scala和Spark的环境变量设置。 如果使用到之...

9年前 (2016-05-24) 10940℃ 9喜欢

大数据与分布式

Spark与Pandas中DataFrame对比(详细)

Spark与Pandas中DataFrame对比(详细)
Pandas Spark 工作方式 单机single machine tool,没有并行机制parallelism 不支持Hadoop,处理大量数据有瓶颈 分布式并行计算框架,内建并行机制parallelism,所有的数据和操作自动并行分布在各个集群结点上。以处理in...

9年前 (2016-05-24) 29743℃ 99喜欢

大数据与分布式

“Pandas”化你的Spark DataFrames

“Pandas”化你的Spark DataFrames
此文为宁哥翻译文章,原文章请看这里。 关于DataFrame 上一篇博客我讲到了《基于Python的数据科学技术栈的综述》。这一篇让我们关注一个非常重要的概念:DataFrame。 DataFrame非常适合处理结构化数据和半结构化数据,它们基本上是一些行的集合,而每一列都有自...

9年前 (2016-05-24) 13298℃ 10喜欢

数据挖掘与机器学习

文本挖掘系统

文本挖掘系统
文本挖掘系统 Research of Text Mining System 系统说明 集成了文本过滤、去重及邮件实时通知的功能 集成了文本关键词提取的功能 集成了文本分类即打标签的功能 集成了文本推荐即热点评价的功能 支持中英文 系统架构图 关于分词 英文分词,采用nl...

9年前 (2016-05-20) 6995℃ 7喜欢

大数据与分布式

MapReduce并行计算流程介绍

MapReduce并行计算流程介绍
Hadoop采用了MapReduce并行计算框架。MapReduce的实现也采用Master/Slave结构。Master叫做JobTracker,而Slave叫做TaskTracker。用户提交的计算叫做Job,每一个Job会被划分成若干个Tasks。JobTracker负责...

9年前 (2016-02-04) 10036℃ 0评论 8喜欢