分类:Python

关于Python和Java的多进程多线程计算方法对比

关于Python和Java的多进程多线程计算方法对比
搞大数据必须要正视的一个问题就是并行计算。就像执行一件任务一样,大伙一起同时干,才有效率,才会很快出成果。正所谓“众人拾柴火焰高”~ 对于并行计算,有很多高大上的概念,我也不全懂。这里就单单罗列一下我对于多进程和多线程计算的理解和总结。 在计算机中,处理一个任务,可以在一个进程中...

fireling 9年前 (2015-07-09) 17495℃ 0评论 54喜欢

numpy的ndarray与pandas的series和dataframe之间互转

numpy的ndarray与pandas的series和dataframe之间互转
在大数据分析中,比较常用的两个数据分析包就是numpy和pandas,而pandas正是基于numpy构建的含有更高级数据结构和工具的数据分析包,在金融领域应用更是广泛。在实际的工程中,经常遇到的问题就是numpy的ndarray数据结构与pandas的series和datafr...

fireling 9年前 (2015-02-13) 40951℃ 0评论 63喜欢

Python安装依赖包的几种方法

Python安装依赖包的几种方法
Python之所以强大,很大一个原因在于它有无数的依赖包。只要安装配置好环境,即可方便调用相关库函数,实现你想要的功能。 总结来说,Python安装依赖包有3种常见方法: 第一种,就是直接使用Python内置的Distutils安装,使用它能够进行Python模块的安装和发布。 ...

fireling 9年前 (2015-02-05) 12586℃ 0评论 17喜欢

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱(转)

Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱(转)
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后,第一个作品课程图谱也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python...

fireling 9年前 (2015-02-05) 9209℃ 0评论 13喜欢

Python基础-引用、浅复制、深复制的对比

Python基础-引用、浅复制、深复制的对比
在Python中,字符串、列表、字典是能够很容易进行相互转换的,这无疑增加了Python数据结构的灵活性。但是作为几大数据结构中的成员,它们又存在一些非常值得我们注意的差别,很典型的情况就是进行引用与复制时,注意不同对象结构下带来结果的不同。 在C/C++中,复制分为深复制和浅复...

fireling 9年前 (2015-01-28) 8051℃ 0评论 6喜欢

Python中字符串编码的问题

Python中字符串编码的问题
字符串在Python内部的表示是unicode编码,在编码转换时通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 比如从文件读入utf-8编码格式的字符串s, s.decode(...

fireling 9年前 (2015-01-28) 6692℃ 0评论 2喜欢