搞大数据必须要正视的一个问题就是并行计算。就像执行一件任务一样,大伙一起同时干,才有效率,才会很快出成果。正所谓“众人拾柴火焰高”~
对于并行计算,有很多高大上的概念,我也不全懂。这里就单单罗列一下我对于多进程和多线程计算的理解和总结。
在计算机中,处理一个任务,可以在一个进程中...
fireling
10年前 (2015-07-09) 18467℃ 0评论
54喜欢
在大数据分析中,比较常用的两个数据分析包就是numpy和pandas,而pandas正是基于numpy构建的含有更高级数据结构和工具的数据分析包,在金融领域应用更是广泛。在实际的工程中,经常遇到的问题就是numpy的ndarray数据结构与pandas的series和datafr...
fireling
10年前 (2015-02-13) 41921℃ 0评论
63喜欢
Python之所以强大,很大一个原因在于它有无数的依赖包。只要安装配置好环境,即可方便调用相关库函数,实现你想要的功能。
总结来说,Python安装依赖包有3种常见方法:
第一种,就是直接使用Python内置的Distutils安装,使用它能够进行Python模块的安装和发布。
...
fireling
10年前 (2015-02-05) 13288℃ 0评论
17喜欢
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python。离开腾讯创业后,第一个作品课程图谱也是选择了Python系的Flask框架,渐渐的将自己的绝大部分工作交给了Python...
fireling
10年前 (2015-02-05) 9886℃ 0评论
13喜欢
在Python中,字符串、列表、字典是能够很容易进行相互转换的,这无疑增加了Python数据结构的灵活性。但是作为几大数据结构中的成员,它们又存在一些非常值得我们注意的差别,很典型的情况就是进行引用与复制时,注意不同对象结构下带来结果的不同。
在C/C++中,复制分为深复制和浅复...
fireling
10年前 (2015-01-28) 8708℃ 0评论
6喜欢
字符串在Python内部的表示是unicode编码,在编码转换时通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。
比如从文件读入utf-8编码格式的字符串s,
s.decode(...
fireling
10年前 (2015-01-28) 7334℃ 0评论
2喜欢