案例研究:掌握资料处理最佳程式语言,轻鬆驾驭BigData!

2020-07-18 9W访问
案例研究:掌握资料处理最佳程式语言,轻鬆驾驭BigData!
作者介绍资料大爆炸时代来临,发现资料的价值为致胜关键

近年来,随着大数据时代的兴起,各行各业都有庞大的数据资料需要被处理,这时赢的关键在于谁能有效率的发现大数据的价值。面对大数据不再可怕,可怕的是不知道有什幺利器可以使用!在巨量资料分析上面,Python 有着重要的应用!

CERN 的大型强子对撞机是一座位于瑞士日内瓦近郊欧洲核子研究组织的对撞型粒子加速器,研究基本粒子,作为国际高能物理学研究之用。实验过程中产生珍贵而大量的资料 ,为了更有效率处理分析这些资料时需要的 13,000 个变数设定,以及减少维护系统困难度,CERN 决定将原本 C++ 的系统改写成 Python / C++ .得到的结果是许多原本系统无法解决的问题,在新系统中只要一行就可以完成,并且让没有受过资讯训练的物理系学生也能够轻鬆地使用.整个开发的过程从规划到完成,只使用了六个月的时间.

火星计划的无人探测车能够在火星表面自主行动,并且完成研究任务.背后依赖大量的丛集电脑的支援,来进行电脑视觉需要的影像处理与机械学习。这个丛集大量的使用 Python 语言来运作,包括使用 PyCUDA 控制 GPU。

AppNexus 是现今发展最快的网路广告公司之一,短短三年从原本的 20 人发展到 350 人,每月处理 390 亿的广告需求。在 2012 年的纽约 PyData 研讨会中他们分享 Python 是他们在人员、技术以及环境各方面进行快速开发与扩张时不会陷入泥沼的原因。

案例研究:掌握资料处理最佳程式语言,轻鬆驾驭BigData!

选择 Python 进行大资料处理的共通理由:

Keynote -- Rapid Iteration with Python: Scaling AppNexus from PyData on Vimeo.

别埋头苦干了!掌握热门套件是通往成功的唯一途径

谈到海量资料分析,从资料收集,资料整理,挑选出需要的资料,到将资料做视觉化的呈现,每一个步骤资料分析者都必须全力投入并且谨慎的执行;如此浩大的工程,善用 Python 丰富的套件可以大幅降低门槛,如果工程师熟悉 Python 资料处理工具,将会大幅度省下时间与人力成本,迅速帮助企业挖掘出大数据中的无限商机。

来 PyCon 与资料处理大神面对面!

掌握最佳工具,挖掘资料无限宝藏。Python 让不可能变为可能,在资料处理中被大量使用,是资料处理的最佳程式语言。是资料处理首选程式语言之一。

本次 PyCon 将于 5/17~5/18 举行.pandas 的作者也是 Python for Data Analysis 一书的作者 Wes McKinney,PyCuda 作者 Andreas Klöckner、IPython 作者 Fernando Pérez 也都会参加这次的 PyCon,把握与大神面对面的难得机会。

今年议程中新增讨论有关 SciPy 的同步议程,另外特别安排会前的专业教学,请到资料处理明星讲者,也是 R 聚会的主持人 张家齐带领进阶班学员使用 Pandas、matplotlib、scikit-learn、NumPy、scipy、jieba、NLTK、GemSim 等等的 Python 热门资料分析工具,掌握成功处理资料的关键。