网站建设用户画像例子,为什么很多公司没自己的网站,虞城seo代理地址,网站建设做好了怎样链接域名摘要#xff1a;经过数年发展#xff0c;当下大数据领域已充斥着各种各样的分析工具#xff0c;那么如何才能选择自己适合的。本文从R、Scala、Java、Go、Python等10种语言着手#xff0c;带大家一览大数据领域的常用工具。
【编者按】面对成千上万条数据记录#xff0c;…摘要经过数年发展当下大数据领域已充斥着各种各样的分析工具那么如何才能选择自己适合的。本文从R、Scala、Java、Go、Python等10种语言着手带大家一览大数据领域的常用工具。
【编者按】面对成千上万条数据记录你是否在焦虑没有找到一种快捷而又精准的方式进行处理呢本文从编程语言着手悉数大数据领域的哪些事儿。 免费订阅“CSDN大数据”微信公众号实时了解最新的大数据进展
CSDN大数据专注大数据资讯、技术和经验的分享和讨论提供Hadoop、Spark、Imapala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点大数据技术大数据平台大数据实践大数据产业资讯等服务。 以下为原文随着大数据的热潮不断升温几乎各个领域都有洪水倾泻般的信息涌来面对用户成千上万的浏览记录、记录行为数据如果就单纯的Excel来进行数据处理是远远不能满足的。但如果只用一些操作软件来分析而不怎么如何用逻辑数据来分析的话那也只是简单的数据处理。
替代性很高的工作而无法深入规划策略的核心。
当然基本功是最不可忽略的环节想要成为数据科学家对于这几个程序你应该要有一定的认识
R
若要列出所有程序语言你能忘记其他的没关系但最不能忘的就是R。从1997年悄悄地出现最大的优势就是它免费为昂贵的统计软件像是Matlab或SAS的另一种选择。 但是在过去几年来它的身价大翻转变成了资料科学界眼中的宝。不只是木讷的统计学家熟知它包括WallStreet交易员、生物学家以及硅谷开发者他们都相当熟悉R。多元化的公司像是Google、Facebook、美国银行以及NewYorkTimes通通都使用R它的商业效用持续提高。 R的好处在于它简单易上手透过R你可以从复杂的数据集中筛选你要的数据从复杂的模型函数中操作数据建立井然有序的图表来呈现数字这些都只需要几行程序代码就可以了打个比方它就像是好动版本的Excel。 R最棒的资产就是活跃的动态系统R社群持续地增加新的软件包还有以内建丰富的功能集为特点。目前估计已有超过200万人使用R最近的调查显示R在数据科学界里到目前为止最受欢迎的语言占了回复者的61%紧追在后的是39%的Python。 它也吸引了WallStreet的注目。传统而言证券分析师在Excel档从白天看到晚上但现在R在财务建模的使用率逐渐增加特别是可视化工具美国银行的副总裁NiallO’Conno说「R让我们俗气的表格变得突出」。 在数据建模上它正在往逐渐成熟的专业语言迈进虽然R仍受限于当公司需要制造大规模的产品时而有的人说他被其他语言篡夺地位了。 “R更有用的是在画图而不是建模。”顶尖数据分析公司Metamarkets的CEOMichaelDriscoll表示 “你不会在Google的网页排名核心或是Facebook的朋友们推荐算法时看到R的踪影工程师会在R里建立一个原型然后再到Java或Python里写模型语法”。
举一个使用R很有名的例子在2010年时PaulButler用R来建立Facebook的世界地图证明了这个语言有多丰富多强大的可视化数据能力虽然他现在比以前更少使用R了。
“R已经逐渐过时了在庞大的数据集底下它跑的慢又笨重”Butler说。
所以接下来他用什么呢? Python 如果说R是神经质又令人喜爱的Geek那Python就是随和又好相处的女生。 Python结合了R的快速、处理复杂数据采矿的能力以及更务实的语言等各个特质迅速地成为主流Python比起R学起来更加简单也更直观而且它的生态系统近几年来不可思议地快速成长在统计分析上比起R功能更强。 Butler说“过去两年间从R到Python地显著改变就像是一个巨人不断地推动向前进”。 在数据处理范畴内通常在规模与复杂之间要有个取舍而Python以折衷的姿态出现。IPythonNotebook记事本软件和NumPy被用来暂时存取较低负担的工作量然而Python对于中等规模的数据处理是相当好的工具Python拥有丰富的资料族提供大量的工具包和统计特征。 美国银行用Python来建立新产品和在银行的基础建设接口同时也处理财务数据“Python是更广泛又相当有弹性所以大家会对它趋之若鹜。”O’Donnell如是说。 然而虽然它的优点能够弥补R的缺点它仍然不是最高效能的语言偶尔才能处理庞大规模、核心的基础建设。Driscoll是这么认为的。 Julia 今日大多数的数据科学都是透过R、Python、Java、Matlab及SAS为主但仍然存在着鸿沟要去弥补而这个时候新进者Julia看到了这个痛点。 Julia仍太过于神秘而尚未被业界广泛的采用但是当谈到它的潜力足以抢夺R和Python的宝座时数据黑客也难以解释。原因在于Julia是个高阶、不可思议的快速和善于表达的语言比起R要快的许多比起Python又有潜力处理更具规模的数据也很容易上手。 “Julia会变的日渐重要最终在R和Python可以做的事情在Julia也可以”。Butler是这么认为的。 就现在而言若要说Julia发展会倒退的原因大概就是它太年轻了。Julia的数据小区还在初始阶段在它要能够和R或Python竞争前它还需要更多的工具包和软件包。 Driscoll说它就是因为它年轻才会有可能变成主流又有前景。 Java
Driscoll说Java和以Java为基础的架构是由硅谷里最大的几家科技公司的核心所建立的如果你从Twitter、Linkedin或是Facebook里观察你会发现Java对于所有数据工程基础架构而言是非常基础的语言。 Java没有和R和Python一样好的可视化功能它也不是统计建模的最佳工具但是如果你需要建立一个庞大的系统、使用过去的原型那Java通常会是你最基的选择。 Hadoop and Hive 为了迎合大量数据处理的需求以Java为基础的工具群兴起。Hadoop为处理一批批数据处理发展以Java为基础的架构关键相较于其他处理工具Hadoop慢许多但是无比的准确和可被后端数据库分析广泛使用。和Hive搭配的很好Hive是基于查询的架构下运作的相当好。 Scala 又是另一个以Java为基础的语言和Java很像对任何想要进行大规模的机械学习或是建立高阶的算法Scala会是逐渐兴起的工具。它是善于呈现且拥有建立可靠系统的能力。 “Java像是用钢铁建造的Scala则是让你能够把它拿进窑烤然后变成钢的黏土”Driscoll说。 Kafka andStorm 说到当你需要快速的、实时的分析时你会想到什么?Kafka将会是你的最佳伙伴。其实它已经出现五年有了只是因为最近串流处理兴起才变的越来越流行。 Kafka是从Linkedin内诞生的是一个特别快速的查询讯息系统。Kafka的缺点呢?就是它太快了因此在实时操作时它会犯错有时候会漏掉东西。 鱼与熊掌不可兼得「必须要在准确度跟速度之间做一个选择」Driscoll说。所以全部在硅谷的科技大公司都利用两个管道用Kafka或Storm处理实时数据接下来打开Hadoop处理一批批处理数据系统这样听起来有点麻烦又会有些慢但好处是它非常非常精准。 Storm是另一个从Scala写出来的架构在硅谷逐渐大幅增加它在串流处理的受欢迎程度被Twitter并购这并不意外因为Twitter对快速事件处理有极大的兴趣。 Matlab
Matlab可以说是历久不衰即使它标价很高在非常特定的利基市场它使用的相当广泛包括密集的研究机器学习、信号处理、图像辨识等等。 Octave Octave和Matlab很像除了它是免费的之外。然而在学术信号处理的圈子几乎都会提到它。 GO GO是另一个逐渐兴起的新进者从Google开发出来的放宽点说它是从C语言来的并且在建立强大的基础架构上渐渐地成为Java和Python的竞争者。 这么多的软件可以使用但我认为不见得每个都一定要会才行知道你的目标和方向是什么就选定一个最适合的工具使用吧!可以帮助你提升效率又达到精准的结果。 原文链接
十种程序语言帮你读懂大数据的“秘密”
