banner

玩转大数据:需要知晓的12种工具

作者: 大数据观察来源: 大数据观察时间:2016-11-23 17:30:220

        无论是在构建大数据的应用程序,还是仅仅只想从开发的移动应用中得到一点点启发,程序员现在比以往任何时候都需要数据分析工具。这绝对是一个好东西,所以很多公司从程序员的需求和技能出发,构建了一些数据分析工具。

在过去的几年里,Derrick看到了很多初创公司,各类项目以及开发工具等等,它们都旨在为程序员带来先进的数据分析能力。有时候,程序员们会使用简单的脚本开发出强大的显示效果,或者在开发过程中使用一种更简易的方式来实现数据的交付功能,Derrick相信这是一个很有意义的发展趋势。

在云计算和移动应用的世界里,围绕一个简单的应用开创一个新事业已经比以往要容易的多。甚至在大公司,开发者都在为推销应用或者推进应用的货币化而奋斗。不过在应用的开发过程中,开发者可能需要加入一些数据流,这样才能让应用“火”起来。

毋庸置疑,大多数程序员的工作都是围绕着铺天盖地的代码而绝非数据流。所以程序员们可能需要一点点帮助,Derrick为开发者列举了12种工具(按字母排序),不过他表示也可能会有遗漏一些不错的选择,如果细心的读者发现的话,请在文章评论中留言。

1. BitDeli

BitDeli是今年11月份在旧金山成立的一家初创公司。它能衡量出任何使用Python脚本的应用程序的指标,联合创始人兼CEO Ville Tuulos告诉Derrick,脚本可以很简单,也可以很复杂——甚至未来可以延伸到机器学习。不过和“重量级选手”Hadoop相比,BitDeli自认为是一个轻量级的Ruby。

2. Continuuity

Continuuity是前Yahoo首席云架构师Todd Papaioannou和Facebook HBase的工程师Jonathan Gray的心血结晶,Continuuity想让所有的公司都能像Yahoo、Facebook一样运营。该团队创建了一个大数据工具,它可以简化Hadoop以及HBase集群的复杂性,而且包含一系列开发套件,旨在帮助程序员开发大数据应用,该平台采用Hadoop技术,允许开发者在防火墙内外对大数据应用软件进行部署、扩展和管理。公司联合创始人兼首席执行官Todd Papaioannou表示,作为一家初创企业,Continuuity正在试图掀起下一波大数据应用软件的浪潮,公司所提供的工具能够大大提高处于开发状态的软件不同部分与阶段的扩展性。

3. Flurry

Flurry是移动应用统计分析领域里的标杆,正因为在行业内独特的优势,它每年的营收高达一亿美元。Flurry拥有非常全面的功能,不仅仅只是帮助开发者构建移动应用,它还帮助开发者分析所有的数据,进而产生更大的效益。其实数据也支撑了该公司的广告网络,他们通过数据分析可以帮助开发者推送准确的广告到需要的用户面前。不过单纯从移动应用的数据统计功能来看,Flurry绝对是处于领先地位。其功能模块设置合理,分析维度全面,分析流程也易于理解。

4. Google Prediction API

Google Prediction API可能是最酷的工具了!Google Prediction API是一个基于云服务的机器学习工具,它可以帮助开发者分析数据,并为应用程序加入情感分析、反垃圾邮件、追加销售分析、识别可疑活动和诊断等功能。 这套API支持众多编程语言,比如.NET、Go 、Java、PHP、Ruby、Python、JavaScript、Objective-C以及应用脚本语言等。Google的开发者主页提供了相关的培训和开发指南,读者可以访问Prediction API介绍页面进行学习。

5. Infochimps

尽管Infochimps非常努力的想让自己成为一家企业级的IT公司,但是显然还有一定的差距。不过与公司同名的平台的确为开发者们带来了真正的价值。配置和管理大数据环境的工具称之为Wukong——这是一个基于Ruby的命令行界面,开发者可以编写大数据应用调用Data Delivery Service或Hadoop,使用的语法也非常简单,开发者无需学习MapReduce或者Flume。Infochimps的首席战略官Dhruv Bansal介绍:常见的情况是,客户用Infochimps的平台开发程序处理分析数据,只有在需要批量分析海量数据时才会用到Hadoop。基于这种经验,他们的新版本关注的重点是对数据的实时处理功能(而不是Hadoop)。

banner
看过还想看
可能还想看
热点推荐

永洪科技
致力于打造全球领先的数据技术厂商

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.2
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限