banner

大数据技术及厂商

作者: 大数据观察来源: 大数据观察时间:2017-09-09 11:55:530

由于本篇文章主要的目的是进行大数据知识普及,因此在大数据技术和平台方面就不进行深入探讨,主要介绍一些典型的大数据技术和行业解决方案,具体的大家可以参考赵刚老师的《大数据技术与应用实践指南》,以及迈克尔.梅内里(MichaelMinelli)《大数据分析决生互连网金融时代》(BIGDATABIGANALYTICS)。以下内容主要来源于以上两本书。

大数据技术必谈的Hadoop和MapReduce.

Hadoop的最早创始人是DougCutting(曾经在雅虎公司工作,现在Cloudera工作)和MikeCafrella.他们当时在从事一个名为Nutch的开源项目,该项目主要致力于创建Web海量检索框架,在研究过程中他们参考了google的MapReduce和 GFS(GoogleFilesSystem)的技术,开发出Hadoop数据处理平台。Hadoop的名称来源于Doug的儿子为一只黄毛绒玩具长毛象取的名字。

Hadoop主要特点是,运行在标准硬件之上的Hadoop可以以传统解决方案1/10的成本从海量的数分析分析复杂问题,可以胜任收搜索系统、登录系统、推荐系统、数据仓库、语音/图像分析等。其是一个开源软件,同传统的技术不Hadoop能在它原有格式里存储任意种类数据,并基于这些数据衍生一系列分析和变化。可以廉价的存储百万兆(Terabyte)甚至千万亿字节(Petabyte)数据。HDFS和MapReduece是其两个关键要素。

HDFS将数据分成若干片段后分布存储在集群中的不同服务器上。每台服务器只存储数据的若干片段,并且数据的每个片段被冗余存储在多个服务器之上。分析工作可以在存储数据的每个服务器上并行计算分析。每台服务同时对自己存储的数据片段进行分析并将结果范围,最后在汇总计算为一个详尽的分析结果,MapReduce就是这种收集和汇总分析结果代理。

主流的大数据厂商分为大数据分析基础设施,大数据操作基础设施,大数据基础云服务,传统结构化数据库,商业智能,可视化领域等,下面将一一介绍。

1)大数据操作基础设施

主要是指企业级的NoSQL数据库和SQLonHadoop产品。主要产品有Caouchbase,Hadapt,Teredata,Marklogic等

2)大数据分析基础设施

主要指Hadoop的发行版本产品,主要厂商有Cloudera,Hortonworks,MapR.其他还包括HP的Vertica,EMC的GreenplumHD,IBM的BigInsights

3)大数据基础云服务(IAAS)

基于大数据基础设施提供云服务的有AmazonWebServiceElasticMapReduce、GoogleBigQuery、Infochimps、MicrosoftWindowsAzure,阿里云等

4)商业智能产品

BI品主要有Oracle的Hyperion、SAPBusinessObjects,MicrosoftBusinessIntelligence、IBMCongnos,SAS,HP的Autonomy、QlikView等这些产品通常具有分析和可视化能力。

5)分析和可视化应用

主要产品有SAS,TeraDataAster,EMCGreenplum,TableauSoftware,Tibco等。

6)垂直应用

主要有PredictivePliciing、BloomReach,Myrrix,Atigeo.其中BloomReach公司面向市场开发大数据应用(BDA),通过机器学习,网络爬虫和搜索技术来挖掘数据,对网站的数据进行分析,然后为网站带来更多的流量,从而给他们的客户带来更多的利润。

7)日志应用

主要产品有Splunk、Loggly、SumoLogic。其中Splunk是一个可运行于各种平台的IT数据、日志分析软件。

8)广告/媒体应用

主要产品有MediaScience、BlucefinLaps、RocketFuelDataXu,RecordedFuture.其中RocketFuel是一家广告优化公司,每天处理15亿次品牌广告展示,广告效果完全基于数据来改善。

9)关系型数据库

关系型数据库产品Oracle、MicrosoftSQLserver、SAPSybase、IBMDB2、MySQL、PostgreSAL,MemSQL等

10)数据云服务(DAAS)

DaaS的服务主要有WindowsAzureMarketplace、Datasift、SpaceCurve、Factual等

更多精彩、大数据最新资讯、行业案例、解决方案,请扫一扫大数据魔镜微信号

 

banner
看过还想看
可能还想看
热点推荐

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.1
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限