探秘数据中的“大”宝藏

IDC中国在10月份刚刚发布了《中国大数据技术与服务市场2012-2016年预测与分析》报告，其中的数据显示，中国大数据技术和服务市场未来5年的复合增长率将达51.4%。报告中指出，淘宝、腾讯，以及百度等互联网巨头是率先使用大数据技术的用户，同时电信和银行领域也开始对大数据技术和服务产生浓厚的兴趣。

Gartner也预测，到2015年，大数据将为全球带来440万个IT岗位，其中96万个IT岗位会在亚太地区。每个大数据相关的岗位将催生三个非IT的就业机会，从而使亚太地区的就业机会总计达到40万个。种种数据表明，大数据不仅会为人们的日常生活带来影响，对整个IT生态链也是一个巨大的机遇。

生活中的大数据

对于普通的用户来说，虽然不必关心大数据的概念究竟是什么，但一些案例却可以直入生活。就拿刚刚过去的11月11日，天猫商城所创造的191亿元销售额的传奇来说，商家已经懂得了如何利用用户以往的购买记录去推送有针对性的商品。还有沃尔玛创造的“尿布+啤酒”的营销传奇至今还在被人们津津乐道。尿布、啤酒这看似两种针对客户群完全不同的产品，却在沃尔玛的销售记录里创造了令人惊奇的搭配效果。这个故事讲的是，如果太太让先生去楼下买尿布时，先生一般都会按照自己的需求再顺带捎上两听啤酒，因而啤酒和尿布被一起购买的机会最多。这个案例是由沃尔玛商场的智能化信息分析系统挖掘出来的秘密，这个系统让沃尔玛成为了“最了解消费者”的零售商，而这个故事也成为了大数据影响人们日常生活的一个经典案例。

作为都灵大学肿瘤学系的私营且非嬴利机构，该校的癌症研究所一直致力于了解癌症基本机理，为病人提供最佳诊断和治疗服务。目前，研究人员努力让他们大量的研究数据变得更具有意义。他们最新采用了来自Kairos3D 公司生产的名为GenomeCruzer的产品。GenomeCruzer由Gilgamesh大数据3D可视化引擎驱动，提供一个整合有数据模式和关系、且能够让整个数据集被看到和开发的环境。癌症研究所的Enzo Medico博士说：“这个神奇的工具提升了我们对庞大数据集的利用率，并获得了前所未有的数据分析速度。该工具的这一优势已经被确认。”这种最新的交互式3D大数据可视化可以推进癌症研究进程，缩短癌症治疗过程。

上述的两个例子已经足以让我们意识到大数据带来的益处。不仅是在零售、医疗行业，PMC公司企业存储事业部市场营销副总裁Derek Dicker表示：“在众多垂直行业中，数据量都在快速增长。例如石油、天然气、气候建模和预报、生命科学等行业。”以气候行业为例，政府机构在研究气象模式时需要创建并分析大数据集，从而更加准确地预报气候变化的强度、方向，以及持续时间，这将影响数百万人的日常生活。为了实现上述的案例，一个大数据分析平台必不可少，为大数据而生的新兴技术也开始层出不穷。

阿里云的大数据经验

伴随着大数据概念的火热，以一只大象为代表的Hadoop迅速席卷了IT人士的视野。这种分布式的计算模式几乎成为了公认的大数据处理模式，随之而来的，是IT巨头纷纷加入Hadoop阵营。虽然开源是个大趋势，但ESG中国区总经理王丛也认为用户想要真的去利用Hadoop部署自己的项目，首先需要的就是雇佣大量的人才去学习Hadoop，人才成本比较高。同时我们也可以看到，国内也出现了一些拥有自主知识产权的大数据处理平台。阿里云是其中的佼佼者。

阿里云作为阿里巴巴旗下的一员，相比淘宝、支付宝等公司低调许多，但当它所自主创建的分布式计算系统进入人们眼帘时，引起了业内的巨大反响。阿里云所涉及的业务包含了弹性计算、大规模存储、大规模数据处理、搜索、地图、邮箱等等服务。在阿里云平台发展的过程中，研发过程也曾受阻，期间也曾遭到质疑，但不可否认的是，阿里云目前已经拥有了庞大的用户群，并且在打造“以数据为中心的开放云计算服务平台”的道路上越走越顺。

阿里云计算有限公司研究员薛贵荣在接受记者采访时表示，目前接入阿里云的注册用户达到170多万，平台租户已经超过了5000家，直接或者间接享受阿里云平台服务的终端用户则可达到上亿的用户。而阿里云最为看重的就是“数据”。结合当前的大数据热潮，阿里云的目的就是提供强大的计算能力，帮助用户去处理新时代的石油——数据。

薛贵荣介绍，经过三年的发展，阿里云打造成了完全自主研发的大规模分布式计算系统——飞天。该系统除了MapReduce之外，还支持最广泛的多种编程模型。而且，阿里云的技术人员在这个同一平台之上实现了数据存储、弹性计算、搜索等多项功能。而这种功能，除了阿里云，世界上也只有Google能够做到。而阿里云的战略，我们也可以解读为Amazon+Google并有所超越，用Google模式的技术去做Amazon模式的运营。

结合当前的Hadoop热潮，或许有读者会感到困惑，费了半天劲自己研发了一个大数据平台，为何不直接使用Hadoop呢?对此问题，阿里云有自己的看法。阿里云总裁王坚曾经说：“Hadoop在离线大数据处理上很有价值，但它无法解决我们公司公共云计算服务的问题。因为我们已经上线的云服务已远远超出Hadoop的能力，这和公司的定位有关。现在，飞天已经很好地支持了阿里云的各项业务，其中包括大数据处理，在这方面，飞天实际已经超越了Hadoop。”

薛贵荣也表示，如果没有一个专业性较强的Hadoop团队去维护，Hadoop的能力上升会受到限制。不管如何，在经历了质疑、阻碍之后，飞天成功了。而之后，飞天将会在阿里云技术团队的维护下，继续扩充自身的计算能力，提供更加广泛的大数据处理服务。

谈到当前的大数据问题，薛贵荣总结了以下四个经验与读者进行分享：

第一，就是云计算平台的建设。对于大数据而言，后端的处理能力是基础，这也是阿里云最近三年一直致力在做的事情。以搜索业务为例，要想把全世界的万亿级别的网页全部索引一遍，单单依靠一台机器去处理是完全不可能实现的。因此，对于大数据的处理平台来说，如何将几千、几万台的机器做成一个集群是最为重要的事情。这种大规模的分布式计算系统是飞天系统的核心。

薛贵荣介绍，飞天从第一行代码开始就是自己写的，目前这个分布式计算模式也在积极与ISV进行合作，以便能够为其他行业的用户提供一种“自主”的大数据处理工具。

第二，薛贵荣表示，大数据平台需要有智能化的技术。他以“命题作文”为例，大数据平台不能是根据问题去寻找答案，而是应该智能地向用户提供有价值的信息。以IBM的机器人沃森为例，他能够回答非固定的问题，后端需要的是一个强大的分析系统。目前在人工智能领域的深度学习、自学习以及终生学习等都取得一些突破性的进展，值得去尝试。

第三，是成本问题。薛贵荣表示，大数据不能成为一个烧钱的项目，所以对于用户而言，成本很重要，因而在阿里云的集群中全部采用了价格比较低廉的PC服务器。这也是大数据与云计算相呼应的地方。云计算可以为大数据的处理提供一个弹性、低成本的平台，而大数据又促进了云计算的发展。

总而言之，对于一个强大的大数据分析平台来讲，智能化、弹性、集群的扩展能力都必不可少。但最基础的部分，底层的IT基础设施必须足够强大，才能够应付上层的这么许多应用。因此包括设备提供商、芯片制造商也都开始在大数据领域发力。

(责任编辑：施柏鹏)