浅谈大数据时代的IT建设

说起2013年媒体最关注的科技前沿话题，一定非“大数据”莫属。国庆节前夕，中央政治局集体走进中关村调研学习，百度创始人兼CEO李彦宏给大家讲解的主题便是大数据。李彦宏谈到，现在已经进入大数据时代，大数据既能促进信息消费，又能带动社会管理创新。当然，大多数企业早已认识到大数据对产业的影响，只是面临着大数据落地的难题。在商业应用层面，维克托·迈尔·舍恩伯格在其所着的《大数据时代》一书中通过大量的实例进行阐释；而在技术层面，互联网巨头有着得天独厚的优势。比如这次的讲解人李彦宏所代表的百度，其搜索技术应用于大数据就是顺理成章的事情。

在互联网和IT行业之外的传统行业也在关注大数据，传统企业希望通过大数据技术指导企业战略，了解产业发展、商业模式、市场竞争中成功的关键要素，进而提高企业核心能力。然而，传统企业不具备互联网企业对数据信息的敏感度，它们产生海量的数据却不能有效利用数据，或者说数据产生、收集、存储都可能是数据链条的末端，有关数据的进程便完全停止。所以，传统企业需要在大数据背景下实现转型。在今天，新技术不断地颠覆传统产业，企业深知“慢一拍”会是什么后果——柯达被数码时代抛弃，诺基亚被智能机时代抛弃，苏宁在电商时代匆忙追赶，电信在互联网时代寻求突破各行各业的企业都可能在大数据时代掉队，反过来也有机会得以焕发青春。

大数据时代，所有的企业都将由数据驱动，数据将成为企业和公共组织越来越重要的资产。同时，企业更需要高效的大数据工具，让数据资产产生真正的价值。在这个时候，人们首先会朝着互联网企业看过去。互联网产业是信息产业，是数据产业，它们生产、交换、再次加工以及最终呈现到用户面前的“产品”都是数据。因此，在大数据时代，有学者提出“泛互联网化”的思路，以实践收集数据资产、发挥大数据商业价值。这正是广义上的物联网的概念，数据产生、收集、传输、存储、处理都实现互联网化，各行各业都互联网化。

在这个大背景下，企业实现大数据的步骤变得明朗起来。在企业明确自己的大数据项目计划之后，下一步便是实施满足大数据要求的IT建设。

面向云计算的企业IT建设

大数据离不开云计算的支持，云计算是大数据诞生的前提和必要条件。

目前，已经发展成熟的云计算拥有强大的计算、存储能力，可以作为大数据集中采集和存储数据的基础。云计算和大数据的关系可以理解为：云计算为大数据提供了计算能力、存储空间和访问通道，而大数据则是云计算的终极应用。

大数据时代的第一定律是“样本即全体”。随着数据获取、整理、挖掘的成本伴随着摩尔定律不断降低，借助于IT公司提供的数据分析工具，企业将有可能获得产业链上下游的全部数据，从而将企业的市场决策、供应链管控、内部管理的效率提高到前所未有的程度。在IT系统的建设过程中，企业首先面临的最大困难是在内部解决数据的产生、收集以及存储问题。当然，此时的数据也可能不够大，但面临的问题没有本质区别。很明显，能够建设完整大数据IT系统的企业凤毛麟角，大多数企业（特别是传统企业）也没有这个必要，因为大数据对于它们来说是辅助而非核心业务。企业可以选择将部分业务外包出去，再将生成的数据传输回来，但这时又要面临数据的传输问题。总之，大数据IT建设之前，要考虑哪一部分是本地建设，哪一部分置之云端。

模式一旦确定，平台的选择便成为关键，选择哪一种数据分析工具，哪一种数据库，哪一类云服务等等。不同的行业、不同的企业建设大数据IT系统的方案不尽相同，这里不作展开讨论。不过，对大数据IT系统在软硬件方面的一些发展趋势，企业需要重点关注。因为IT技术的发展日新月异，选择一个具有竞争力和强大生命力的平台，企业才能少走弯路，才能真正从投资中获益。

分布式计算 x86当道

大数据领域，在处理海量数据以及非结构化数据方面，Hadoop的作用无可估量。Hadoop是一个能够让用户轻松架构和使用的分布式计算平台，具备高可靠性、高扩展性、高效性和高容错性等特点。Hadoop的诞生源于x86平台，得益于这种先天优势，IT核心厂商英特尔也提供了性能更高，更加稳定和易用的独立发行版Hadoop运行环境以及相关的解决方案，其发行版Hadoop环境以44.02%的占有率成为企业最关注的Hadoop版本。

在实际应用中，x86平台在安全和性能方面有着不俗的表现。例如在金融领域的应用中，英特尔通过将处理器内置的安全机制与外部丰富安全软硬件相结合，使其x86平台在安全特性上能够达到不输于小型机的整体表现。而在业务连续性上，高端x86平台表现同样抢眼，让核心业务在运转如飞的同时保证其安全稳定。同时，x86已经成为数据库应用负载的主流平台。在企业大数据应用中，x86无疑已经具备了足够的基础和潜力。出于对基础架构一致性、扩展性和兼容性等方面的考虑，x86将成为构建新型数据分析、商业智能应用方面的最佳选择。

高性能数据库向HANA看齐

大数据的4个“V”中包括了数量（Volume）、多样性（Variety）、速度（Velocity），这也是区别于过去数据处理的一大特点。大数据工具应当具备高性能的数据处理能力，SAP推出的数据分析平台HANA无疑是最受关注的一个产品。目前软硬件集成一体化的架构是一种趋势，SAP HANA的内存分析和软硬件集成化架构保障快速高效，使得用户在应对大数据带来的挑战时又多了一个“利器”。

根据IDC调查报告显示，未来接受并部署一体机的企业将超过半数（成本允许情况下），软硬件集成的一体化解决方案也有望成为未来数据中心架构的新标准。而内存取代磁盘作为主要数据存储和处理介质也是未来的一大发展趋势，内存技术对IT系统性能的提升作用是十分显着的，高性能甚至实时的数据分析将成为企业业务创新的一个重要前提。很多公司利用SAP HANA平台，将原本需要几个小时才能做出来的业务数据分析，缩短到仅几秒钟就能通过相关工具完成，比原先的分析速度要快上一万倍——大数据所需的高性能便体现在这里。

数据仓库特殊性尤为重要

对于大多数企业而言，大数据意味着为长年维护且尘封已久的数据仓库配备一道可访问的大门。

数据仓库过去一直是、未来也将仍然是企业级机构所不可或缺的关键性组成部分。这类系统的作用是将企业方方面面产生的数据汇聚起来，然后分门别类加以划分，最终让这些纷繁复杂的信息成为业务分析师深入了解企业运营状况的宝贵资料。一套针对可扩展性而精心设计出的基础设施正是大数据能否真正发挥作用的关键所在。