Sybase数据分析与管理技术之四大法宝

成就企业驾驭大数据浪潮 IDC预计，到2020年，全球以电子形式存储的数据量将达到35ZB，是2009年全球存储量的40倍。另据IDC预测，2012年可能会是充满由大数据引发的合并及收购活动的一年。大数据浪潮正以一种迅猛的速度席卷全球，令企业和机构倍感压力。当企业的数据量不断膨胀，当非结构化数据越来越多，当瞬息万变的市场信息每一秒钟都可能发生变化，你是否已经准备好，应对这汹涌而来的大数据浪潮？ 大数据的挑战 大数据的挑战首先体现在数据量上。在2010年底，根据IDC的统计，全球数据量已经达到了1.2ZB，但与之前分析的2020年全球电子形式存储的35ZB数据量相比，仍然少之又少。如果将这些数据都刻录在DVD上，那么光把这些DVD盘片堆叠起来就可以从地球垒到月球一个来回(单程约24万英里)。 事实上，对于任何企业来说，数据都是其商业皇冠上最为耀眼夺目的那颗宝石。伴随着传统的商业智能系统向纵深应用的拓展，商业决策已经越来越依赖于数据。然而，传统的商业智能系统中用以分析的数据，大都是企业自身信息系统中产生的运营数据，这些数据大都是标准化、结构化的。事实上，这些数据只占到了企业所能获取的数据中很小的一部分不到15%，而85%的数据属于广泛存在于社交网络、物联网、电子商务等之中的非结构化数据。企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合。此外，急剧变化的市场信息也让企业不得不通过使用某些应用进行数据的实时分析，以便实现高效决策。 对于企业的CIO来说，他们同样面临如下挑战：如何实现高效、智能的大数据存储与管理？如何对海量增长的非结构化数据进行有效的管理和应用？如何在复杂的数据环境下实现高效的数据分析？如何在瞬息万变的市场环境下进行实时分析与决策？ 以上挑战也正在成为大数据应用的关键。着眼于大数据的价值与挑战， SAP旗下的Sybase凭借创新的列式数据库、对大数据的智能分析、高效管理以及实时分析等四大法 宝，为全球用户提供创新的产品与应用，帮助企业与机构驾驭大数据的信息浪潮。 法宝一：创新性的列式数据库Sybase IQ 列式数据库是指数据以列相关存储架构进行存储的数据库，主要适合于大批量数据处理和即时查询。与此相对应，行式数据库是指数据以行相关存储架构进行空间分配的数据库，主要适合于小批量的数据处理，且常用于OLTP数据的处理。行式数据库通常重复进行行数据处理，而列式数据库的主要功能是进行数据查询。 相比于传统的“行式存储”的关系型数据库，Sybase IQ使用了独特的列式存储方式，在进行分析查询时，传统的关系型数据库需要缓慢的读取整个表的每一行，这种读取方式通常会阻塞I/O通道、内存和磁盘，而Sybase IQ仅需读取查询所需的列，其垂直分区策略不仅能够支持大量的用户、大规模数据，还可以提交对商业信息的高速访问，其速度可达到传统的关系型数据库的百倍甚至千倍。“随着Sybase IQ不断地在分析应用POC测试中拔得头筹，有时甚至超过其他对手100倍之多”，Gartner 评价道，“Sybase IQ逐渐成为从数据集市到企业数据仓库架构最令人渴望的DBMS（数据库管理系统）。” Sybase IQ 15提升了核心的引擎基础架构能力，包括数据加载和查询性能、改进的安全架构、强大的集群管理和因数据分区而增强的管理等等。自2009年推出以来，Sybase陆续发布了Sybase IQ 15.1、15.2、15.3以至最新的Sybase IQ 15.4版本，每个版本都着力于增加新的核心能力以促进更深入的高级分析。目前，最新版本的Sybase IQ 15.4已将Sybase IQ 的性能、分析、灵活性提升到了更高的级别，进一步推动了其在商业智能方面业已非常强势的增长。 长期以来，Sybase IQ这些技术革新使得Sybase IQ一直以来位于列式分析服务器市场的领导者地位。目前，全球已有2,000多名用户采用了Sybase IQ创新的列式处理方法，为其关键的分析和报表系统提供支持。在过去三年，每年都有大约200个新客户加入Sybase IQ用户阵营。 法宝二：对大数据的智能分析 业内认为，大数据的特点主要集中在三点：多样性(variety)、海量(volume)和速度(velocity)。最新版本的Sybase IQ 能够支持大数据对海量数据、非结构化数据的要求，并有效提高分析性能，帮助企业及时、有效地捕捉商业契机。 为了更大限度地提升分析性能和可扩展性，在15.3版本上，Sybase IQ就采用PlexQ技术的实现全共享MPP架构，扩展后可支持实时访问数千个用户、多个混合工作负载和大规模数据集，将性能、分析、灵活性提高前所未有的高度，从而重新定义企业级业务分析。它同时继续加大对高级分析开发、建模和执行的支持，而且提供了更加强健的数据管理和灵活性。 在处理非结构化数据方面，Sybase IQ 15.3加入了对非结构化数据的搜索功能。举例来说，保险公司对诈欺事件进行分析时，最基本的交易数据是结构化的，而为了更清楚地了解诈欺嫌疑人的信息，还要根据一些关键字进行匹配搜索，包括电子邮件信息、汇款信息等，然后再把所有结构化和非结构化的数据放在一起进行分析。此外，为了满足法规遵从的需要，用户也必须在一个完整的数据库中同时处理结构化和非结构化的数据。 在其最新的15.4版本上，Sybase IQ更是扩大了对数据库内分析功能的支持，包括MapReduce API、预测模型标记语言（PMML）支持、与Hadoop的集成以及基于Sybase IQ PlexQ大规模并行处理（MPP）技术的统计和数据挖掘算法的扩展库。新的API帮助开发人员快速、安全地实施数据库内算法，实现优于现有方法10倍以上的性能加速。 此外，Sybase IQ还具有深度分析功能，可以按照各种变化的条件快速找到用户所需的结果，帮助企业在大数据浪潮中迅速进行智能分析。 法宝三：对大数据的高效管理 面对大数据，除了硬件存储设备的更新，更重要的一点是如何对大数据进行高效管理。在Sybase全新版本的数据库Sybase ASE 15.7中，已经将大数据管理特别是大对象管理，提到了一个非常重要的位置。 一直以来，Sybase ASE以其可靠、卓越的性能和低总拥有成本赢得全球三万多名客户的信赖，支撑了全球90%以上的顶级银行和证券公司数据管理业务。2011年9月，全新版本的企业数据管理解决方案Sybase ASE 15.7正式上市，作为SAP Business Suite商务套件的最佳平台，ASE 15.7不仅为SAP客户提供了一个强大的数据库平台，也可以让现有的Sybase ASE客户方便地采用最新功能和优化特性，而不需要升级数据库。更为重要的是，具有全新先进压缩功能的ASE 15.7还可以节省磁盘空间、提高并行硬件的性能和可扩展性，有效管理非结构化数据。强大的功能足以应对大数据时代对数据处理性能、类型、安全等方面的挑战。 在Sybase ASE 15.7当中，新增的一个重要特性就是对大对象（LOB）的管理增强，包括LOB压缩、行内LOB、复制机制以及LOB的读取与运算方面都进行了特别的改进。LOB中包含了非结构化数据，因此Sybase ASE 15.7新增的这些功能都使得企业和机构在应对大数据时更加轻松。 “关系型数据库管理系统产品是不断变化的”,IDC报告显示，“因此Sybase及其他竞争对手面临着需要不断提高自身技术的挑战，以求能高效、占用最低成本和灵活的数据库作为支持，成功的解决客户的需求”。 据统计，目前使用Sybase ASE 五年以上的企业，每TB硬件的成本由原来的,178降到了,250，Sybase ASE在大数据管理方面平均能为够每家公司节约大概9,000的成本。随着Sybase 不断创新产品与技术，其对大数据的管理性能将进一步提升，并继续为企业提供低本高效的服务。 法宝四：对大数据的实时分析 在大数据浪潮下，新的信息源源不断地从不同的源内部系统、合作伙伴、客户、市场等方向涌来。信息的涌现使得越来越多的企业正在期望从当前正在发生什么中寻求价值。 Sybase在业界率先开创用于构建和管理信息系统的复杂事件处理(CEP)，通过分析不断出现的实时事件流，Sybase复杂事件处理技术可以判断什么是有意义的事件并做出适当的响应；Sybase复杂事件处理技术还能对实时事件获得即时洞察；对市场、事务、客户以及运营的实时数据持续进行分析；对出现的风险或机会做出更迅速的响应以及基于当前环境而不是昨天的信息做出决策。 基于大数据时代企业的实时决策需求，Sybase事件流处理器Sybase ESP 将商业事件流传化为可据行动的信息，通过舍弃那些不相关的信息，联合不同源的信息，在其他事件情境中检查事件以判断什么是重要的信息。由于Sybase ESP 是基于大量的数据、以实时的方式高速进行的，它使得企业对不断变化的环境做出更迅速的响应，捕捉随时出现的风险或机会，通过更完整和及时的信息做出更好的决策。 Sybase的实时智能解决方案，不仅可以给企业带来更快速、更及时的响应时间，还能帮助企业做出最恰当的、经济有效的、有竞争力的、高附加值的决策。凭借在实时分析领域的创新与成就，Sybase被Waters评为“2011年度最佳复杂事件处理方案供应商”，进一步巩固其在大数据分析领域的领导者地位。 结语 大数据浪潮已经席卷全球，并呈现出独到的商业价值。据预计，未来大数据的产业规模将会至少以万亿美元来进行衡量，大数据将有可能给IT行业开拓一个新的黄金时代。 面对这种趋势，很多企业开始重新审视数据战略。对SAP旗下的Sybase来说，大数据更像是一次厚积薄发的机遇。凭借多年来在数据管理与商务智能领域卓越的成就和市场地位，凭借上述四大法宝和众多领先的解决方案，Sybase技术有效地管理海量增长的非结构化数据、实现复杂数据环境下高效的数据分析，帮助企业在大数据时代瞬息万变的市场环境下，实现对数据进行实时分析与决策，成就企业驾驭大数据浪潮。