纽交所的“大数据”之旅

纽交所作为世界上最大的股票交易所，它面临了一系列的大数据挑战：

处理输入文件数达到4400个；记录多达145+不同类型的交易记录（或事件）；总的交易量是21亿；输出文件总数600000，输出记录总数为51亿。

此外每个ETL人物都涉及加工、转化、浓缩和验证DBK交易证券，要同时满足300位分析师的即时数据分析需求，最重要的是要保障成功率为99.999%。

在这样的大数据挑战下，纽交所需要找到一个合适的数据仓库，来帮助各部门实现与股票相关的各类交易要求。所以纽交所分析决定上马一个大数据系统来解决这些问题。分析过市场上众多与大数据相关的数据仓库产品后，纽交所选择了Netezza。

敲定了实施系统后，接下来就是选择实施伙伴了，Gemini Systems成立于1987年，是全球领先的IT咨询公司。公司致力于为全球客户提供业务分析、基础架构设计、应用开发、系统整合、运营支持和维护等全面技术解决方案。

Gemini Systems与Netezza的合作由来已久，此次的合作也变得顺理成章，因为Gemini十分擅长整合资源，帮助客户实施系统设计、整合和应用开发等项目。

Gemini Systems（香港）有限公司CEO梁本仁（Simon Leung）先生

Gemini Systems（香港）有限公司CEO梁本仁（Simon Leung）先生表示，Netezza与纽交所的合作关系已经持续多年，一些部门，比如交易所的监管体系，市场数据部门，公司负责超过90%以上应用程序的开发。特别是市场的监管，有非常多的应用需要用到公司的产品。

仅仅三个月之后，Gemini 就成功把Netezza系统交付实施。在这三个月里，Gemini迁移了26TB的数据，并且开始将一些应用放在Netezza上实施。客户在使用了这个系统后，对它有很好的反馈，包括：简单性、实施的快速以及和纽交所路线图的匹配。当然，这个系统的实施成功也与纽交所本身密不可分。他们是一家超过200年的公司，在数据处理方面有十分丰富的经验，不同业务线虽然面临巨大的数据挑战，但是在Gemini与IBM Netezza的帮助下，很快解决了处理数据的工作。

具体来说，梁本仁表示，纽交所的不同部门，包括金融、市场、数据，合规性的部门，他们的平台都是在用Netezza，总共有14个Netezza系统在整个纽交所为他们服务，而这些系统其实是在不同的地区，比如在纽约、芝加哥、伦敦都有系统。

纽交所主要是用了Netezza强大的分析功能帮他们解决不断出现的新问题，因为他们要不断推出新的产品到市场上，包括二级市场上的新的产品。

IBM软件集团大中华区Netezza销售总监肖冰

纽交所仅仅是Netezza的众多客户之一，IBM软件集团大中华区Netezza销售总监肖冰表示Netezza作为最早的数据仓库一体机，在进入中国两年后有很强的势头。在大数据时代，其高性能、低成本、易操作、可扩展和快速部署等技术优势成为多个行业的首选。肖冰表示，Netezza特别适合金融、制造、零售等行业……在纽交所的例子中，客户从Oracle平台的迁移也验证了Netezza能够高度符合其对于大数据的需求。

除了Gemini丰富的实施经验，IBM强大的技术实力，神州数码也加入到了Netezza在国内的推广战队，神州数码作为Netezza在国内的合作伙伴，在中国将会发挥渠道的资源优势，为现在的用户带来Netezza的解决方案。神州数码在全国一共有接近40家的DEMO中心，完全是用的IBM产品的DEMO中心接近20家，合作之后我们也把Netezza成功装在了DEMO中心里面，现在第一代已经正式运行完毕。这样会和我们的合作伙伴、客户，他们通过远程或者现场和技术人员交流，可以更直观地感受到Netezza的性能，可以感受到Netezza的运行速度，包括操控性，可能会有更直观的感受。

神州数码系统技术集团STG IBM软件事业部总经理王炜

据神州数码系统技术集团STG IBM软件事业部总经理王炜介绍，2012到2014年，神州数码和IBM将从四个方面来加强合作和投入。第一方面是人员，打造和提升Netezza软件销售团队;第二方面是区域、行业拓展，同合作伙伴一起来打造Netezza的进一步发展空间;第三方面是加大市场投入，让更多人了解和知道Netezza;第四方面是在技术人员和销售人员方面进行配比，根据业务的发展进行更深的投入，最终把Netezza做得更好。

以上三者的强强联合，相信Netezza在中国的生态系统会更具生命力，也会让中国用户更快、更好的接触到Netezza的大数据之能。