民生银行开创大数据之路

日前，中国民生银行大数据项目正式启动。该项目由IBM和巨杉数据库公司(SequoiaDB)携手，通过IBM BigInsights大数据解决方案和企业级NoSQL数据库SequoiaDB为民生银行搭建低成本、高性能、高可靠且水平扩张的数据平台，帮助民生银行通过大数据分析应对金融业的大数据挑战，实现深刻的行业洞察。该平台使用IBM BigInsights与合作伙伴SequoiaDB的完整集成，全面提升民生银行作为金融业领导者在大数据时代的价值。

竞争驱使应用

实际上，民生银行早在2010年就提出了“大数据”。民生银行数据应用中心负责人袁春光回忆，在某技术交流中通过同事介绍，他头一次接触到这个概念。通过查相关资料，袁春光感觉大数据离他们很遥远。

但是，随着时间推移一切发生了改变。2012年，民生银行年度总经上，袁春光发现自己的领导居然提到重要一点，要探索商务智能分析，以及大数据如何推动民生银行业务竞争力。这对袁春光触动很大，毕竟虽然从科技部门角度虽然与大数据有一段距离，但从领导业务层面却已提出了需求。

在高层领导的重视下，民生银行科技部门开始行动，在2013年进行组织机构的调整，目前开始筹建数据中研究中心，同时要树立数据科学家岗位。

其实从前年、去年一直到今年，由业务部门传导到科技部门，银行业压力在不断增强。尤其是来自于业务前端对技术部门的挑战。

当前整个金融银行业大环境面临着来自于本行业乃至跨行业的多方竞争压力。袁春光说：“现在传统银行业在业务方面受到的压力非常大，包括利率市场化、各种其他行业正面竞争及经济下行对银行风险的压力等等业务压力。”

只要有了平台，技术手段可以灵活多样的予以实践;所以需求如何以专业化的方式快速提出，这对有强烈需求的业务部门是最大挑战。毕竟他们没有建立专业(IT)的知识。

实际上为增强竞争能力来应对各种压力，民生银行也采取诸多措施，比如提升分析能力，实现预测及拥有洞察力，包括预测各种各样的行为及风险。继而基于预测采取措施，如何时何种作营销，重点关注哪些的业务，甚至要采取什么法律手段等等，以此减小风险提高竞争力。

这一切都基于银行数据。它包括传统银据和基于互联网的数据。当前传统数据量增势凶猛，民生银行半年的数据增长量就达到30%。

来自于电子商务类型的数据对银行业也同样重要。虽然银行在这方面的业务在弱化，但是这部分数据因包括个人及企业客户参与度的增多而变得越来越重要。

以用户为中心围绕用户金融行为及金融状态的这部分更为全面的数据，如用户生少、地理信息、外延交易行业等的数据，银行对这类数据的分析也越来越重视。

袁春光说：“如何使这些不同类型的数据产生业务价值，大数据技术顺势而来。其实不是大数据给我们的冲击而是为业务给我们冲击，竞争使得传统方法也不适应了。”

的确，金融业面临着前所未有的科技挑战，面对激增的海量数据，如何实现分析洞察，将是行业创新和转型的关键。

民生银行作为国内最早一批部署大数据分析的银行之一，一直肯定数据分析对企业价值的巨大驱动作用。

本次IBM与巨杉数据库的合作，IBM BigInsights针对企业级的强大易用方案以及IBM在金融业大数据分析领域丰富的经验，为企业实现以客户为核心业务发展的提供了支持，也为搭建上层的精细化与智能化应用平台奠定了基础。

互联网基因的融合

作为国内银行业第一批涉足大数据技术的民生银行，在使用现有的NoSQL产品(如mongoDB)的过程中发现其缺乏很多企业级功能，例如缺乏事物和SQL支持、与Hadoop系统的整合不紧密等。

袁春光也发现，大数据是一个开放的平台，大部分是基于互联网公司的开源的产品而生，他在经过多方实践后感觉，银行是不能完全照搬互联网原生技术模式，新技术平台必须与传统行业的企业级特性相融合。经历了近两年应用系统上线，民生银行科技部门也积累了经验，并也成立了专门的大数据工程师团队，积极培养了大批大数据后备力量。

“从技术上来看，大数据技术已在工程师团队里深入人心，但是距离完美的应用大数据技术还有段距离。” 巨杉数据库CTO王涛说。

拥有企业级NoSQL数据库产品巨杉数据库，致力于将已经被广泛应用于互联网领域中的NoSQL推入企业级市场。SequoiaDB通过其技术优势，弥补了现有大部分NoSQL对企业级功能支持不足的缺陷，完全满足了民生银行银行对下一代大数据平台的技术需求。目前SequoiaDB已经在民生银行银行大数据平台得到广泛应用。

SequoiaDB优势的实时查询、联邦查询功能、针对Hadoop强大的技术支持实现了完整的集成。BigInsights与SequoiaDB良好的扩展性和成本优势，强化了企业级功能支持，满足了批量分析与实时查询的需求，使Hadoop功能如虎添翼。使新的集成数据平台解决方案在众多竞争产品中脱颖而出。作为合作伙伴，巨杉数据库将与IBM在更多领域携手，打造更多针对不同行业的大数据解决方案。

王涛说：“我们可以和IBM BigInsights形成非常好的互补，比如BigInsights比较专注分析，它的分析能力非常强，我们这边是NoSQL数据库，同时能够做非常实时的数据查询，在海量数据中进行快速的检索和数据定位，BigInsights从这两边进行一个整合，当形成完美整合时可以提供给民生银行企业一个360度的任意类型的业务，包括实时访问和 批量数据的分析。”

从民生银行案例延伸开来，王涛认为当前行业的挑战主要集中于技术和文化两方面。传统业务如何与大数据对接?DBA或业务分析师在用传统BI分析方式上必须转换大数据分析思路。

DBA其实面临来自于传统技术思维及业务思路两方面的挑战。新的大数据架是以互联网软件为基础，比如Hadoop是由雅虎的人研究出来;这对于值根于Oracle数据库、DB2数据库思维的DBA来说，传统思维有其必然的局限。他们必须跳出原来的思维框架更具想像力发散性。

思维方式的改变其实正是传统数据分析师的难题，技术创新和思维模式的创新并重才能适应当前大数据落地需求。

应用趋向业务洞察

在过去十年间，国内银行的资产规模随着经济的快速发展，已经达到并超出了国际同行业的水平。而未来发展仍将面临很多复杂的挑战：来自中国经济增长模式的根本性转变、新客户群体的兴起、激烈的行业竞争以及来自银行自身价值创造的业绩压力。金融业需要借助对业务的分析与优化，推动自身的转型与创新。

民生银行业务快速增长带来的激增数据对业务洞察能力不断提出新的要求。传统粗放式的客户营销策略已经不足以帮助银行实现更快速业务的增长。民生银行亟需充分整合客户数据，通过精准的营销设计降低客户流失率，提高忠诚度;借助大数据技术对不同渠道来源的提供商、客户的交易行为进行全面分析，实现链式反应;搭建有效的数据模型，为客户提供全方位管家式的非金融服务。

在此次合作中，IBM BigInsights基于开源Apache Hadoop的强大的安全易用性，帮助民生银行完善交易流水查询分析系统, 产业链金融管理系统，以及私人银行产品货架管理系统。

在应对金融业巨大信息量带来的4V挑战中，BigInsights体现了诸多优势。如随着业务的细化和企业规模的增加，民生银行面对的计算量呈数量级增加。IBM BigInsights能够应对大规模的静态原始数据分析，提供多节点的分布式计算，提升数据处理能力。同时，BigInsights大规模并行线性伸缩能力，能够应对海量文本的处理。

民生银行自2012年部署Hadoop计算平台以来，数据分析能力得以提升，但在处理多样性数据时仍受开发周期限制。IBM BigInsights集成了具备强大扩展性的结构化和半结构化处理描述性语言JAQL，可以处理各种类型的数据分析，在不同的应用场景中，实现全面的数据分析。特别是内置的集群内文本语义分析功能，为多种来源的文本提供高性能的处理、标注及分析功能。