大数据时代下的金融行业应用案例

“在本次Hadoop大数据项目中，华为向农行提供了良好的计算平台，除了RH2288 V2服务器具有比较高的性价比之外，华为还能够提供快速响应客户需求的研发能力、以及业界最快捷的售后服务，解除了农行的后顾之忧，是农行值得信赖的IT供应商。”

客户简介

中国农业银行(Agricultural Bank of China)，简称农行，成立于1951年，是中国四大商业银行之一。中国农业银行在中国境内拥有2.34万家分支机构，服务逾4.2亿客户。2012 年，在美国《财富》杂志全球500强排名中，中国农业银行位列第84位。

业务挑战

商业银行的信息化建设涉及多个方面，从面向客户服务的网上银行、电话银行、移动支付、呼叫中心，到面向企业经营与管理的电子票据、电子报表、业务影像、自动化办公等，信息化已经渗透到银行业务与管理的方方面面，并成为商业银行核心竞争力的一项重要内容。

随着信息化的快速发展，商业银行产生的各类电子数据近年来呈几何级数增长，形成了海量的数据。据不完全统计，目前中国农业银行各应用系统每年产生的结构化数据已经突破100TB，而非结构化数据更是突破1PB(1024TB)大关。

在大数据时代，数据深刻影响着银行的未来发展，谁拥有数据谁就获得了话语权。数据的价值来源于对海量的客户交易数据、客户行为数据等的深层挖掘和分析，以便做到精准定位和营销，进而根据不同的客户和市场需求设计不同的金融产品，提升银行的盈利能力。这种基于大数据的金融业务创新，目前已经成为各商业银行的竞争焦点之一。

对大数据进行挖掘与分析，一是要能够廉价处理海量的数据，例如一次性可处理100GB甚至更高的数据量;二是要能够敏捷处理非结构化的海量数据，例如可以从海量的客户电话投诉记录中挖掘出有价值的营销机会点。

近年来，随着Hadoop大数据方案在互联网行业广泛应用并持续创造价值，中国农业银行开始关注并研究大数据方案在金融领域的应用。2012年7 月，农行正式引入业内广受关注的Hadoop大数据方案，并对相关的软硬件技术及其在银行内的应用可行性进行了充分的研究，明确了大数据方案在农行的应用场景。

“在互联网时代，我们必须要转变经营方式，用互联网的思维来做金融，为客户提供创新的、量身定制的、体验良好的金融服务，这样才能持续保持商业银行的竞争力”，农行的专家这样认为。

农行的大数据方案首先被应用于支撑对历史交易数据进行查询与分析，其采用业界流行的Hadoop分布式计算框架，具备处理海量结构化和非结构化数据的能力。Hadoop框架的一个显著特点是，将以往需要高性能小型机才能完成的计算任务，分解为由多台x86服务器(甚至PC 机)组成的计算集群来完成。在计算平台的选择上，农行的IT技术团队在经过认真的评估与论证后认为，由x86服务器组成的计算集群，在计算性能上可以满足 Hadoop大数据方案的要求，但在经济性方面比小型机更具有优势。

为了验证这种可行性，2012年下半年，农行的IT技术团队与华为的服务器研发团队成立了联合工作组。根据双方达成的合作协议，华为将提供x86服务器组成计算集群，由农行在华为的计算平台上运行Hadoop的相关软件，并进行相关的业务测试。农行与华为均希望通过试点 “x86服务器”的分布式并行计算架构，来共同应对金融大数据业务带来的挑战。

首先，农行希望x86服务器在计算性能上应具备“秒级响应”的能力。目前，农行在中国境内的分支机构超过2.34万，服务的客户超过4.2亿，各营业网点、自助终端设备、网上银行等对数据中心的访问属于高并发访问。对于历史交易数据的查询与分析业务，为确保客户的满意度与银行的工作效率，农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完成响应。

“这就意味着，在1秒钟之内，大数据处理平台要从120TB的5年历史交易数据中，也就是大约650亿条的历史交易记录中，将查询结果反馈给用户”，农行的专家这样跟华为说。

其次，农行希望x86服务器具备良好的经济性。在应用x86服务器之前，农行多采用小型机来承载历史交易数据的查询与分析业务。为满足业务要求，小型机首先需要存放至少5年120TB的历史数据，同时每天新增的交易记录在4000万条以上，需要约100G的存储空间。但小型机相对封闭的硬件架构设计，使得其可扩展性受到很大的限制，导致每次扩容的成本都很高昂。此外，小型机非通用的架构设计，也给农行带来了不菲的维保费用。

“我们之所以选择x86服务器，一方面，是因为近年来x86服务器的技术性能得到了大幅提升;另一方面，采用通用架构的x86服务器，其在采购成本、扩容成本及维护成本方面，相对于小型机的优势也是很明显的”，农行的专家说。

谈到未来的发展趋势，农行的专家表示，开放化、标准化一直是全球IT产业发展的规律之一，因为它可以带来更高的性价比、更出色的扩展性、更优秀的兼容性和更大的投资回报率。在谈到与华为的合作时，该专家表示，他期待农行与华为合作成功，也希望华为的x86服务器能够为金融业的信息化建设注入新的活力。

解决方案

基于农行与华为联合工作组的良好运作，华为在深入分析了农行对大数据处理平台的需求后，向农行提供了基于华为RH2288 V2服务器的分布式并行计算集群进行测试。农行的测试结果表明，华为解决方案完全满足农行对海量数据进行分布式处理的要求。

华为RH2288 V2服务器基于业界通用的x86架构设计，相比农行现有的小型机系统，其CPU、硬盘、内存等配件可以很容易从市场上获取，因而具备良好的可扩展性和经济性。农行评估后认为，相比小型机方案，采用华为RH2288 V2可以节约40%的运维成本，节约总体拥有成本(TCO)20%以上。

同时，分布式的计算集群架构使得服务器节点可以按需配置，系统具备从TB级到PB级的数据处理能力，完全满足农行当前与未来业务的发展需要，充分保护农行的初期和远期投资。

最令农行感到满意的是，华为RH2288 V2服务器支持现场调整与优化，农行可以按照业务需求对服务器的配置进行现场调优，从而使服务器的计算性能在Hadoop大数据环境下发挥到最优。在测试中，农行85GB的原始数据加载(3份冗余)或者5000万定期账户批量处理，华为RH2288 V2服务器计算集群能在10分钟内完成。而对于2亿条交易详单、600并发随机查询的平均响应时间，华为解决方案的测试结果低于40ms，远远超出农行的预期。

基于华为RH2288 V2服务器在测试过程中的优秀表现，及其开放架构带来的良好经济性，2013年4月，中国农业银行宣布，在其正式生产环境的Hadoop大数据处理平台中，将采用200台华为RH2288 V2服务器进行部署。

客户收益

目前，采用开放架构的x86服务器建设银行的IT系统(尤其是开放平台系统)，已经成为金融行业信息化的发展趋势之一。

“在本次Hadoop大数据项目中，华为向农行提供了良好的计算平台，除了RH2288 V2服务器具有比较高的性价比之外，华为还能够提供快速响应客户需求的研发能力、以及业界最快捷的售后服务，解除了农行的后顾之忧，是农行值得信赖的IT 供应商”，农行的一位专家这样评价道。