FINRA的大数据之旅

美国金融业监管局 (FINRA) 是最大的独立监管机构，负责管理在美国境内经营的所有证券交易所。FINRA 的使命是通过确保证券业的诚信经营来保护美国投资者的利益。FINRA 负责美国各大证券市场的市场监管，包括纽约证券交易所、NYSE Arca、NYSE Amex、纳斯达克股票交易所和国际证券交易所。全部加起来，FINRA 监管着将近 4,500 家经纪公司、约 163,470 个营业网点和大约 634,385 名注册的证券业务代表。

为跨多个交易所确保投资者的安全和交易商的行为合规性，FINRA 在每个交易日结束时都从这些交易所接收规定的数据。这些数据被合并到一个容量已增至 500 TB 的分析数据仓库中。

此分析数据仓库每天抽取超过 200 亿条事务记录，并提供跨几天、几周和几个月的趋势分析，以发现可能预示着欺诈的异常交易行为。

FINRA 选择 Greenplum 是由于它在数据抽取速率和查询响应时间上有出色的表现，并由于这样一个事实：这两项关键性能指标可随着容量的增加而线性扩展，所以体系结构中不存在阻塞点。

FINRA 现在已有将近 1 PB 的数据存储在 Greenplum 上（其中 0.5 PB 是生产数据），而且最近还进一步增加了容量。

然而，这不只是一种技术关系： EMC 在数据科学和大数据分析领域的投资使 Greenplum 成为证券和交易市场上一个可信赖的顾问：

“Greenplum 的性能和可扩展性正在改变我们，让我们能够开发新一代的应用程序，为美国证券交易市场带来新的创新。”NYSE Euronext 首席数据官 Steven Hirsch 如是说。

随着 EMC Greenplum 与像 FINRA 和 NYSE Euronext 这样一些机构携手应对越来越实时化的世界带来的难题，这一关系将进一步得到发展。

难题重重

•负责收集合并来自从事各类证券

交易的多个交易所的数据

•每天在有限的数据加载时间窗口内抽取并处理超过 200 亿项事务

•分析和欺诈检测不仅覆盖日内数据集，还要覆盖数周和数月，并要跨多个交易所执行

•200% 的数据年增长率

•客户对增值分析和报告的要求越来越高，另外还要应对政府机构临时提出的请求

解决之道

•Greenplum 专门构建的 Data Computing Appliance (DCA) 提供业界最好的性价比，同时最大限度地提高灵活性、易用性和易扩展性

•大规模并行处理 (MPP) 体系结构

意味着非预期的查询也能得到高效执行

•Greenplum 的线性可扩展性意味着数据抽取速率和数据容量可以随着业务需求而增长

主要优点

•能够满足数据获取和处理方面的业务目标要求

•能够管理 BAU 报告以及对定制分析和查询的临时请求

•能够在不中断服务的情况下扩展容量