一张图搞懂美国大数据产业

数据科学早已不是新鲜事物了，不过对数据质量的需求却是这几年才激增起来的。这可不是一阵时尚或旧词新用，而是一场革命。大至总统选举，小至总部设在厨房餐桌的小创业公司的各种决策，已不再是建立于直觉与猜想之上，而是植根于真实可靠的数据。

数据科学发展日新月异，如今各种数据工具已经形成了一个庞大的生态系统。我花了一个多月以尝试给这个生态系统勾画出一个清晰的轮廓，在接下来的文章里会介绍给大家。

数据科学本身功能交叉，许多数据公司与工具难以归类。但总体来说，它们分属数据专家工作流程中的三个主要部分：数据获取、数据处理、数据分析（文首图可见本生态系的概貌）

我花了大量时间与数据专家交流，了解他们的工作流程、难点及解决方案。数据科学工具成千上万，这个生态系统表当然无法将其一一罗列，不过最常见的软件、公司及推动这些工具发展的开源程序都已包含其中。

数据专家不能只生活在R语言或Excel表格里。他们需要工具来获得质量拔尖且可用于预测分析的数据。其实我觉得这正是统计学家和数据专家的区别所 在。在我看来，统计学家使用数据进行回归分析。而数据专家需要切实获取数据、进行回归分析、沟通结果、展示模式，并超越所在机构当时的局限，立足于制高点 带领大家寻求切实可行的突破发展。鉴于他们需要统筹整个数据通道，我希望这个数据生态系统可以罗列出数据专家门常用的重要工具和使用方法，以及工具之间的 交互联系。

现在干货来了！

数据是整个数据生态系统的源头。总的来说，数据源可分为数据库、应用和第三方数据三类。

结 构化数据库早于非结构化数据库出现。结构化数据库每年有约250亿美元的市场，你可以在数据生态系统图里看到众所周知的Oracle，和一些新创公司譬如 MemSQL等。结构化数据库储存有限的数据列，一般由结构化查询语言(SQL)运行，用于数据可靠完善至关重要的领域，比如说财政和运营。

对结构化数据库有一个重要假设，那就是查询数据时必须能得到一致且完善的结果。想一想谁绝对需要这样一种结构化数据库？对了，就是你的银行。它们存储账户信息、个人姓名、借款等等，必须随时分毫不差地知道你账户中的金额。

而另外一种则是非结构化数据库。情理之中，非结构化数据库是由数据专家们开拓的，因为数据专家眼中的数据与账户并不相同。数据专家不太在意查询结果绝对一致，他们更关注数据的灵活性。因此，非结构化数据在许多方面降低了对数据存储和查询的要求。

很多非结构化数据库是谷歌获得成功的直接产物。谷歌尝试把互联网存储在数据库中，其野心和工程之庞大可想而知。MapReduce是一种用于这种数 据库的技术，虽然它一定程度上没有结构化查询语言 (SQL)那么强大，但是用户可以依据需要来调整和扩充它们的数据。MapReduce的数据使用甚至已经超出了谷歌的初始预期。比如现在谷歌可以在所有 网站间查询，并根据网站之间的互相链接来调整搜索结果。这种可量化的灵活查询使谷歌获得了巨大的竞争优势，因此雅虎和其他公司以巨额投资来开发这种技术的 开源版本，名叫Hadoop。

此外，非结构化数据库通常所需的储存空间通常更小。在过去数据存储十分昂贵，因此几年前，一些主要的互联网公司不得不每隔几个月就清空一次数据库。现在这种情况已难以想象了。

从强大的推荐引擎，到世界级的翻译系统，到令人难以置信的存货管理，都建立于这些数据之上。非结构化数据库一般来说没有结构化数据库那么精确，但对 于许多应用（尤其是数据科学界），这个折衷是值得的。举例来说，比如你的非结构化数据库在100个机器上运行，但是其中有一个当机了。这时你仅用99台机 器（而非100台）来决定向用户推荐观看一部特定的电影，也完全可行。这种类型的数据库看重灵活性，量化以及速度，哪怕不能随时保证完全精确。

还有一个更有名的例子。一个软件公司创建了一个基于Hadoop的非结构化数据库软件Cloudera。来看看它有多大的成长空间吧：7年前，我接 到风投的电话，他们预期Cloudera在全球有10到15家公司的市场，去年Cloudera已获得了将近10亿美元的融资。

随着数据专家取代财务和会计，成为最主要的数据消费者，数据库将会越来越走进每一个人的生活 。

十年前，没有人想过能把重要的商业数据存在云端，如见这却早已成为了现实。这也许是商业的IT基础结构的最大转变之处。

我在数据库生态系统中列出了四种主要的商业应用，分别是销售、营销、产品和消费者，每一种功能都有多种SaaS应用可供选择。SalesForce 应该是首先掀起这股趋势的并最先获得成功的。他们把软件开发的目标人群是终端用户（销售团队），而非单个的首席技术官。这对他们的用户十分有用，在此过程 中，大家也能看到公司客户能够信任地把重要公司数据放在云端。

销售数据不再存在于用户自己安装的内部数据库，而是被放在云端，由致力于保证数据可用且稳定的云端公司提供服务。其他公司也纷纷效仿这种做法。如今 基本上每个商业部门都有一个对应的数据应用。Marketo存储营销数据，MailChimp存储电子邮件，Optimizely存储A/B测试数 据，Zendesk存储顾客满意度，诸如此类。

为什么这是相关的呢？如今每个商业部门都有强大的数据库，由数据专家分析并用于预测分析。数据量很大，却零散地分布在多个应用之中。比如说你在 SugarCRM 中查看某个消费者的信息，但是当你想知道这名顾客的服务记录时，需要去ZenDesk中查看。而如果你想要知道他是否支付了最近的账单，则要去查 Xero。所有的数据都被存放在不同的地点，网站和数据库中。

商业数据被转移到了云端，可以存放更多的数据了，但是这些数据被零散地存放在全世界的不同服务器的不同应用里。

第三方数据出现得比结构化和非结构化数据库都早得多。Dun & Bradstreet从1841年就开始卖数据了。随着数据对每个机构都愈发重要，这个领域也将会获得长足的发展。

在数据库生态系统图中，我大体把第三方数据分成四个领域，分别是商业信息数据，社交媒体数据，网页爬虫和公开数据。

商业信息数据开始最早。我上面提到了Dun & Broadstreet，商业数据购买对许多商业机构来说都至关重要。商业数据能回答所有B2B公司至关重要的问题：我们的销售团队该找谁谈？如今，这些 数据更被扩展应用至网上地图和高频交易等领域。新创的数据卖方如Factual，不仅售卖商业数据，更倾向于从这些高盈利的新型领域起步。

社交媒体数据虽然是新兴产物，但发展很快。通过智能PR公司对社交媒体中的文本作情感分析，营销人员能够切实地了解到品牌热度与影响力，并有效评估品牌价值。你可以从Radian6 和DatSift里看到全部细节。

接下来我们来看看网络爬虫，我个人认为这是一个很有发展潜力的领域。如果能够把所有网站都作为数据源，由数据科学团队发展和分析，真不知道还有多少 新型商业和技术会由此而生。如今从事网络爬虫的重要公司包括 import.io和kimono，我认为这个领域将在接下来几年呈现爆炸式的增长。

最后，当然还要提及公众数据。如果没有数据专家团队的支持， 不知道奥巴马总统是否还能够赢得2004年的大选，这可能也是后来奥巴马大力推动 Data.gov 的原因。许多地方政府也紧随其后。亚马逊网络服务 存放了许多惊人的公众数据，囊括从卫星图像到安然公司的邮件等各个方面。这些庞大的数据系列可以帮助扩大新型商业，训练更智能的算法，并解决许多实际问题。这个领域发展快速，甚至出现了 Enigma.io 这种专门帮助企业使用公众数据的公司。

开源数据储存的种类激增，尤其是在非结构化数据的存储方面，Cassandra, redistribute, Riak，Spark, CouchDB 和MongoDB 等都大受欢迎。它们多数专注于公司应用，另外也着重于数据工程的生态系统。通过这个交互式地图 你将可以一睹最受欢迎的开源数据存储及开采工具的概貌。