大数据时代，分析3.0是“分析竞争”的终极版么？

那些花了数年时间研究“智能数据”的公司坚信，我们已经经历了两个数据分析的时代一一“前大数据时代”和“后大数据时代”。为了与本文题目保持一致，我们亦可称之为分析1.0和分析2.0时代。分析2.0不是只加入了一些噱头、做了点性能微调。相对于分析1.1，分析2.0的产品已经在数据优先级的筛选和分析技术可能性方面有实质性的全面提升。许多公司已经开始利用海量非结构化、实时数据一一大数据一一就是最好的佐证。

我们当中的一些人可能已察觉到新一轮的变革正在萌发，其影响深远足可称之为分析3.0。简言之，这种新的解决方案具有强大的数据收集能力和全新的分析方法，使之不仅能够优化公司运营，还能被应用到公司的产品中，即把数据智能嵌入到用户购买的产品和服务之中。

我将会在下文中做进一步的阐述。当初，分析1.0时代的大数据应用为商业带来了突破性的改变；如今，一小部分行业领先者正在进行的创新昭示着新一轮大数据时代即将来临。新的思维方式正在涌现，能掌握优势的新方法正在确立，新的参与者开始出现，竞争格局也随之发生变化：新的技术必须被熟练掌握，人才也应配置于最令人兴奋的新岗位上。整个商业世界各个领域都在迅速发生变化，而管理者们不得不应对各种挑战。

管理者将会在未来的几年甚至几个月里亲眼见证这些情况的发生。见微知著者已发现端倪，并在更大范围、更高层面重新思考数据分析的价值。而且，那些能首先觉察到变化风向（也就是最先洞察到3.0时代）的公司，将会在引领行业变革的趋势中占据最佳位置。

我并不想写一部《简明分析史》；但回溯上一次重大变化的背景和经过，仍非常必要且有价值。用数据来辅助决策从来都不是新鲜事，它和决策本身一样悠久。商业分析诞生于20世纪50年代中期，随即出现了捕捉和分析大量信息的决策工具，这类工具能比人类的大脑更快速地识别出数据中的因果关系。

分析1.0–商业智能时代。相较于更早的商业活动，我们所谓的分析1.0已经有了实质性的发展，能够客观分析和深入理解重要的商业现象，并且帮助管理者基于客观事实决策，而不是仅凭直觉。在商业实践中，生产流程、销售、客户交互乃至更多的数据，第一次被存录、整合和分析。

新的计算技术是实现这些的关键因素。最开始，大公司凭借其雄厚资本可以定制数据系统；随后数据系统很快被商业化，可以由外部供应商以更通用的方式提供给更多公司。这就是企业级数据仓库的时代，系统可以捕捉数据，然后利用软件进行商业智能分析，最后可以进行数据查询和结果交付。

分析1.0时代对公司提出了新的要求：从最基本的数据管理能力开始。体量相对较小、流转速度较低时，数据组可以在数据仓库中分别存储并用于分析。但是，在数据仓库作数据准备和排序依然是一个难题。分析师花了大量的时间在准备数据上，只花了相对很少的时间在分析上。

最重要的是，公司只能选择对几个非常关键的问题进行数据分析，因为分析需要数周甚至数月的时间，其过程艰难且缓慢。而汇报系统一一商业智能最重要的部分一一只描述过去所发生过的事情，既无法解释过去，也无法预测未来。

在分析1.0时代，人们会把分析视为竞争优势的来源吗？笼统地回答，是。但没有任何人会使用类似“人才竞争”或“成本竞争”这样的方式来表述“分析竞争”。公司的核心竞争优势应来自于更有效的运营，也就是在关键节点上做出更好的决策，从而提高公司业绩。

分析2.0–大数据时代。分析1.0盛行了半个世纪，直到2 0 05年前后。那时，谷歌，eBay等硅谷的互联网公司和社交网络开始大规模存储和分析新类型信息。虽然当时还没有“大数据”这一词汇，但现实情况快速地改变了数据和分析师在公司内的角色。大数据明显有别于系统内部产生的交易类“小”数据，它是来自公司外部、互联网、传感器、各种公开发布的数据（比如人类基因组计划），还包括来源于音频和视频的数据。

当分析进入2.0时代，人们对于强大的新型分析工具的需求一一以及通过提供工具来获利的机会一一很快就显而易见了。所有公司都忙于发展新能力和争取新客户。第一个吃螃蟹的公司很容易占得先机，获得令人印象深刻的宣传效果，并且会快速地研发新产品。以LinkedIn为例，该公司已经开发出了许多数据服务，包括“你可能认识的人”、“你可能感兴趣的工作”、“你可能喜欢的群组”、“你可能希望关注的公司”、“社交网络更新”，以及“你的技能和专业领域”。它建立了一个强大的基础平台并且聘用了高智商且高效的数据科学家。其高度成功的产品“年度回顾”，只花了一个月时间就开发出来了，该产品是用于总结关系网络里人们工作变动的情况。LinkedIn不是唯一一家专注于速度的公司。另一家大数据创业公司的CEO告诉我，“我们尝试过敏捷开发，但我们还是嫌太慢了”。

许多创新技术已经被开发、收购和熟练掌握。比如，大数据很难在单个服务器上运行并进行快速分析，所以Hadoop平台应运而生，它是用来处理大数据（Hadoop是在众多并行服务器上进行快速批处理的开源软件框架）。新型数据库NoSQL可以处理相关的非结构化数据，受到诸多公司的青睐，这样大量的信息可以在公有或者私有云计算环境里存储和分析。再比如，其他新技术包括基于内存的和基于数据库的快速数据处理；机器学习（半自动模型的研发、测试）则用于从实时动态的数据中迅速生成数据模型；色彩鲜明、立体效果的数据视觉化替代了单调的白纸黑字。

分析2.0要求公司所具备的能力与分析1.0大不相同。新一代的数量分析师被称为数据科学家，他们不仅要具备计算能力还要掌握分析能力。数据科学家已不再满足于被藏在公司内部，他们希望接触客户以开发新产品，并为公司出谋划策，甚至是创造新的商业形态。

分析3.0–富化数据的产品时代。在分析2.0时代，一些敏锐的观察者已经洞见到即将来临的下一个大时代。硅谷的大数据先驱公司开始投资面向客户产品、服务和功能领域的数据分析。它们通过大数据分析吸引更多的访客登录它们的网站，这些办法包括更佳的搜索算法、朋友和同事推荐产品、购买建议以及针对性极高的定向广告等。

大公司的纷纷介入标志着分析3.0时代的来临。现在不仅仅是IT公司或者电子商务公司利用数据分析创造新产品和新服务，任何行业的任何公司都在这样做。无论你的工厂是在制造、运输还是在使用产品，抑或面向客户提供服务，你都拥有这些商业活动所产生的大量数据。任何设备、运输工具和客户都会留下痕迹，你能够分析这些数据集，从而更好地帮助客户和分析市场。你也有能力分析和优化你的运营前线，做出适当的商业决策。

和前两个时代类似，对于那些想在“分析竞争”中占有优势的公司或者为此类公司提供数据和分析工具的供应商，分析3.0也带来了新的机遇和挑战。如何商业化地利用这次变革是亟待面对的课题。首先，让我们看看一些著名公司的分析3.0案例一一不得不提的是，这些公司在过去的数十年间是在线下运营的公司，并没有互联网基因和数字基因。

下一个大事件

总部在德国的博世集团( Bosch Group)，已有127年的历史，在上个世纪几乎没有应用过任何分析方法和数据。现在，公司已启动了一系列跨部门项目，利用数据分析提供智能产品，包括智能物流管理、智能车辆充电设施（用于混合动力汽车和电动汽车）、智能能源管理、智能监控录像分析等等。为了发现和研发这些创新服务，博世组建了一个软件创新团队，专注大数据、分析和物联网三个方面。

拥有170年历史的法国施耐德电气公司( Schneider Electric)，起家于钢铁和军火制造业，现在能源管理是其主营业务，包括能源优化、智能电网管理和智能楼宇。它在硅谷、波士顿和法国收购和成立了多家与软件及数据相关的公司。比如，它的高级配电管理系统( AdvancedDistribution Management System，简称ADMS)就可以帮助公共设施公司优化能源配送。ADMS监控着电网中的所有设备，智能控制断电的时间和位置，并合理派遣维修人员。它使公用事业公司能够搜集能源网络上几百万个节点的数据，监控网络性能，并提供形象的分析工具来帮助工程师了解网络的当前的运转状况。

通用电气(GE)向数据和分析产品的转型最引入瞩目。这家有着超过120年历史的大公司正在增加提供资产优化和运营优化方面的服务=在涡轮发动机、火车机车、喷气飞机的引擎和医疗成像设备中置入传感器，通过分析传感器产生的流数据，GE能够确定这些设备在最高效的状态下运行，智能地预测设备状态，主动干预并控制保养、维修周期，防止故障性宕机。为了组建和培养这些工作所需的工程师，公司在旧金山湾区投资20多亿美金成立了一个新的软件和分析中心。现在，该中心开始向其他行业的公司提供大数据管理与分析技术，并基于大数据概念研发了新的技术产品，其中包括用于创建工业互联网的Predix平台，以及在Predix平台上运行的Predictlvlty，这是可以满足多种行业的24项资产和业务优化的应用。

拥有107年历史的UPS，也许是把分析用于一线业务的最佳例证一一这里的一线业务是指配送路线。这家公司对于大数据这一概念并不陌生，UPS在20世纪80年代就已经开始追踪包裹线路和处理交易。如今UPS平均每天捕获1630万个包裹配送信息，平均每天接受3950万个追踪请求。UPS最新的大数据来源是安装在公司4.6万多辆卡车上的远程通信传感器，这些传感器能够传回车速、方向、刹车和动力性能等方面的数据。收集到的数据流不仅能说明车辆的日常性能，还能帮助公司重新设计物流路线。该项目名为ORION(On-Road Integrated Optimizationand Navigation，物流优化和导航集成系统)，它可能是全世界最大的运营研究项目。大量的在线地图数据和优化算法，最终能帮助UPS实时地调配驾驶员的收货和配送路线。2011年，该系统为UPS减少了8500万英里的物流里程，由此节约了840万加仑的汽油。

以上案例的共性是，“分析竞争”不仅能够解决公司的传统问题，比如改善内部决策，也能为公司创造更有价值的产品和服务一一这才是分析3.O的精髓。

你可以把即将到来的分析3．O时代看作是最终实现的商业预言。斯坦•戴维斯( Stan Davis)和比尔•戴维森( Bill Davidson)在1991年出版的《愿景2020》（ 2020 Vision）中写道，待到2020年，公司的商务将“信息化”( Informationalize)，产品和服务的开发要基于信息。他们认为，公司将能捕捉“释放的信息”，再用这些信息“驱动”产品的创造。那时，他们的理念只引起了信息类公司的注意，比如科特龙公司（Quotron，收集股票数据，1994年被路透社收购）和英国的官方航线指南公司（Official Airline Guide，搜集航班数据）。

但现在，银行业、工业制造业、医疗设备和产品的供应商、零售业一一任何行业、任何公司，只要愿意去探索各种可能性，都能从他们的整合的数据中开发出有价值的产品和服务。

在戴维斯和戴维森出版《愿景2020》的年代，信息只能用“足矣”来形容。而我们现在则生活在被信息淹没的时代，我们甚至都没有时间去消化和吸收这些信息并形成观点。提供信息的公司应成为洞见和观点的供应商，使用分析工具以融通信息，然后告诉我们该怎么做。

大量点击形成的数据流可供电子商务使用，谷歌、LinkedIn、Facebook、亚马逊这些互联网公司已成为先行者，它们不仅提供信息，也帮助用户迅速决策，实现（购买）行为。传统的信息产业公司也开始朝这个方向发展。

公司要用全新的视角看待“分析”的价值和作用，这意味着战略重点的转移。公司需要意识到这将是一系列挑战一一发展新能力、设置新岗位和重新设定业务的优先级。

各种类型数据通常会混在一起。公司需要整合内部、外部、结构化、非结构化的大数据和小数据，利用规定性分析和预测性分析模型给出新见解，并能明确地指导一线工人有效完成工作。为监视油量、油箱位置和油箱容量和驾驶行为等部分关键的指标，施耐德物流公司( Schneider National)把传感器的数据输入物流优化算法。这样做的结果是在改善物流网络的同时，降低了燃油成本和事故率。

新工具组合。在分析1.0时代，数据仓库被视作分析的基础。2.0时代，公司主要依靠Hadoop集群和NoSQL数据库。如果问我今天的技术手段是什么，答案是“综上所有”：数据仓库、数据库和大数据装置，将传统数据查询手段与Hadoop结合的环境（亦称为Hadoop 2.0），还包括垂直和图表数据库等等。无论从数量还是复杂性的角度考虑，IT架构师面对数据管理设备的选择难度极大，而且几乎每个公司最终的选择都是混合的数据环境。有些数据还以旧格式存在，但同时需要新的数据处理流程以满足暂存、求值、搜索和生成应用之间的数据传递和数据分析。

更快的分析方法和技术。 2.0时代的大数据技术已经比1.0时代的数据管理和分析技术快了很多。为了满足这一速度需求，3.0时代的新型“敏捷”分析方法和机器学习技术正在以更快的速度来提供分析结果。和敏捷开发相似，敏捷分析法要求工程师高频率地向项目利益相关人交付部分结果，让最优秀的数据科学家一直在紧迫感中工作。3.0时代面临的挑战是如何让企业在运营及产品发展、决策过程方面充分利用新技术和新方法的优势。

嵌入式分析。为了与日益提高的数据处理和分析速度相匹配，分析3.0的模块通常是直接嵌入到运营系统和决策系统中，这显著地提升了数据的运行速度和分析效果。宝洁公司在全世界50多个地区的分部设置了“经营范围决策室”（整间会议室四面为屏幕墙，可以动态演示视觉化的数据分析结果，从而帮助决策），在5万多个员工电脑上安装了“决策驾驶舱”（一种视觉化的分析软件，由Tibco Spotfire提供。关于决策室和决策驾驶舱的详细情况请参加哈佛商业评论网站2013年4月4日托马斯•达文波特撰写的博客HowP&G Presents Data to Decision-Makers–

一些公司把评分算法和分析规则集成到全自动化的系统当中；另外一些公司则把分析植入以客户为导向的产品和特性当中（以上两种做法都是为了评估业务所需的人力、交付时间、成本、流程、收益等情况以辅助决策，差别在于公司选择是数据导向的数据分析还是产品导向的数据分析一一

数据发掘。为了开发以数据为基础的产品和服务，公司通常需要一个强大的数据发掘平台，还需要具备相应的技能和流程。虽然最初设计公司数据仓库的目的是数据发掘和分析，但不幸的是，很多公司已经把它变成了数据贮藏室一一把数据堆在那里不做任何处理。如前文所述，把数据录入到数据仓库非常耗时耗力。如今，数据发掘环境使得不需要太多准备就能确定数据集的特质，并将其分别输入数据仓库。

跨学科的数据团队。在互联网公司或者大数据创业公司中，数据科学家通常能掌控全局，或者至少有着很大的白主权。但是，在大型和相对传统的公司中，他们必须和其他部门的同事通力协作，以确保大数据和业务所需的“大分析”相匹配。在许多情况下中，这些公司中的“数据科学家”与传统的数量分析师无异，他们不得不花更多的时间进行数据管理工作。公司现在也开始聘用擅长提取信息并将其结构化的数据黑客，并让他们与擅长建模的分析师一起工作。

数据科学家和数据黑客团队都必须与IT部门一同工作，IT负责提供大数据和用于数据分析的基础架构，配置“沙盒”以供数据探索。（沙盒在这里是指IT部门有所有的数据，分别交给数据科学家和数据黑客团队，他们可以分别在这些数据上进行运算分析，互不接收另外一个团队运算对数据产生的影响一一

首席分析官。当分析已经变得如此重要，公司需要更高级别的管理者进行监管。已经有公司设置了“首席分析官”职位来培养和开发员工的分析能力。美国国际集团( American InternationalGroup)、FICO（美国个人消费信用评估公司）、美国机动车管理协会( United States AutomobileAssociation)、匹兹堡大学医疗中心、奥巴马竞选团队、富国银行( Wells Fargo)和美国银行(Bankof America)已经有C级的分析主管。毫无疑问，这个名单还会继续增加。

规定性分析。通常有三种类型的分析：描述性，用于报告过去；预测性，使用模型分析过往的数据来预测未来；规定性，使用数据模型来确定最优行动方式。虽然分析3．O包含以上三种类型的分析，但它强调的是最后一种。规定性分析要求大量的测试和优化工作，然后把分析嵌入关键流程和员工行为中。这一方法能带来很高的运营效益，但同时要求高水平的计划案和高质量的执行力。比如，如果UPS ORION系统提供了错误的路线信息，管理者必须立即着手处理，不能让这种情况持续太久。UPS高管们说，比起算法和系统开发，他们在管理上花费了更多的时间。

用于实际业务的分析。相对于只将分析用于内部决策，分析3.0提供了把分析流程扩展到业务领域的机会。机器学习能创造更多模型，让组织获得更精细、更准确的预测。以IBM为例，之前公司在“需求生成”流程中使用了150个数据模型，用来评估哪些客户更值得销售人员投入时间和精力=在与现代分析公司( Modern Analytics)合作后，IBM启动了“模型工厂”(Model Factory)和“数据流水线”( Data Assembly Line)，IBM现在每年能开发和维护5000个数据模型，却只需4个人来完成。新系统能够在无需人工干预的情况下建构95%的模型，而另外3%只需要分析师做些微调。这些新模型能高度准确地识别出产品、客户和地理位置的差别。在泛亚洲市场进行的测试表明，相比没有数据分析的细分市场，该模型使客户反馈率翻倍。

决策和管理的新方式。如果希望在公司里让分析助力数据经济，你就需要决策和管理方面的新方法。这些方法能够让你的决策更可靠。管理者们需要习惯数据驱动的实验和测试。他们应该主动要求任何重要项目都必须进行小规模但系统的验证实验，并切记实验的目的是为了严格控制高管的“雄心壮志”。假如罗恩•约翰逊( RonJohnson)曾在J.C.Penney的CEO任内进行了小规模的系统试验，而非推行全面变革的话，结果可能并没有这么糟。（罗恩•约翰逊，乔布斯时代的苹果副总裁、零售部主管，负责全球零售店建设和运营，曾创造了苹果产品体验店、天才吧、剧院模式、面对面帮助等产品体验计划。“在只有四款产品的情况下，用‘体验’塞满100平米的零售店”（乔布斯语）一一颠覆了零售业的传统销售模式。2011年11月，约翰逊接任美国传统服装零售业巨头J.C.Penny百货商店的CEO一职。之后他仿照苹果的理念推行全新的品牌定位计划，取消了J.C.Penny长期以来的核心销售优势“折扣券”，称“美国消费者必须像戒掉毒品一样戒掉折扣券”。但结果是公司完全失去了中产、老年等价格敏感型核心客户；约翰逊最终于2013年4月8日被董事会解雇。一一

不得不提醒的是，一些由大数据应用所提示的改变并不一定会发生。大数据是持续动态变化的，以社交媒体数据为基础分析品牌忠诚度就是很好的一例，你会发现各项指标不可避免地动态起落。这种“数据烟雾弹”，可被视作问题的早期预警，但是它们只是指示性的警告，而非证实的结果。管理者们需要制定规范来确定决策和行为的预警标准。

大数据先天就具有不确定的特质。通常大数据分析出的结果与因素之间的关系都是相关性，不是因果关系，除非是经过非常标准的测试证实了因果联系的存在。还有一种情况，结果可能纯属巧合（从统计学的角度，数据量越大纯属巧合的情况越多）。大数据的这一本质可能会让许多高管头疼，究竟是信还是不信。解决的方法是，如果待定决策事关重大，那么决定之前必须进一步调查。

规定性分析会改变管理一线员工的方式。公司能观察到员工的所有行为，比如卡车司机、飞行员、数据仓库员工以及任何穿戴或者携带了传感器员工的行为。如果把智能手机也算在内的话，这意味着所有员工的行为都可以监控，这是前所未有的情况。毫无疑问，员工也能觉察到这样的密切监控，过分详尽的行为报告让员工不自在，正如可以分析顾客购买行为的大数据会让顾客有脊背发凉的感觉。在分析3．O的世界，有时我们需要学会适当地“无视”。

分析3.0是“分析竞争”的终极版么？也许不是；但是我有把握说，当有一天数据经济成为主流时，你回望历史会发现，“现存”就是最关键的时刻。

互联网公司从建立的那天起就把大数据带到了这个世界上。它们不需要把大数据和传统信息及其分析整合在一起，因为它们根本就没有传统信息。它们也不需要把大数据技术和传统IT基础设施合进行整合，因为传统的基础设施根本不存在。在互联网公司里，大数据可以独立存在，大数据分析可以是惟一的分析，大数据架构可能是唯一的IT架构。但是这些公司的大数据分析都已经发展到了3.0时代。

有一点是可以肯定的：不论是经营多年的公司还是创业公司，继续使用旧有模式来支持商业分析，都前景黯淡。大数据已经有了长足的进步，但不要指望它能给你长期的竞争优势。那些想要在新的数据经济中获得成功的公司，必须从根本上重新考虑如何利用数据分析为自己和客户创造价值。分析3.0是变革的方向，也是“分析竞争”的新模式。