大数据时代下的变革三部曲：思维变革（一）

不期而遇的一本《大数据时代》将我引进大数据的领域。这个浪里淘沙的时代，我们都站在这个时代改革的前沿，而作为互联网最具爆发力的一种媒介，它给我传递着什么资讯？如果说我们错过了2000年左右的互联网浪潮，错过电商竞争的时代，但我们赶上了云计算和大数据的兴起，这将是一次难得的转型与立足机会。而它的到来，会给我们带来什么转变？

就像在《大数据时代》中的开篇引言：

“一场生活、工作与思维的大变革。大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势待发……”。

商业、公共卫生、思维、时代转型，生存方式，乃至方方面面。在过去的一年中，这三个也犹如星星之火以致燎原之势。在我们炒大数据概念的同时，我们更关心的是：什么事大数据？大数据的核心是什么？、大数据能产生什么样的价值？那就随着我的理解，开始我们的大数据之旅。

大数据时代的思维变革：1、更多。2、更杂。3、更好。

大数据时代下的变革三部曲：商业变革（二） 大数据时代下的变革三部曲：管理变革（三） 1、更多

由传统的随机样本预测，到全体预测的转变。

当数据处理技术已经发生了翻天覆的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本=总体”。

传统“样本”数据是我们基于传统的统计学，利用小样本事件来预测全集发生的概率。而在大数据的思维中，既然是“样本”，那定时存在误差，有误差定会的预测结果产生影响，那就不能称之为准确。随着信息数据采集的便捷性，数据的规模也远远超过我们的想象。采样分析的精确性随着采样随机性的增加而大幅提高，但与样本数量的增加关系却不大，而样本的选择的随机性比样本数量更重要。但这又提出了新的问题，如何有效的选择样本，如何选择样本和全局数据更匹配。在我们遇到各种各样的问题的同时，增加样本空间，看似一个解决问题的办法，但这同样会出现上面的问题。那我们接下来要做什么？大数据是指不再采用随机分析法，而是采用所有数据的方法。其实，这样的处理方法，在具体实现的过程中也会遇到一些问题，但相比于随机抽取“样本”，准确率已不可同日而语。

2、更杂

不再是精确性，而是混杂性。

执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据分析利用的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。

“大数据”通常用概率说话，而不是板着“确凿无疑”的面孔。整个社会要习惯这种思维需要很长的时间，其中也会出现一些问题。但现在，有必要指出的是，当我们视图扩大数据规模的时候，要学会拥抱混乱。这里谈到数据的混杂，必然会牵扯到混杂数据的存储。传统关系型数据库已经无法满足我们的需求，随之NoSql（非关系型数据）应运而生。随着待处理数据量逐渐增多，大家越来越需要一种在集群环境中易于编程且执行效率高的大数据处理技术，NoSql。NoSql不在局限于传统关系型数据库的条条框框，而只是一个key，一个vlaue，最大的特点准许数据的冗余与混杂。这里不再多探讨非关系型数据库的特点。

大数据要求我们有所改变，我们必须能够接受混乱和不确定性。确定性似乎一直是我们生活的支撑，就像我们常说“丁是丁，卯是卯”。但认为每个问题只有一个答案的想法已经站不住脚了，不管我们承认不承认。一旦我们承认了这个事实甚至拥护这个事实的话，我们离真相又近了一步。

3、更好

不是因果关系，而是相关关系。

知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要数据自己“发声”。

其实上述前两个思想的重大转变导致第三个变革，这个变革有望颠覆很多传统观念。而这些传统观念更加基本，往往被认为是社会建立的基础：找到一切事情发生背后的原因。而在更多的时候，寻找数据间的关联并利用这种关联就足够了。这种关联，决定了预测的关键。相关关系的核心是量化两个数据值之间的数理关系。相关关系强调的是指一个数据值增加时，另一个数据只很有可能随着增加。例如谷歌流感趋势：在一个特定的地理位置，越多的人通过谷歌搜索特定的词条，该地区就有更多的人患了流感。相反，相关关系弱就一位置当一个数据值增加时，另一个数据值不会发生变化。例如：我们可以寻找关于个人的鞋码和幸福的相关关系，但会发现几乎扯不上什么关系。

当我们找到一个现象的良好的关联物，相关关系可以帮助我们捕捉现在和预测未来。如果，A和B经常一起发生，我们只需要注意到B发生了，就可以预测A也发生了。当我们不在为有了想法，然后才收集数据去测试想法的可行性的时候。我们已经有了太多的数据和更好的工具，我们要找到之间的相关性，就变得更容易、更快。这也意味着我们必须关注：当数据点以数量级方式增长的时候，我们会观察到许多似是而非的相关关系。而如何获得可利用的相关关系，就是我们再进一步探讨的问题了。建立在相关关系分析法基础上的预测是大数据的核心。

在大数据的背后，我们关注的“是什么”，而不再是“为什么”。我们跳开追本溯源的探究，开始了不在纠结与因果的论断，从颠覆了传统的理念，从关系入手，开启数据大数据的探索。

结论：

大数据，改变人类探索世界的方法。我们需要改变我们的操作方式，使用我们能收集到的所有数据，而不仅仅是使用样本。我们不能再把精确性当做我们探究的重心，我们需要接受混乱和错误的存在。另外，我们应该侧重于分析相关关系，而不再寻求每个预测背后的原因。使我们不再受限于传统的思维模式和特定领域里隐含的固有偏见，大数据才能为我们提供更多更新的深刻洞见。大数据时代将要释放出的巨大价值使得我们选择大数据的理念和方法不再是一种权衡，而是通往未来的必然转变。但是在我们到达目的地之前，我们有必要了解怎样才能到达。在高科技行业里的很多人认为是依靠新的工具，从高速芯片到高效软件等。当然，这可以理解为因为他们自己是工具创造者。这个问题固然重要，但不是我们要考虑的问题。大数据趋势的深层原因，就是海量数据的存储以及越来越多的事物是以什么样的数据形式存在的。

节选自dufman《 Thinking in BigData》