再谈大数据行业里的两大误区

      之前在虎嗅发了一篇文章《大数据行业里的两大误区》，很多朋友评价还不错，受此激励，结合最近目睹、经历的项目，想多写一些。经过笔者总结，发现大数据的误区还真是不少，尤其是国内，很多人以讹传讹，造成了很多基本概念的偏差。接上一篇文章，再来谈谈大数据中的一部分误区，供大家拍砖。误区三：数据量特别大才叫大数据      在 “数据界”存在这样有一波人，他们认为“只有Peta级以上的才叫大数据，甚至到了Zeta以上才叫大数据，目前还没有到真正的大数据时代！”，每次听到这样的话，我就知道这些人受IOE某巨头的4V理论中的“容量”影响太巨大了。对此，我想说的第一句话是“尽信书不如无书，尽信巨头不如去IOE”，去 IOE不只是要从硬件做起，还要从思想上敢于挑战巨头做起，尽管很多IT界的经典理论都是传统巨头提出的，但是随着挑战者的出现，萌发了新的思想和技术后，传统巨头会被慢慢颠覆，这也是我们人类前进向前的一个重要因素。如果我们还停留在迷信巨头的时代，如此刻板教条的去追求一个概念，那么就不会有现在的 Hadoop，不会有现在的Spark，不会有现在的特斯拉，不会有机器学习人工智能，更不会有未来的第N次工业革命。      首先我想强调，大数据技术真的不是一个新鲜词，在之前的文章中我已经说过，大数据的本质还是数据，数据这个行业已经发展了若干年，而数据量的规模永远是超出该时代的想象的，比如十几年前，一张软盘的数据量也就1.44M，当时的数据如果达到1T都让旁人咂舌。那么按数据量的标准，当时如果有人收集了1T数据就已经进入大数据时代了吗？显然不是！所以我想说，数据量的大小并不是衡量大数据的标准，如果按数据量去判断是否大数据的话，那么“大数据”这个词真的是一个伪命题，就如同“老虎比如是老的，小伙必须是小的，巨头必须是脑袋大的，飞人必须是长翅膀的”这种纯粹字面意思去定义的话题一样。      那么再回过来说，大数据的概念是什么？首先，大数据是一个完整的生态体系，从数据的产生、采集、加工、汇总、展现、挖掘、推送等方面形成了一个闭环的价值链，并且通过每个环节的多种技术处理后，为所在业务场景提供有价值的应用和服务。其次，大数据的核心是什么？一方面是开源，一方面是节流，目前大数据技术的核心目标都是通过低成本的技术更好的满足对数据的需求（尤其是处理近年来更多的非结构化数据），并在在满足需求的基础上尽可能多的为企业节省投资。说一千道一万，大数据的核心理念还是满足应用需求，有明确目标的技术叫生产力，没有业务目标的技术叫“浪费生命力”。误区四：为了大数据而大数据      这个误区我认为是目前最严重的。在部分企业中，追求技术一定要最新、最好、最炫，一定要拿到国际先进、世界一流才行。所有的企业，不分行业不分性质不分地域不分年代，一律高喊“赶超BAT，大数据助力**企业达到**目标”，接下来就是先去IOE，然后投资买集群，把之前的各种高性能小型机大型机都不用了，之前买的O记授权全部停了，之前的几十年投资一夜之间作废，又投入了更多的资源去追赶“大数据”。      同学们，这种劳民伤财的事情相信大家每天都会听到或者亲眼看到，很多企业不计成本就是为了博领导一笑，这得是多么大的误区啊。对此我想说：      第一，从技术上来说，比如BAT或者很多互联网企业去追求大数据，是因为业务发展的需要。任何一个互联网企业一出生就是为了流量和点击而活着，这就意味这大量的非结构化数据需要进行快速处理，这时候就决定了互联网企业只能通过一些并发手段去分解底层的数据，然后进行快速加工，并满足其服务用户和市场的需要。互联网企业的业务流程和业务模型就决定了必须得采用大数据技术。反之，很多企业根本用不着这些技术，有些企业简单的一两个Excel文件里面做几个公式就可以满足它的发展，而且数据的周期还是按月处理的，根本不需要运用这些技术。      第二，从投资上来说，互联网企业出生都是平民，根本买不起大型设备，就算一夜暴富后，也没有一个传统的小型机大型机可以更好的满足它们的发展，故只能另辟蹊径创造价值链和标准了，在之前的低投资、轻量级架构上，不断进行小量的线性硬件投资满足业务的发展。反倒是一些传统企业，甚至是巨无霸，其投资计划已经在一年前明确，而且在原来的基础上投资会更有ROI（投资回报率），现在反倒为了追求大数据的口号，牺牲了之前的大量投资，除了“得不偿失”，剩下的只能是满地的节操了。      大数据技术甚至任何一种技术都是为了满足特定的业务目标而生的，在具备了明确的业务目的后，顺势设计符合自身业务架构的技术架构，才是一种科学的健康的发展观。如果您是一位老板、 CEO或者投资人，千万要明白，大数据技术对于企业来说，有时候像水，而企业的业务目标就是那艘船，“水能载舟，亦能覆舟”。      随着生产关系的不断调整，又会出现若干轮生产力的不断进步，大数据之后的技术也会日新月异的进步着，比如现在开始潮流涌现的“机器学习、深度学习”等诸多的人工智能方面的技术，也出现了比如“小数据”、“微数据”等更细方向技术的细分，在技术的洪流到来时，只要保持清晰的以满足业务为导向的头脑，根据自身的业务需要设计自身的技术架构，就不会被各种流派，各种概念淹没。