从0到1构建数据生态系列之一：蛮荒时代

摘要：蛮荒时代

1 缘起

前面刚好爬取了多个招聘网站的大数据JD信息，做了一份《2016大数据领域职位需求画像报告》，我们知道，当前大数据的需求基本属于遍地开花。

无论是帝都还是魔都，还是广州深圳，亦或者是全国其他各地，都在搞大数据；不管是不到百人的微小公司，还是几百人上千人的中型公司，亦或者是上万的大型公司，都在需求数据岗位。

大公司暂且不论，他们一切都走在前头。那么，对于中小型企业来说，开始尝试以数据的思维去思考问题，开始涉足大数据领域，这就是一个从0到1的过程了。

有(bu)幸(xing)，这近半年来，我亲自见证以及亲身体会到了这个过程(好吧，这就是为何我半年没有文字更新的原因了)，或者至今仍然在完善1这个过程中。

期间，有痛苦有坑、有喜悦有成功、有沉静有反思，这是一件快乐又痛苦，同时最终又注定很有成就感的事。

所以，我打算写一个系列，名字就暂定为《从0到1构建大数据生态系列》吧，当然，目标群体仅仅是中小型企业中，从0到1开始构建数据生态的同行们。

希望，我整理的这些东西，或者说一个技术小故事能够帮助到各位同行朋友们，能够给你们在某些阶段一些有用的建议或者参考。

至于大婶们，有兴趣的就略瞅两眼，没兴趣的就高抬贵脚，从旁绕过。当然，限于个人的知识累积以及能力，必然会存在一些误差或者观点错误，欢迎指正以及交流。

我想尽量以轻松的语句，去呈现这整个事件，去描述我自己的观点(其中会夹着很多我自己对行业，对问题的看法观点)，去讲述我其中遇到的一些故事。

这样也可能会有趣点，降低纯技术的枯燥感，当然，也更符合我自己的文字笔法，希望你们能喜欢！

2 蛮荒时代

企业为什么想起要做大数据？

一个中小型企业，为什么突然就想起要开始做数据，开始组建大数据团队呢？从目前现状来看，这是一个很正常的现象。大家都做嘛！

但有没有想过，为什么大家都做？

大数据这个鬼东西怎么在四五年前一下子就火的不行了，然后在这两年更是成了香馍馍，大批大批的传统IT从业人员，纷纷转行搞大数据。这是真的，这近一年来，我面试的很多人里，很多都是从传统行业转型到大数据的，甚至有六七年开发经验，依然毅然决然转型的。这定然是市场驱动使然，有利益就有市场，有市场就有需求。

而资本市场也偏好靠数据说话的企业，甚至出现了很多以数据业务为核心的企业公司，甚至专门做数据服务的行业，一样融到了大把大把的钱。

个人认为企业开始关注，甚至是涉身大数据，资本偏好只是表象，在其内层必然还有更深层的原因。

在大数据真正兴起的08/09年之前，整个互联网都是一个蓬勃发展的时代，互联网自身普及以及覆盖度的提升，互联网基础实施、电脑智能设备等进一步普及，为各个互联网企业带来了巨大的红利。

15年的时候，我跟一个创业公司的CEO聊天时，他说过一句话，我感觉很难概况这个情况：“当年，我那个小论坛要是能坚持做下去，现在估计早就发达了。”

是的，没错，当年就是随便搞个网站，只要好好搞，基本都能吸引到一大片的人，有人就能产生利益。

换做更专业点的术语就是：流量红利！

那么，到了现在，流量红利早已消息不见了。面向各种人群、满足各种需求的网站、软件、APP等等，铺天盖地而来，让用户应接不暇。

你需要的、你不需要的、你能想到的、你想不到的，五花八门的企业都会为你提供，你怎么选？！

所以，流量红利消失了！那该怎么搞？

那效率和效果这个事情就不得不重视起来了，让用户更好的使用你的东西，让你的东西更精准化、让你的员工策略方案更具有效率，那么，你就更能在千千万万的类似企业中生存下去。

那么，你的企业必然需要慢慢的远离“我觉得吧”“我感觉”“可能”“或者”“按道理应该”这种词汇，一切回归到数据中去，让你的决策跟着数据走。

快速进行方案假设、快速进行数据反馈、快速进行策略修正、快速进行决策，让自己跑的路线更准、让自己跑的更快。

让你的用户体验更好、用的更爽，让他感觉更亲切自然，而不是你强加于其上的意志，让他被迫看你安排的东西、用既定功能。

所以，企业慢慢的开始讲究预测用户的心理，开始谈必言其“个性化”。这听起来很玄乎，但确实是实实在在的用户本质需求。因为，用户的口味也被我们各种同质化严重应用、软件，给养刁了。

于是乎，大数据大行其道；于是乎，转行者如过江之鲫。最重要的是，哈哈，它给了我一口饭吃。

你看到的是一个饮毛茹血的现状！

在引入大数据这个概念之前，试想一下，企业的数据层面会是处于一个什么样的状况？

这里我想引用原始社会的一个标志词--“饮毛茹血”。

中小型企业一般使用传统的数据库来存储业务数据，并且很大一部分是MySQL(别问我为什么，因为它免费啊)，我想，这点毋庸置疑。而一般的中小型企业，特别是小型创业公司，基本是不配置专门的数据库工程师的，都是业务开发人员兼任。

于是乎，你会看到各种各样奇葩设计的数据库表、各种各样错综复杂数据表关系、各种各样看起来不合理其实用起来也不合理的数据存储方式。

你以为你来做大数据的，这些业务数据就跟你没关系吗？！关系可大发了，你第一个要处理的数据就是业务数据。

你将会忙于天天跟业务开发人员沟通交流，焦头烂额地去梳理清楚这些业务关系，甚至是转换成你要的数据形态。

然后你会不自觉地吐槽：我凑，尼玛关系数据库中的数据也要做清洗呀！

其实这也是没有办法的事，历史原因使然，人力成本使然，这是我们处于0的阶段必然需要面对的东西。

在大数据这个体量中，业务数据只是占据了很小的一部分。是的，更多的是用户的行为数据，业务的访问数据。

你可能会很高兴的说，对了，不是有业务服务的log吗？我们可以从log中清洗出很多有用的Visitor数据来，一个MapReduce就搞定啦，分分钟的事。

“啊，这个呀，当时没有想到要记录下这些东西哟，没有打这些LOG。”

是不是想大喷一口血？情况好点的公司，虽然处理不了数据，但是依然是有意识的在很多业务逻辑中，埋下业务的服务LOG，落成LOG文件，待有处理能力时再做处理。

再好点的，已经有点数据意识了，开始在业务中主动埋下一些数据收集点，开始收集用户的行为轨迹数据。

但依然是把数据存储到了MySQL中，很多点位逻辑是错乱的，点位的收集目标是不清晰的(也没办法清晰，因为我都不知道要怎么用，都是提前埋下，将来可能要用而已)。

这已经很不错了，虽然点位是不准确的，虽然我不知道一天50万、100万的数据量，你的MySQL能撑几天，但好歹是有了吧，已经很不错了。

再好点的就是，已经有大数据的一到两个储备人员了，已经能够近乎的将数据以近乎正确的姿势存储到hive或者HBase中，哪怕是HDFS里头。

这已经是伟大的进步了，至少恭喜你，你已经踏过了0的阶段，步入了0.1时代！

以上基本上就是你进入一个即将要开始做大数据的公司，所看到的东西。是不是一脸懵逼、大写的尴尬？恨不得把这些乱七八糟的，一下子磁盘格式化掉。

这个时候，你需要做点什么？

这里，我所说的做什么，不是指开始动手干。而是之前的准备工作，算是前期工作吧。

进入之后，第一时间当然掌握如上那些信息了。接着，你需要好好跟你的老板谈一谈人生，啊不，是谈谈他到底想干什么？

他想达到一个什么样的数据业务目标，想花多大的成本，下了多大决心去做这件事，仅仅是跟跟风、炒炒概念，还是真的想解决问题。

这很重要，这关乎到你后续将投入的人力，不同阶段的规划，怎么去做这件事，做好这件事。

其实不单纯这里，其他方面也是一样的，遇到一个问题，一定是需要了解够足够的信息，彻底的了解需求才去做的，这不耽误事，不然吃力不讨好，妥妥的。

于此同时，你需要慢慢根据蛋碎菊紧的现状以及BOSS的“伟大宏图”，去规划你的人力了。至于说人力怎么搭配，什么年份、什么水平，这就需要看“菊花”到底有多紧，“宏图”到底有多大，时间到底还有多少去思考了。

好了，背起你的锄头，去挖别人家的墙角吧，或者，刷脸的时候到了，万能的朋友圈，彰显你的威力吧！

3 写在最后

这一章节，打算就写这些了，以后保证每个篇幅不要太长，以免看的太累。我认为，一个章节，只需要描述清楚一个事情就够了。

在这里，我极力想给大家呈现的东西就是，从0构建，这个0的现状是什么，以及试图去解释需求的源头，以及为何会产生这种现状，以及最后给大家略微的讲述一下处理这种事情的方法论。

当然，期间为了描述清楚现象，夹着很多我对行业、技术领域的看法、以及其他自己的观点。一家之言，无论对错，只是一个观点而已，所以，请不要喷，也不要嘲讽，更欢迎一起讨论，一起碰撞！

里头也有自己处理事情的方式，思路，甚至是方法论，在我认为，这反倒是更重要的东西。

在这里可能会少涉及，在后面详细进入主题的文章中，将会大量给大家呈现我处理事情的方式、方法论，在我认为，这是我在大数据领域里摸爬打滚四年的财富，我愿意把这些财富分享给大家。

打完收工。敬请期待下一章，名字我都想好了，《从0到1构建数据生态：拓荒》！我将给你讲述一个如何连续加班到晚十二点甚至凌晨一两点两个月的励志故事/(ㄒoㄒ)/~~

来源：数据虫巢，作者：blogchong