不要把大数据和BI混为一谈

摘要：不要把大数据和BI混为一谈。

大数据和BI有很多对立。我们在项目实施中一直遵循这一原则。例如：

1.全量思维。不用抽样建模，再回到DW实施。大数据利用全量数据直接跑，先在大宽表中找到以前靠业务经营选择的字段，即依靠机器学习建规则，再在全局数据中实施。大数据在这个层面首先是基础设施，能够完成以前不能完成的任务。例如某保险公司，SAS只能跑几十万用户的一种分类模型，现在可以把个险3600万用户跑个全量，得到上千个分类，发现业务经营给不了事实。这是大数据的IT属性，Hadoop分布式计算带来的颠覆创新。

2. 个性化。 BI面向决策，面向人的干预。输出形式更多的dashboard.report。因此对事实描述更多是基于群体共性，而不是个体刻画。例如回到保险公司的例子，当我们用大数据计算出每一个个体客户的流失风险概率，做个性化客户视图。而BI系统需要汇总成宏观统计数据。前者帮助我们深刻的了解每一个用户，适合于精准推荐类营销类问题，回答How much how strong的程度类模糊问题；后者帮助决策者掌握宏观统计趋势，适合经营运营指标支撑类问题，准确回答yes or no的统计意义概率问题。

大数据对个体刻画还是BI的群体描述，引发了下面第三种差异。

3. Insight or Automation群体共性的描述获得的Yes or no的问题对于复杂经济现象越来越难回答，维度指标越来越多。例如上面客户流失风险的例子，被BI系统做成统计指标后汇报高层做决策，高层形成客户挽留计划一类的执行策略往往风险很大，包括质疑数据准确性，执行效率反馈周期等等，其结果就是面对这样的宏观不决策不作为。因此，某种意义上，BI形成的Insight，因为没有形成闭环干预，而没有发挥作用。

大数据强调Automation. 淘宝更强调为每一笔网购做自动推荐的生产系统。上面的保险客户流失例子，大数据刻画客户后提供给一线销售，数据服务下沉而不是汇总上报，每一个保险员做微决策微行动，风险小反馈及时。大数据更强调提供自动化工具，而不是统计报告。

4. 反馈和实验方法 因为引入了Automation，和记录行为数据，效果更直接及时。例如互联网最多用的AB testing. Hulu每日上线的测试有200多个，可见测试方法在数据分析中的重要程度。

有机会展开谈谈BI和大数据，在这个概念泛滥的大数据热炒时代，啤酒尿布少女怀孕黑人进白宫，各种公司一夜转型大数据，如何辨别小数据和大数据，不仅是技术基础，更重要的是思维方式。

作者：雷涛

来自：中云网