探讨大数据工具如何成为“市场调查”的一剂补药

当川普以一只硕大的黑天鹅的姿态赢下美国总统选举，而“民调”的脸被这结果打得啪啪直响，而提供这些民调数据的，有非常知名的市场调查公司，也有知名媒体。

而根据他们提供的数据，在投票前的最后关头，希拉里是以绝对优势领先川普的，可以说有了稳操胜券的把握。这不禁让我们这些从事市场经营工作的人也觉得倒吸了一口凉气——— 曾经被我们誉为眼睛与耳朵的市场调查，到底还能相信几分？

其实与“民调”一样，大众营销中需要依赖的“市场调查”，多年来被企业用来当成消费者画像和市场情况描述的一个重要工具，因为除此之外，你很难更为全面深刻准确地去接触、了解以及理解你的客户和你所处的市场环境，而通过市场调查的数据与分析，虽然依然有雾里看花的感觉，但多少让你不再是抓瞎的盲目，所以每个企业或多或少会投入资源进行或大或小的市场调查以指导市场策略的制定。但从英国脱欧的民调到美国总统选举的民调的几次“南辕北辙”的结论，我们曾经信赖的市场调查，未来会不会也指错方向呢？

我们来看看众多关于这次民调失准的反思。从大量观点中，笔者提炼了三个比较有代表性的观点：

第一个原因是传统的“调查”在取样上的偏差。传统上一般认为只要是随机的，那就基本上从概率的角度看是科学的，但其实忽略了几个因素：比如样本库的选取本身就有可能存在偏差，在私人信息保护比较健全的美国，传统调查的对象是在黄页上公开家庭电话的常住家庭，但一些中低收入的社区、一些已经不再需要家庭电话的年轻人，因为无法联系接触，往往根本就不在样本库中，所以你怎么随机，其实也已经旁落了很多人，而最后这部分人恰恰成为川普票仓中的主力之一。

第二个原因是“调查”在准确真实性上的偏差，在了解人的想法这个调查目的上，如何确保调查数据的准确性和真实性一直是调查的难点。让当事人直接讲选谁，恐怕天知道这是不是他的真实想法。所以一般的市场调查会增加一些关于行为的分析、关于观点的态度的分析等稍微客观一点的问题，通过这些问题的态度判断，来与竞选者的政策进行匹配，从而得出受访者到底更喜欢谁的结论。但本身这些问题的设计也是非常有主观色彩的，而且每个人本身也是会变化的，何况更多的人其实并不清楚自己的真正判断。所以调查想法和好恶的主观性研究，往往都难度颇大，准确性堪忧。

第三个原因是“调查”的数据与结果之间的模型的偏差，往往这种模型关系是需要大量历史经验积累不断修正才能准确的。比如这次互联网上也有很多客户搜索信息的大数据，显示川普的搜索量就比希拉里高，但这种数据最后能说明这个搜索的人就是支持川普吗？这里面往往没有必然的逻辑关系。但这恰恰是大量数据如何筛选与建模的难点，这也造成了很多数据信息哪怕被正确采集后却不能正确地被加工使用。

正是从选择到采集到加工的全过程漏斗式的偏差，让调查的结果与最终事实产生了巨大分歧。其实这个一直存在，只不过原来一方面我们很难衡量这种偏差，一方面也没有其他更好的办法去替代。

直到大数据时代的到来，给市场调查注入了一些新鲜的激素。笔者在听取某位大数据专家的讲座中对于大数据的理解，有两点与今天讨论的市场调研的话题比较匹配：一是“大数据与传统的统计学相比，采用的是全量数据，而统计学是抽样数据”。二是“大数据其实更多解决的是数据之间的关联性问题，而非因果关系问题”。接下来，笔者就围绕这两点，来探讨一下大数据工具如何成为“市场调查”的一剂补药。

回到之前说的三点不足，其实正是大数据可以修正的领域。比如在第一点的采样偏差中，因为大数据的工具使用，让样本数量的多少不再成为效率的瓶颈，而因此可以尽可能多地采集样本，以减少采样不足造成的偏差。这个道理比较容易理解。比如在第二点中，大数据方法采集往往集中采集的就是用户的行为数据，是在不需要用户主观影响的情况下的很多自然行为的记录，比如购买行为记录，经常有人在亚马逊上购物会感叹亚马逊似乎比自己更了解接下来自己想要买什么。再比如在第三点中，大数据通过很多分析，往往擅长找到的就是信息与信息之间的关系，同时购买了A和B两件商品的客户，往往购买C的可能性较大，这种基于既往真实数据的关系挖掘，往往才是大数据的强项，而这种数据关系的梳理，可以让大量元素数据信息得以更充分合理地处理利用而不是乱用。

正因为如此，大数据在传统市场调查的三个薄弱环节都可以起到很好的改进作用，但这并不是大数据无敌的结论。大数据对这种病只能是一味食疗的补药，却成不了根治的解药。因为客观而言，大数据方法一样存在数据库偏差，你用的大数据来源能涵盖目标客户的比例无论多高，都难以真正做到全量，何况现在大数据采集集中在互联网、智能终端可以覆盖的领域，但平时不太接触这些的人群往往难以采集大数据；而且希望通过大数据的分析来刻画人性思想这种东西，就像用机器人目前无法进行艺术创作一样，或许需要等待未来AI发展，来模拟人类思考的过程，进而得出更加类人的结论。

总之，虽然民调被美国选举和英国脱欧公投吊打了两次，但只能说调查方式到了需要与时俱进的时候，积极引入大数据的工具与方法，修正与调养有些落伍的躯体，是很多调查公司需要反思与改进的，但作为调查结论的使用者的企业，迷信调查报告与忽视调查报告一样，都是极端而可怕的，而那些拿着调查数据当经营考核依据的公司，这次就更应该警醒了。