打造数据平台,构建数据服务

2017.05.04 / View:

非常感谢永洪提供这样一次机会,也很高兴站在这里给大家分享。我叫王相会,来自欣和食品。我今天分享的主题是打造数据平台,构建数据服务。这个目的主要是我们希望我们企业通过打造数据平台构建数据服务,来驱动可视化数据分析在企业的推广。相信很多人,尤其在山东,都会吃过我们家的产品。也相信很多人认识味极鲜酱油,但是不一定知道它是欣和的。

首先让我们来认识一下欣和。欣和从1992年创立到现在已经是25年,从我们最初的一袋酱开始,到现在先后创建了9个品牌,不管是哪一个产品,我们始终秉承最初的原则,就是我们做的产品自己不吃就不要卖给消费者,就更不要生产。

我们看一下我们的产品家族,每一个产品就是我们以对家庭的爱来生产这个产品。所以我们企业是以待世人如家人一样的情怀。

调味品我们也关注着整个饮食生态。从有机农场到有机餐厅,我们始终以最高标准要求自己,打造每一个环节,以此引导其他企业。

下面我们回到今天的主题,打造数据平台构建数据服务。首先看一下我们欣和在数据服务探索所经历的几个阶段。

第一个阶段,我们是2012到2013年,主要在一些系统的建设期,我们先后启动了acp/erp项目,还有sql/crm项目,包括实施了bae,建立了数据仓库,把一些核心数据进行整合。

第二个阶段是探索期,我们这个阶段主要做了一些像组数据的管理优化,像数据分析指标的梳理,报表系统化。当然也做了一些像我们欣和的官方商城,以及对经销商和消费者使用的一些系统。最重要的是我们开始了一些数据探索转型。

可以看出我们前两个阶段主要是做一些数据整理,数据录入的情况。

第三个阶段我们希望启动数字转型,形成数字战略,通过打造数据平台,形成数据服务,形成不断深入的数据文化,希望数据能给我们企业带来一个新的创新。

我们曾经也遇到过很多挑战。比如我们的业务部门经常会有这样的问题,说我们的数据在哪里,经常找不到他们想要的数据,老板说他想看的报告可能不知道在哪封邮件里面,分析人员认为Excel加工太麻烦,有没有方便的东西。

IT部门是沉溺于各种报表需求,而且经常抱怨,上线时间太长。

面带着这些问题,我们就在思考如何才能搭建一个业务+IT快速反应的团队,来优化和提高效率。我们如何才能摆脱大量的Excel标格,快速获取正确的信息。

大数据和互联网背景下,传统企业应该怎么办?我们带着这些思考,我们公司做了一些整体的数据战略规划。

第一个目标是希望企业内部用数据说话,建立这样一个文化。

第二个是降低寻找信息的成本,减少报表开发的时间。

分了三步在推进:第一步是建立数据制度,第二步是构建大数据平台,提升整体计算能力。第三步是很重要一步,升级我们现在的BI工具,选择可视化敏捷BI,能够提供所见即所得的数据服务。

举个例子,我们以前公司开会,一些销售或者业务在谈到某一个区域销售好或者市场好,或者是不好。再后来我们数据文化确定之后,我们会议会要求这样进行。比如我们本月的业绩目标是多少,截止到昨天或者截止到今天我们目标是多少,实际达成的又是多少,差异的是多少,包括一些未达成的原因,会用这样一个故事来分享。

当然从拜访也是一样的,我们的业代,每天要选择拜访的目标客户有多少家,实际拜访的多少家,多少家没有拜访,为什么?是这样一个循环。就是真正在企业做到no data no told ,当然no data no money,这是我们老板经常讲的一句话。

第二个步骤,就是我们要搭建一个大数据平台,当然这块内容不像我们前面徐总在分享海尔的时候,海尔应用的那么成熟,我相信有很多传统制造企业,没有像海尔那样始终走在最前面,我们也是在考虑或者在实践。首先我们看一下大数据平台能给我们带来什么?

从我们企业来讲,我们目前最起码是两个方面:

第一方面是在营销端。营销端我们希望借助大数据这个平台,了解是谁在消费我们的产品,他们想消费什么,然后他们通过什么方式来消费。

生产端我们希望提高生产效率,通过安装一些传感器,来提高生产效率。这是我们目前对大数据平台的期望。

我们现在在搭建这个大数据平台,第一步的动作是我们会把所有的欣和的消费者涉及的触点打通,做后期的分析应用。包括我们的一瓶一码,我们打在酱油瓶子上的二维码,包括我们的官方商城,还有电商平台,还有一些我们的会员系统,包括一些第三方购买的数据,我们会把这些数据统一整合到我们的大数据平台里面,做一个ID Mapping把它们对应起来。

这个动作做完之后,我们会对这些用户做一个整体的分析,打上标签,就是做这样一个用户画像的动作。我们最终希望通过大数据平台的基础,做一些精准的营销,或者精准的活动推广,让我们欣和的产品,能够通过最合适的方式,推广给我们的消费者。

下面可能有技术的同事,我简单说一下我们现在大数据平台的架构图。最底下数据图我们看到的是数据采集的部分,包括源数据的部分,在我们上大数据系统之前,我们大部分分析的内容是局限于在Excel和一些内部系统,包括ERP和CRM的系统。大数据系统之后,我们现在更多添加了像商城的日志信息,来追踪和管理分析用户的一些行为。还有一些生产设备,包括我们的msup系统,或者在我们工厂的设备上添加更多的传感器,还有一些外部数据,我们用爬虫爬取了很多关于快消品或者美食相关的信息,给我们的研发和市场部门提供了很多支持。

比如我们爬取了各国美食的食谱,他们用的哪个调味品,找出我们的Kll,让他们以后做市场推广的时候,可以帮助我们推广这些信息。还有一些非结构化的数据。但是这个可能要等后期再逐步应用。我们的销售业务代表去拜访门店,产生了很多大量的图片信息。包括我们的产品的陈列,包括竞品的信息。我们通过大数据对比,通过图片对比,最后得出一些有用的信息。通过统一的采集平台,把这些数据放到我们的大数据平台。

我们的大数据平台会和原有的数据仓库结合使用。大数据平台的技术架构,刚才前面分享的主要是Hadoop,还有比如MPP数据库,我们这块是结合了Hadoop和Spark生态圈的内容。根据我们企业的特点,因为我们的量不是说特别大,我们主要用Spark做数据分析和数据处理这样的动作。用Hadoop的包括igfx,或者Xive这些内容来存储和查询最终这样的结果。有一些关键性的指标和仪表盘,同样会同步到我们的数据仓库里面去做一些分析和展示。

最上层的应用就是一个是应用系统的集成,会从我们大数据平台获取一些分析的结果和数据。另外最重要一部分就是敏捷BI,来给我们业务和分析团队提供底层的数据支持。

对于大数据平台的建议,因为有许多企业,像互联网企业,或者是走在前面的有很多大的企业,这些当然已经都有自己的平台,或者是借助于云的力量来做大数据。我觉得传统企业不像互联网企业有天生的大数据基因,我们往往会忽略大数据给我们带来的影响。所以这个地方我们有个建议,如果说我们在座有企业想去做大数据的,我建议你立刻行动起来,从自己的实际需求出发,确定业务场景,去选择不同的组件,不求大而全。因为大数据平台的组件非常非常多。先确定自己的业务场景,去选择合适自己的,快速搭建起来自己所能用的大数据平台就OK了。

进入到第三步,我们要借助敏捷BI,来构建数据服务。主要是想体现在让我们的业务和分析团队更多参与到整体分析中间,他们可以不了解底层数据,他们可以通过敏捷BI直接做一些自己的分析,能够快速分析出来一个结果。

我简单谈一下传统BI和敏捷BI的区别吧,也主要是我们以前的工作流程,我们以前因为用的是Oracle-Bae,所以是比较典型的传统BI的代表。我们经常业务有一些想法,他想要的一些东西,跟我们去谈,我们想要什么。我们做一些分析,这个不能做,那个不能做,这块儿我们是能做的,我们反复跟他去确认需求,最终定下需求之后,我们会去数据仓库建模,去开发报表,当然这个周期都已经很长了,最终反馈给业务,业务可能看了说好或者不好,这样一个反复的过程,这就是BI。业务有一个想法,有一个idea,他可以利用这个数据服务,就可以去验证他的想法。而最终很快形成一个决策,因为它中间省去了很多调整的环节。因为我们始终相信业务是最懂业务,或者最能分析业务的一些人。

这个就是我截取的永洪BI的一张图片,左边就是一些数据源,其实就是我们认为的一些数据指标和数据维度。我们就希望我们的业务人员能够直接通过这些维度和指标,快速切换来分析他们需要的一些结果。

另外看敏捷BI和传统BI相比,它有更多可视化的选择。其实同样的一些数据,不同的展示体现出来的价值完全不一样的,比如说词云,可能现在很多人很喜欢用词云,因为它确实比传统的图形更能突出重点,你第一眼看到的什么就可能是你最关心的内容。

还有一点敏捷BI现在整体展示或者风格确实很漂亮。这个地方我就讲一个小故事,因为以前有个朋友跟我讲,他说现在有内涵的人都看颜值,只有肤浅的人才会看内涵。

下面举个小例子,就是我们在应用中间的例子。比如我们可以看到某个月我们各个城市中间的增长比率。我们可以看到济南增长是比较差的,负增长的状态。如果通过敏捷BI我们就可以看到,济南很差是不是每个区都很差,这样一个过程,比如说你看一个区,你会发现其实不是每个区很差,只有这个区是最差的。

进一步就发现这个区是不是所有品牌都很差。又通过切换维度又得出来,这个区其他品牌都还好,只有我们的味达美品牌增长比较差,或者下降很多。可能通过其他分析,可以了解到竞品针对我们这个品牌在这个区做了一些活动,我们没有跟进,所以会导致比较差。在我们以后一些决策或者活动中间,我们是不是能及时发现这个信息,通过我们这个平台能够提供这样的服务。

另外,对于有一些大家都比较认可,或者比较固化的一些分析,我们可以把它做成一个固定仪表盘,做一个检测。比如我们的仓储和客户把控,包括市场洞察和营运能力的监控。

最后,后边我们用户怎么知道数据在哪里,或者说这个数据到底是什么意思,什么逻辑计算的。我们配套提供的一个数据支持平台,我们希望用户通过这个平台,可以去了解他想要的数据在哪里可以找到,而且计算逻辑是什么,可以直接去应用,这是我们的一个Data support platform这样一个平台,这是和大数据平台同步在进行的一个项目。

总结一下,数据服务对敏捷BI来讲,我觉得最大的挑战是我们较以往,分工不同,敏捷BI提倡这种方式,就是IT去做一些IT专长的事,去把数据治理好,把数据源处理好,把分析交给业务来做。所以这块内容,我们IT在一些创新方面,去主要管理和发布数据源,提供数据服务平台,然后提供一些热线服务支持,包括数据方面和技术方面,业务方面他们每个人都可以做一些分析,可以实时调整分析维度和度量以及计算方式,真正做到和数据讲话。

总结下来,我们企业对于可视化分析带动企业创新这块儿有三个主要特点:

第一个是要有一个数字化创新组织,可以是数据部门,也可以是IT部门,一起来推动一起引领这个事情。

第二个是IT要转型,IT首先要认识到现在这个时代应该怎么去转型,应该做好底层的事情,然后把分析的事情交给业务。

第三个是要有一个给力的可视化工具,比如像我们永洪BI,它整体在前端、后端做的都不错,谢谢大家,我的分享就到这里!

 

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2023开发者:北京永洪商智科技有限公司版本:V10.0
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限