Yonghong Z-Suite 定义一站式数据分析平台新标准——永洪科技研发负责人邵文龙

2017.11.23 / View:

刚才我们的CEO给大家讲解了大数据驱动业务增长的模型,在这个模型里指的是一站式大数据应用的构建平台,对这个平台要求能够具备自服务数据准备、高性能计算引擎、敏捷BI、深度分析、企业级管控能力、数据的填报、数据的协作、数据的可视化,需要这个平台能够支持非常广泛的第三方数据源,能够很好的支撑企业自主式分析、移动式分析和大屏展示功能。接下来我就给在座的各位领导、各位专家和各位嘉宾汇报一下我们永洪科技在最近的一段时间内,在一站式大数据构建平台方面所取得的一些进展,也就是我们Z-Suite7.5的新特性。

    首先为了让讲解更加生动,还请大家先看一个短片。

    (播放视频)

  我看大家看完以后还也一些意犹未尽,接下来我们可以跟着短视频中数据分析师永洪科技的交易一起回顾。永洪科技接收到了CEO和CIO两个任务,第一个任务是要找到二季度销售额下降的原因。第二个任务是公司因为业务拓展需要在成都进行扩展业务,需要找一个合适的门店位置。永洪科技接收两个任务以后,首先就是开始进行数据的准备工作,我们知道进行自服务的数据准备通常需要三个步骤,最开始是数据融合,在真实的客户场景中数据都是存在不同的数据源里面的,数据源的融合也就要求数据分析系统能够支持各种各样的SQL数据源和NO SQL数据源,我们在Z-Suite7.5加入了多维数据库的支持,包括SAP BW  或者ESSBASE、或者SSAS,我们在短视频里看到,Michelle是把存储在数据库中的一些库存货品信息存储在BW数据库中的消费情况融合到了一起,进一步进行下面的分析,数据融合完成以后,第二步就是数据的治理和建模工作,包括你对数据进行一些清洗还有各种各样的转换,把数据整合建模起来,Z-Suite在整个数据治理建模过程,所有的过程都是可视化的,你可以简单的通过拖拽连接以及做少样的选择和填充就可以轻松的完成整个治理建模的工作,使业务人员清上手。治理建模完成以后,最后一步就是数据的应用了,这里面可以有很多的选择,你可以把数据直接回填到数据库或者启动定时任务,把数据导入数据集市里,如果需要立刻开始探索式分析,或者深度分析,也没有任何问题。

    在数据准备完成以后,下一步就是Michelle开始可视化探索分析之旅,在我们永洪科技的Z-Suite7.5里面,我们增加了更多的展示样式,比如说外部组件的嵌入,我们可以允许用户把一些外部组件嵌入到报表里,扩展使用范围,短片我们可以看到Michelle她把天气信息也放到报表里,通过这样的一些分析最终发现的二季度销售利润下降的原因是因为天气导致的物流成本上升,给了他发现问题的方法。

    除了外部的组件切入,我们在7.5也增加了对盒须图支持,Michelle通过盒须图方式发现了各种不同年龄阶层人的消费习惯,为她最终找到合理的解决办法打下了很好的基础。

    Z-Suite7.5增加了更多的分析形式,加入了对列过滤的支持,通常制作一个表格的时候,可能会包含很多的内容,但是真正的关心的不同不一样,列过滤可以让你关注对你有业务价值的分析,更容易分析出结果。

    有一种业务形式是希望报表自动的完成,到处的时候用一种描述的形式,比如二季度我们企业电量消费是多少,增长量多少,我们在7.5里引入了动态副文本很好的对此进行支持,不但可以让您任意的去选择文本的样式,比如颜色大小等等,可以通过参数的方式让您把变化的动态数据嵌入到文本里,很好的满足您的需求。

    在我们的客户中,有很多客户是对一些同环比有要求,比如周期是假期,他在算日环比到中午时候他希望环比到周三,自动的同环比针对这样的场景做了很好的支持,在一些行业,比如金融行业里就有很好的利用。

    最后是数据分页展示,比较简单,当你制作报表数据量比较多的时候,通过分页可以有很好的性能让你看到数据的性能和所在的页数。

    在短视频中,我们看到Michelle使用了地图的分析解决第二个问题,我们在Z-Suite7.5里面在地图能力方面做了非常大的提升,引入了强大的在线GIS地图支持,因为它是在线的GIS地图可以提供街道级别的细节展示,还可以同整个报表中其他的主键进行联动,比如上下转分析,或者联动展示等等,除了能够给您提供极佳的体验,还可以进行进一步的地图深度洞察。

    我们也可以看到短片中Michelle正是动作在线GIS地图联动的方式,采用当地的公共数据集包括居民分布还有已有的超市店铺分布的情况,得到一个非常合适的地址,完成第二个任务。

    除了在线GIS地图,我们在Z-Suite7.5里面也对地图做了其他很多增强,比如迁徙图,可以任意选择不同的展示样式,比如说希望通过飞机的小图标或者火车汽车都可以做到。

    热力图,不但可以支持在线的GIS地图,或者离线内嵌的地图,还可以自定义地图,比如这是在室内的环境热力图展示效果。

    动态点图,让点图更加生动直观。

    我们在Z-Suite7.5加入了自定义地图的支持,对那些商业楼宇的内部使用是非常有帮助的。

    最后加入了自定义大区功能,这个功能是非常有用的功能,尤其是全国的销售公司不是按省份划的,经常是大区的,通过自定义大区能力可以让您的展示信息和您公司的业务区域化非常完整的契合到一起,还可以看到更多的细节。

    在短片中,Michelle是通过探索式分析解决问题的,我们来看看永洪科技在深度分析方面取得了哪些进展。Z-Suite7.5里面我们推出了一站式深度分析平台,本身是有两层含义,第一层是我们深度分析是完备的深度分析流程,端到端的深度分析流程,从你的数据源的准备、数据集的选择,再到把数据拆分为序列集和数列集,用序列集进行训练,数列集进行区分,我们是端到端的都支持下来了。

    一站式深度分析平台第二层含义,我们现有的深度分析和BI产品完美结合起来,可以把自服务准备的数据直接进行深度分析,你也可以把深度分析的结果以可视化的方式轻松的展示出来,可以帮助你通过BI、AI的方式看到历史,还能预测将来。

    Z-Suite7.5我们实现了非常强大的动态能力,内置了很多机器学习算法,比如说K-Means、分布式深度分析、可视化操作,我们还支持R语言,你希望写自己深度分析的算法也是没有任何问题。

    深度分析有一个重要的特点,是我们对分布式的支持,对一些数据量比较大的时候,尤其跑训练算法的时候,跑十几个小时,甚至几天,几个星期,还是很常见的,对于时间紧迫的是无法满足的,我们深度分析完美的解决这个问题。

    我们深度分析还有一个很重要的点,它跟我们的BI是一样的,都是全程可视化的,你在里面通过几个图表的拖拽,比如对话框添加参数就可以开始进行你的深度分析,不止如此,右面结果的展示依然也是采用可视化方式,所以可以非常方便的看到做模型最终的要求是什么样的,是不是达到您的预期。

    我们深度分析在推出以后很快的得到了许多客户的热情,我们现在已经应用在客户的环境中,比如制造业设备检测和公司财务预算和决策,包括用户画像。

    最后是电网运维预警分析,小蓝点表明是城市里面有很多变电站功能是正常的,红色小人的变电站是负载超载的,需要人现场处理,我们是用持续分析加入了一些外部因素,因为居民区的变电站耗电量跟气温很相关,我们是加入了外部因素进行分析。分析结果理想,MPE值非常小,客户也很满意。

    给大家看两个数据,左边是366.1,右边是15.6,我加上s大家就知道了,这是性能对比,这个是我们针对一千万的数据量进行单节点R计算和三节点分布式的计算得出的结果,相同的配置下,三节点比单节点提高20多倍,单节点的也可以有7倍的差距,深度分析的性能我们是大幅度提升的。

    我们来看看移动分析,在短片中CEO下了飞机以后第一个事情就是打开手机,在手机上看结果,我们也注意到越来越多的客户开使用深度分析,我们在Z-Suite7.5深度分析也做了很大的提升。

    第一点,我们实现了独有的多层移动缓存技术,是从我们现有的产品中各种缓存结合起来的,加上移动端的缓存,使得您即使是海量的数据,在移动端呈现也可以秒级呈现。我非常认同一点,性能是最好的用户体验,尤其对移动端更是如此,因为我们多层移动缓存技术的提出,可以让您在移动端使用的时候感受不到等待,所以性能提升了很多,体验也会好很多。

    第二点,我们比较永洪科技移动端的BI和友商的,我们认为永洪科技的BI是业内最强的探索式分析,可以通过向下转取、过滤、筛选,可以非常完美的完成移动端的探索式分析的要求。

    最后,7.5上实现了高度可定植化的操作,可以实现企业个性化的门户。

    移动端说完以后,整个小故事就已经串完了,但是没有结束,我们要看看背后的支撑基础上做了什么事情。

    第一个,在企业级管控上,我们的权限管理更加细粒度,可以对每个报表和查询进行权限的管理和分配,让权限策略做到更加的灵活。

    第二个,我们在7.5里面开始支持LDAP集成,通过LDAP集成让您跟公司的身份认证系统无缝连接。

   第三个,日常报警能力,当系统发生异常的时候,比如说网络问题,比如说某个节点发生了故障,或者是内存占用太多,我们都可以立刻进行报警,这样可以让管理员第一时间发现,及早的处理,降低损失。

    最后,用户的属性定制,通过属性定制让用户管理起来更加方便。

    我们看看调度和安全方面。

    第一个,可以让您察看后续任务。

    第二个,有时候调度任务很多,现在支持多个调度任务报告整合一起发送。

    第三个,调度任务时间和系统资源使用情况的时间分布,如果您在调度任务很多时候都会安排在晚上,比如夜里12点到1点,发现我们的调度任务现在已经很重了,整个系统资源占满,增加新的就避开这个时间点,放在1点到2点。

    除了调度,我们安全方面也做了很多,包括我们实现了更加强大的密码保护能力还有密码的防暴力破解功能,整个大数据平台使用过程更加的安全放心。

    最后讲永洪科技业内领先的MPP数据集市,做数据分析的时候很重要的一点,你一定需要很强大的数据平台支撑,如果做一个查询需要等待数分钟,敏捷从何谈起。对大数据平台来说,一个是稳定可靠,即使出现异常的时候依然可以非常稳定可靠的给你提供输出的能力。第二,性能是平台以后要做到的。我们看一看在Z-Suite7.5里面可靠性方面我们做了什么事情。

    第一点,智能的节点自动平衡技术,现在的大数据技术基本都采用计算本地,数据在什么地方大数据就在哪里,公司部署了大数据平台以后,随着公司业务的增长,可能现有的集群无法支撑,不可避免的就会增加新的节点,增加新节点的时候会发现一个问题,因为你在导入新数据的时候,自然会导入新节点,因为新节点之前没有数据,因为新的数据是用的比较多的数据,这样结果就是会发生计算倾斜问题,我们有了节点平衡技术,可以一键把数据进行平衡,完美的避免了计算清洗的问题。

    第二点,分布式元数据存储,大数据平台来说数据本身早已经是分布式的,但是元数据经常是集中存储的,我们在Z-Suite7.5把元数据进行分布式的存储,可靠性得到了进一步提升。

    我们看一看在Z-Suite7.5里面性能方面到底做了哪些事情。

    第一点,流式导数,把数据从您的仓库导入到数据集里,我们的流式导数可以让数据导流过程像水流一样非常快,我们自己做过一个测试,基本数据库吐数的能力基本就是导入的,只是在基础上稍微增加了一点点,我们可以说数据库有多快,导数据就会有多快。

    第二点,极致压缩,我们采用了新型的算法,使数据存储的压缩进一步提升,最高存储空间可以降低87.5%,可以降低内存消耗和存储消耗以及成本。

    第三点,专利编码技术,尤其是针对某些复杂场景,可以上您的存储空间极大的减小,也可以实现性能10倍以上的提升。

    最后,即可更新技术,这个是把我们永洪科技独有的多层缓存技术和数据集式的数据变化自动检测形成闭环,任何时候当您的数据集的数据发生变化的时候,跟你之前所见的查询技术会自动的更新并被缓存起来,而且这个缓存是可以持久化的,也就是您重启缓存还是在的,有了这个技术以后,您的集市查询性能大幅度的提升,我们自己做过一个测试,当即可更新发生效率的时候,之前可能需要大概一万多秒查询,通过这个以后一秒钟结果就出来,即可更新更像动态的CUE,有了这样的技术以后可以让您在大数据量查询的时候感受到很好的体验。

    7.5的部分主要功能就是这么多,最后我代表我们永洪科技研发团队的小伙伴说一句,我们整个永洪科技人努力的打造最可靠、最快速和最好用的产品,我们真的没有什么别的心思,想您能够好好的用起来我们的产品,帮助你们业务成长,这是我们研发团队所有永洪科技人全部的诚意,谢谢大家。

 

 

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2023开发者:北京永洪商智科技有限公司版本:V10.0
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限