2017深圳峰会永洪科技高级副总裁邵文龙演讲《Yonghong Z-Suite V7.5发布》

2017.09.07 / View:

大家好,刚才我们的CEO给大家分享了大数据驱动业务增长的PASO模型。我们简单回顾一下PASO模型,P是平台、产品,一站式大数据应用构建平台,这里面包含几个大数据应用构建平台的所有模块,包括自服务、数据准备、高性能计算引擎、敏捷BI、深度分析、数据可视化等模块。

    在接下来我会给大家分享我们永洪在Z-Suite,在大数据构建平台方面所取得的进展,也就是Z-Suite7.5新特性。(短片播放)我们一起跟着Michelle来回顾,在整个短片里面Michelle接收到了两个任务,一是分析二季度销售利润下降的原因,二是到成都进行新门店的选址工作。Michelle在接到任务之后,首先是进行自服务数据的准备工作,自服务数据准备分为三个阶段,首先做数据的融合,对很多用户来说,数据也是处在各种各样不同的数据库当中,需要把不同的数据源整合起来。我们Michelle对主流的SQL数据源和No SQL数据源都支持,我们对多维数据库提供了很好的支持,比如说SAP、BW、ESSBASE、SaaS,我们还支持多维数据库和其他数据源融合起来。

    第二部分就是数据的清洗转换,数据建模等等,这个过程中是以完全可视化的业务流的方式呈现出来,业务人员也可以完成数据建模的工作。这个就要完成之后就是数据应用,采用定制任务的方式对数据定制到数据集市里面,或者是可以开始探索分析,或者是深度分析。

    当自服务数据准备工作完成之后,Michelle开始进行数据探索之旅,找到合理的解决办法。在分析过程中,Michelle分析之后说是因为坏天气导致的物流成本上升,是利润下降的主要原因。我们从这个图上也可以看到,右下角有一个天气的组建,这是我们Z-Suite7.5新增加的功能,天气或视频等等嵌入到整个报表,从其他的组建进行联动。

    同时我们在Z-Suite7.5提供了对盒须图的支持,对销售和利润情况进行分析,找出利润下降比较多的门店再进一步的做深入分析。除此之外,我们在Z-Suite7.5增加了更多的分析形势,第一是列过滤的形式,通常平常会选择很多列,但是真正关注的列并不是那么多,列过滤通过过滤筛选的方式可以让数据停留在你感兴趣的列上。Z-Suite7.5对富文本也支持,展示的文本样式更丰富,样本之间可以联动,在导入报告的时候会非常方便。智能同环比,比如说想看每天的环比,想看这周一跟上周五,智能同环比会把节假日过滤,直接进行比较,因此会方便很多。我们支持表格分页功能,当显示的数据表格很大的时候,可以分页的显示,比普通调教方便很多。

    Michelle有一个很强大的功能,引入了在线GIS地图,可以很轻易的达到街道识展示,这个数据可以跟其他的图标数据进行联动,可以让你将地图的分析跟其他的分析很好的结合起来,提供非常好的用户体验。

    我们在短片中,Michelle用在线GIS图的方式,并引入第三方的数据源,人口分布和现有店铺的分布情况,得出武侯区是比较理想的选址地点。

    除了在线GIS地图以外,我们在Z-Suite7.5业提供了很多的地图增强能力,支持迁移图、热力图、动态点图,我们也引入了对自定义地图的支持。在一些楼宇或私密的环境当中,自定义地图是很有用的,比如说今天这个会议来了非常多人,通过wifi热点数据分析这个情况,都可以用自定义地图的方式完成。我们引入了对自定义大区的支持,我们知道很多公司的业务部门并不是一个省份划分的,而可能是划分为东北区、西南区等等。自定义大区的方式可以让数据分析的模型跟公司的业务部门完美的对起来进行业务的分析。

    我们刚才把探索式分析简单的过了一边。在短片中Michelle在找到原因之后通过深度分析的方式,为利润下降这个问题寻找一个很好的解决办法。我们在Z-Suite7.5深度分析上做了非常大的提升,称之为一站式深度分析平台。这个一站式深度分析平台有两点来表明这个是一站式的,一是我们能够支持非常完备的深度分析流程,要做数据挖掘或深度分析的时候,最开始连接了数据源之后要进行数据质量的评估,或者是对数据进行一些描述性,或者是统计之类的分析,了解数据本身的特点。可能还会进行一些特征的选择,把数据本身分成测试级、训练级,选择合适的算法模型,对数据进行训练,对测试级验证这个模型的情况。我们现在在Z-Suite7.5实现了非常完整的端到端的深度分析的流程,我们的深度分析和BI技术完美无缝的联合在一起。如果完成模型的数据之后,可以把它输入到可视化的展示里面,可以把你的探索式分析和深度分析非常好的结合起来。

    Z-Suite7.5在深度分析方面内嵌了很多机器学习算法,比如说K-means聚类,数据源等等。分布式深度分析,无论是训练还是最后评分,可以大幅度的缩短时间,提升效果。

    深度分析和永洪的BI产品,使用风格上是完全统一一致的,全程的可视化操作,简单易用。这是Z-Suite7.5深度分析的截图,只需要把一些组建拖到画布区用线连上,做一些简单的配置就可以开始工作,点运行的按纽,分析就可以完成了。分析完成之后,对结果的评估全部是用可视化的方式实现的,可以直观的看到模型本身的结果是什么样的。

    这里有两个数据,366.1和15.6,这是一千万的数据,用的是K-means聚类,R计算环境提高了23倍,用永洪平台进行大数据分析的时候可以节约时间。

    在短片中看到Michelle完成任务之后把结果发给CEO和COO,我们在Z-Suite7.5上,手机上的分析有三个重大的提升,第一点就是多层移动缓存技术。我们把基于后端的多层结果和中间计算的法则,跟移动端的法则结合起来,通过这样的技术可以让您在移动端打开报表的时间大幅度的缩短,不需要等待。移动段缓存了历史曾经打开过的报表数据,可以第一时间就打开,效果提升很多。永洪最强的移动端探索式分析能力,随时随地帮助您进行业务分析。在移动端实现可定制的移动Portal,打造企业个性化的服务。

    随着短片上所展示的内容,基本上已经讲完了。但是还没有结束,我们想要实现强大的用户的服务能力,后端的支持必不可少,我们现在看一下后端在Z-Suite7.5做了哪些提升?首先从管理的角度来看,在Z-Suite7.5上,我们也实现了更细粒度的权限管理,针对不同的人进行权限设置,使得在管控策略上更加的灵活方便。

    LDAP集成,无缝介入企业身份管理体系。异常预警,当你的产品系统运行发生一些异常,比如说数据库连接,或者是节点出了问题的时候,可以通过短信的方式给你报警,可以第一时间发现问题,降低损失。属性定制,支持用户属性定制,用户管理更加方便。

    看一看调度和安全上我们作了哪些工作。调度管理上,我们每个任务之后可以查询后续任务,在脑袋中可以非常方便的绘制一张任务关系图。多个报告整合发送,避免挨个看邮件。调度任务时间分布,通常来说大家执行一个调度任务会放在晚上,这个任务安排跟系统资源使用情况对不起来,把所有任务都安排在夜里12点,这个时候系统已经饱和了,很多任务执行不了。我们实现这个功能,就可以让你看到现有的调度任务安排在什么地方,以及这个时间点的资源分布情况。如果说这个时间点资源已经被占光了,安排任务的时候就避开这个时间点,让资源分配更加合理。

    平台安全性,Z-Suite7.5大幅度提升了平台的安全性,包括了强大的密码保护能力,结合密码防暴力破解技术,让整个平台变得更加安全放心。

    业务领先的大数据平台,MPP数据集市,如果你的数据量比较大,没有强大的MPP数据集市是做不到的,对于MPP数据集市来说,它有两点是最重要的,第一点是这个集市本身的可靠性,能够可靠稳定的输出结果,不会因为某些节点异常或超过异常导致对用户的影响。集市本身的系统性能,如果这个系统性能不行,几乎就没法用。接下来从可靠性和性能两个角度讲一讲YonghongZ-Suite7.5在MPP集市上所取得的进展。

    智能的节点自动平衡,这是为了解决计算倾斜的问题,比如说一个公司已经开始部署大数据平台,现在已经在使用过程中,一年以后用户数越来越多,数据量也越来越大,现有的节点存储或处理能力没有办法满足需求的时候,自然就会增加新的节点。当增加新的节点的时候,因为新的节点原来没有任何数据,当新增数据来的时候很自然会到新的节点,因为计算本地化的原因,新的数据到了新的阶段,计算也会到这个节点,会把这个节点冲爆,这就是计算倾斜。我们可以通过智能的节点自动平衡,一键式操作就避免计算倾斜的问题。

    分布式元数据存储,所有的MPP集市平台都可以实现分布式元数据的存储,及时节点宕掉了系统也不会受影响,因此可靠性得到很好的提升。

    Z-Suite7.5在大数据平台上实现的重大性能提升,我们实现了四点重要的提升,第一点是流式导数,像水流一样把数据读出来的时候,导入到后面的数据集市里面,因此这个速度提升很多。我们自己内部的测试结果现实,您的数据库有多快,导入本身就差不多这么快。有这样一项技术之后,把数据从数据库或数据仓储导入到MPP数据集市的时间大幅度的缩短。

    极致压缩,我们在Z-Suite7.5使用了数据压缩技术,存储和内存空间降低87.5%;专利编码技术,针对某一种特殊类型的数据,如果这个数据本身并不是非常多,我们采用编码转换的方式进行存储,经过这样的处理之后,针对某些计算,我们自己的测试结果,计算的性能提升超过10倍以上,而且存储空间也大幅的降低。

    即刻更新技术,通过这个技术,做过一次数据查询之后,或者是集市数据发生一次变化,我们可以实时的看到查询的结果。如果新产生一个报告,不论多复杂,点起来就可以实现秒级的响应。这是我们自己的测试结果,在没有即刻更新技术,是需要11810s,通过这个技术,整个时间缩短到1S。

    Z-Suite7.5的介绍就到这里,接下来有请王桐介绍应用部分。

 

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2023开发者:北京永洪商智科技有限公司版本:V10.0
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限