免费试用
  • Languuage
banner
大数据平台>新闻与活动>Yonghong Z-Suite V8.5,让大数据起

Yonghong Z-Suite V8.5,让大数据起舞!

作者: admin来源: 未知时间:2019-01-11 17:56:330

 

 

在以“唤醒科技·预见未来”为主题的永洪科技用户大会上,来自永洪科技研发体系的高级副总裁邵文龙,就最新发布的Yonghong Z-Suite V8.5发表了精彩演讲,为在场来宾带来一场非同寻常的黑科技盛宴!

 


 

回顾精彩内容,领略大师风采

 

 

邵文龙

 永洪科技 研发体系高级副总裁

 

接下来,我给大家详细地分解一下Yonghong Z-Suite V8.5包含的主要内容。

首先,从永洪的“能力树”说起。

 

 

完整的技术要从最底层的树根“大数据平台”、“平台的实施和服务”,到树干“一站式的大数据分析平台”,再到枝叶就是在这个平台上的行业垂直应用和战略咨询等。

今天我要讲的就是Z-Suite一站式大数据分析平台,它是处在整个能力树的中心部位,承上启下,对下要求对接大数据平台,或者不同类型的数据源数据仓库,向上要对各种类型垂直应用、数据咨询业务提供有力的支撑。在我们永洪科技,一站式大数据分析平台就是通过Yonghong Z-Suite V8.5来体现的。

对于一站式大数据分析平台,我们认为一定要包含三个部分,就是BI、Big Data、AI,这三驾马车缺一不可。其中,BI是指一个全链条的体系,包括自服务数据准备,可视化报告的制作与展示、大屏展示能力、移动分析能力,以及对于整个平台提供支撑的权限管理、任务调度等等;大数据为BI、AI提供有效的技术支撑,无论数据量多大,都能够提供快速的反映;AI可以为企业提供深度的洞察,帮助你实现一些预测能力。

 

 

Yonghong Z-Suite V8.5的BI部分

那么,我从Yonghong Z-Suite V8.5的BI部分讲起。

01

自服务数据准备

 

先看看自服务数据准备。8.5版本对数据的对接和访问性能有了很大的提升,具体包括:

1.对于数据的查询,我们具备数据库真分页的能力,如果通过表格形式去查询,即使数据量很大,也能够迅速地把所查分页数据返回来,使您有更好的体验。同时我们对于子查询进行了深入的优化,使得一些数据库的查询时间有了数倍的提升。另外,对于元数据的访问我们也进行了一些优化,使元数据的查询得到很快地响应。除此之外,我们针对一些特定的数据源,对高级配置进行了优化。

2.ETL部分也做了一些提升,对于自服务数据集,我们支持数据的排序能力,排序之后可以进行抽样的能力。

3.可以通过MDX表达式的方法,完成多维数据库复杂的查询。

 

02

数据可视化展现

看完自服务数据准备之后,再来看在数据可视化方面,我们又做了哪些改进。

首先,是大屏能力上的提升。V8.5大屏展示的背景支持动画效果,您还可以自定义这个动画效果;而且大屏在性能上也有很大的提升,展示起来体验会更好。

第二,我们还增加了很多种类的组件,包括3D地图、漏斗图组件、时间轨迹图,比如说大家在网上经常看到的世界各国的GDP,通过时间轨迹图就可以很好地做出GDP随时间变化的效果。接下来是关系图,直方图、桑基图、k线图、旭日图、轨迹图等。

第三,除了组件之外,我们在GIS地图上也做了很多的增强。大家知道我们之前的版本是支持百度地图的,现在我们在新版本里增加对高德地图、Google地图的支持,如果您有一些海外业务,这是很有帮助的。此外,还能自定义地图的层级,您可以直接看到省级、市级、或者街道级的地图等等,这些场景都能够通过配置方式去支持,因为我们支持不同种类的地图,也实现了数据跟地图的必要性匹配能力,在地图切换上也变得非常方便。

第四,同时V8.5还能满足更多企业客户的个性化需求。

报告的分享,是指一个人制作了报告之后可以分享给其他人,或者其他部门,或者是通过邮箱分享,这样可以更好地实现资源分享。被分享人看到这个报告之后,他只能够根据自己的数据权限看到他权限范围内的数据内容,所以不用担心分享会不会发生信息泄露的情况。

接下来这个功能是针对自由式表格的。有时候您可能希望这个表格中不同的区域来自于不同的数据源,这种情况我们现在也可以支持。在这个表格中,您的销售成本可能来自于成本数据集,后面的销量、销售额来自于销售数据集,通过自由式表格,您可以在一张表上很容易地就把来自不同数据源的数据组合起来,简单实现您想要的结果。

下面是这部分中最烧脑的内容,称为维度间的计算集成。我们知道您做一张报告的时候,会拖一些维度,可能还会有一些度量展示,通常来说拖入的维度都会进行计算。所谓维度计算集成是什么意思呢?就是说可以通过多种表达式来实现一些跟您拖拽到报告上的维度无关的一些计算效果。比如这个图,左侧有省份、产品种类和销售额,如果想看的信息是每个省份品类销售额在全国品类销售额的占比,您可以通过维度间计算来实现。我们现在维度间计算支持三种类型,包括固定维度表达式、排除维度表达式、还有包含维度表达式,分别表示只依照指定维度,排除一个绑定的维度,除绑定维度外再包含一个指定的维度。这个可能稍微有些难以理解,但是功能在特定情况下效果非常好,如果大家有兴趣,下来之后可以去了解。

我们知道在保险行业有一些特别的合作要求,比如说保险数据必须要定期发给保监会。我们针对保险行业的特殊要求,也专门做了功能实现。现在能够满足什么需要呢?比如需要把数据下载,以便之后发给保监会,当数据量比较大时,比如百万级别,下载等待时间会很长。我们现在把它推到后台去处理,处理完成之后推送消息,提醒你下载已经完成。同时,当您想展示很大的数据量时,我们可以让您把它放到后台去,这样就不会影响其他操作。

完美的业务预警能力。这个对某些场合来说,是非常有价值的功能。对于一些关键的业务指标,您可能希望当这个指标出现异常情况时,得到及时的预警。比如说实时销售额如果出现陡降,会不会发生意外的情况,这里面通过可视化的形式设置一些预警的阙值,当这个问题发生时,能够第一时间通知到您。通知方式包括很多途径:PC端浏览器上有消息中心,移动APP也有消息中心,或者通过微信、邮件的方式都能够收到预警的通知。

除了业务预警能力,下面要讲的是系统的预警能力。整个系统在运行过程中,随着使用数据量逐渐增多、人数的变化、查询的变化,可能会出现一些意外的情况。针对这种情况,我们提供实时系统预警功能。我们来看一下,系统预警会监测哪些内容。比如说存储数据的磁盘快满了,它会提示预警;因为我们是支持分布式的,多个节点,如果有一个节点死掉了,它也会及时地预警,让管理员进行干预;再比如说换jar的时候有个节点版本不一致;或者说查询时间过长,网络发生中断、数据库宕机;又比如说并发用户数超过了购买的license的核数;又或者我的内存分配不够,而且查询量又很多,会频繁发生垃圾回收的情况,严重影响系统的性能,也能够进行报警。再者说查询计算量很大,CPU长时间处在高位,都可以呈现预警的能力,这个对管理员而言,是个非常友好的功能。

03

移动端的增强

我们的移动应用,有着全新的视觉体验和有趣的交互微动效。通过扫描二维码的方式,就可以增加目标服务器,无需手动输入。连接服务器后,输入用户密码登录app进行分析操作。首先看到的是门户,您可以把最关心的报告放在门户首页,对感兴趣的组件可以进行全屏、放大。接下来是收藏,您可以把感兴趣的报告放入收藏夹。您可以在查看一个报告时,切换同一个目录下的其他报告,这个是非常人性化的。在安全管理中,支持密码的重置,以及忘记密码的处理,同时也支持移动端常见的手势密码登录。另外,移动端还可以支持切换两种不同的主题,浅色主题和深色主题。

除此之外,还有一些其他的功能。扫一扫,比如您在制作报告的时候,因为制作报告是在PC上制作,制作时我想实时查看在手机里效果是怎么样的,只要在手机上对报告的地方扫二维码,报告效果就会很方便地显示在您的手机上了。移动分析除了刚才展示的这些,我们还有其他的增强,比如说参数组件,更加符合移动端的使用习惯,还有交互、动效的优化。对移动端来说,我们每个版本都会持续不断地做一些数据增强,可以使您在不需要等待的情况下进行移动分析,提高移动端的使用体验。总的来说,我们这个版本的移动端做了挺多的增强,大家有兴趣可以下载看一看。

Yonghong Z-Suite V8.5的大数据部分

Big data的内容,分成两块来讲,第一个是性能、功能上的优化,第二是可靠性的优化。

01

性能、功能的优化

在性能方面,第一就是解决大数据高精度计算,性能会变慢的难题。我们在这个版本实现了一个技术,使得在大数据量高精度计算下性能依然非常好,这个能力非常有趣。第二能够去支持多个Reduce节点的计算,这也是一些客户有需求的。通过多Reduce节点可以把用户的查询分散到不同的节点上去做,减少很多节点内存和压力。如果你有一个Reduce节点,先把这个结果返回回来,可以进行后续处理,所以整个过程中是流式处理,体验上要好很多。第三点是功能增强,我们知道MPP是支持SQL语法的。我们现在进一步的完善,增加了Case when的支持,使得SQL支持更加完备。

此外,在性能方面,还做了一些其他的提升。我们知道,节点之间需要很多消息的来往,我们对这方面进行了优化,把一些不必要的消息合并掉,因此消息数量减少了,性能也有了很好的提升。而且处理消息时,有些消息可以视为无效,避免系统资源的浪费。对于集市导数,我们支持切割导数,可以均匀地切割。数据的分布经常是不均匀的,当把数据切割成几部分导数的时候,您会发现有的任务导的非常快,有的多的依然是非常慢。我们现在允许您来自定义切割的范围,是均匀分布,因此可以提升导数的性能。

02

可靠性的提升

第一,我们增加了可调试能力和日志的可追踪性,当出现问题时可以快速定位。

第二,对元数据,我们之前已经做完了去中心化的处理,现在是拆分处理,它的好处就是您希望把这个集市的数据,从一个集市切割到另一个集市,现在只要拷文件就可以了,非常方便。

第三,对于集市数据的精度来说,不同的集市数据希望精度是不一样的,之前我们只能是通过全局进行配置,现在可以通过文件夹进行配置。

第四,这点是非常重要的,不同优先级任务的隔离。系统中肯定会包括管理型任务、计算型任务,现在把不同任务都用不同的优先级进行处理,即使是您的业务非常非常重,进行管理操作、心跳都不会受影响,自然而然系统可靠性也会得到提升。

Yonghong Z-Suite V8.5的AI部分

最后看看AI方面的能力。

我们在AI上支持通过PMML方式导出,您可以导出再放到其他的系统去。除此之外我们还有其他算法分析的增强,比如说您做的相关性分析的结果,可以导入表格,进行后续的一些分析,还可以把关联规则、算出来的结果导到数据库。这是AI方面的提升。

最后总结一下,我们在Z-Suite V8.5里面总共包含哪些内容。

第一,自服务数据准备的性能提升,包括子查询、元数据优化、数据库可配置的优化。

第二,可视化方面,增强大屏展示效果,性能的优化,大屏动画的支持能力,还有非常多的组件,地图能够支持Google的地图、高德的地图,加上之前支持的百度地图,能力已经完备起来了。还有我们对自由式表格支持多源数据的能力,是一个很大的提升。维度间计算集成,这个在一些场景下价值是非常大的。报告的分享能力,在分享的时候又能同时保证报告数据的安全。还有报告实时的预警,使您在业务出现一些异常的时候,能够及时得到预警,采取相应的措施。就典型保险行业来说,我们能够让您对于数据的下载需求,通过后台队列任务的形式进行。

第三移动端的诸多增强,使得移动分析变得更加快捷。系统运行状态监控,使得实时系统状态信息能够及时发给相应的人员,采取相应的措施。还有,在数据集市、性能、功能、可靠性方面的一系列提升。

第四此外,在AI上包括对PMML导数的支持,算法增强能力等等。

以上就是我今天要给大家分享的主要内容。Yonghong Z-Suite V8.5,是一个满载干货的版本,是一个诚意满满的版本!我们希望每一个用户都能因为Yonghong Z-Suite V8.5,让大数据释放出更多价值!

 

 

banner
看过还想看
可能还想看
热点推荐
Yonghong的价值观:以卓越的数据技术为客户创造价值,实现客户成功。