AI与大数据分析结合,就像给大象装上翅膀

作者: admin  来源: 未知  时间:2017年12月01日

 
“啤酒与尿布”的故事非常经典。
 
在某些特定情况下,“啤酒”与“尿布”两件看上去毫无关联的商品经常会一同出现在购物篮中,这一销售现象引起了美国沃尔玛超市管理人员的注意。
 
为了搞明白原因并利用它,当时的管理人员采用的方法是实际调查。终于发现,有婴儿的美国家庭中,负责照看婴儿的年轻父亲到超市采购时,在购买尿布时往往会顺便为自己购买啤酒。
 
如果把这件事放在今天,完全不用花十几天的工作日做调查,仅利用深度分析工具,十几分钟就能找出了答案。“这个故事的实质其实就是商品的交叉销售,放到今天就犹如电商网站的商品推荐。研究这种关联关系的方法就是购物篮分析,购物篮分析可以帮助我们在门店、网站的销售过程中找到具有关联关系的商品,以此推动销售额的增长。”永洪科技咨询总监符鹏飞在11月18日的北京用户大会上,面对记者时对这一问题进行了解释。

 

永洪科技咨询总监符鹏飞
 
 
采用了当今的大数据分析工具的一站式、敏捷性特性,与搅动世界发展的AI技术结合,让大数据分析更容易了。

 

AI与数据分析结合正在改变产业格局
 
技术社会发展的引擎正由互联网逐步转换为AI。以前,企业面临互联网化的挑战,互联网+引领潮流。现在,AI的崛起正改变着企业间的竞争力,吃螃蟹者正领先进入“人工智能时代”。

 

符鹏飞认为,大数据分析领域应用AI还属起步阶段,一切都处于探索期,但是效果却令人惊奇。永洪旗下Yonghong Z-Suite套件就包含了具备AI能力的深度分析模块,目前已经支持90%以上的常用算法,到今年底将支持95%以上的常用算法。截至目前,已有不少客户已经在这一平台上开展自己的AI工作,并取得了一定的成果。

 

要对数据进行更深度的应用,需采取深度分析算法或数据挖掘算法,通过机器内部的算法自动对数据规律进行运算,并对结果进行预测,该算法不预先对数据的分布和变量间关系做假设。

 

符鹏飞对BI和AI进行了简单的类比。BI是用历史数据,进行数据特征的提取,发掘其规律性,“告诉你已知的”。具备AI能力的深度分析应用则是用历史数据进行自我提炼、深度学习、分析,进而建立模型进行预测,“告诉你未知的”。
 
从使用对象上看,BI使用者以前大都是具有专业技能的“高富帅”,而用具备AI能力的深度分析的则可以是企业的普通人,既可以是IT技术人员,也可以是业务人员。
 
符鹏飞认为,目前大数据分析对AI技术的应用可分为两类:一是走一体化路线,如永洪科技,整合BI与AI,向用户提供使用更简单、效果更好的平台型产品;另一类则是提供整合AI的工具类产品,定位更专业,更偏重专业技能人才应用。
 
引入AI,深度分析的核心能力是预测变化
 
企业积累了大量的业务数据,亟需功能强大的数据分析工具,揭示数据规律,为企业的经营决策提供可靠信息。传统的数据分析只局限于反映企业过去和现在的经营状况,管理者无法从报表展示中直接得出问题结论,企业的数据也无法发挥真正的价值。
 
改变从AI开始!
 
永洪科技在深度分析中集成了复杂的统计算法和机器学习技术,能够从海量数据中挖掘具有潜在价值的关系、模式和趋势,构建数据模型,做出预测分析,帮助企业及时了解自身问题,发现市场机会,做出科学的经营决策。

 

符鹏飞向记者演示了用户深度分析的原理和应用步骤:
 
第一步:通过平台提供的计算力,对接需要的数据;
第二步:自服务准备建模,完成数据准备的过程,处理干净数据之后可以作为数据深度分析的入口;
第三步:选择算法,通过深度分析的可视化工作流,用户可将数据集拆分为测试集和训练集,选择特征列和目标列,构建算法模型,对模型进行训练、得出模型参数,利用测试集对模型评分,调整参数/特征、使模型更具准确性;
第四步:最终应用于数据集和可视化报告,得到预测分析结果。

 

Yonghong AI产品架构
 
符鹏飞介绍说,永洪深度分析既提供经典统计方法,如一元线性回归、逻辑回归、K-means 聚类、HoltWinters 时序分析、关联分析、决策树,满足用户常用分析场景,简单可视化操作,即可轻松构建模型,完成预测分析;又支持用户调取R 包函数,定制分析算法,充分发挥R 中更丰富、更高级的统计分析与预测分析功能。
 
采用AI,让永洪深度分析用起来更简单
 
“AI+大数据分析并不是高不可攀,每一个人都可以使用,只要你有需要。”符鹏飞说,这就是永洪科技在深度分析方面树立的一个新的“易用、实用”的标杆。

 

在永洪科技一站式数据分析平台Yonghong Z-Suite V7.5 版本进行了功能模块化升级,深度分析作为一个独立的功能模块,拥有全新的操作界面,实现更专业的机器学习功能。符鹏飞介绍,它的优势体现在五个方面:
 
第一,降低 AI 应用门槛。企业业务发展和决策中,经常需要预测型和建议型的指标辅助。以往,这个过程往往由于专业性通常是由专业数据挖掘工程师完成,这个门槛能不能降低,由非专业的数据挖掘工程师或者普通的业务用户来完成?永洪自服务数据准备功能,更便捷的完成数据治理。而可视化操作页面,业务用户通过拖拽式完成深度分析应及模型校验。
 
第二,提升计算性能。永洪MPP集市通过分布式计算,支持大数据规模的机器学习算法,包括kmeans聚类、逻辑回归算法等。在机器学习的过程中,数据查询、模型训练、模型评分都可以基于MPP计算。分布式计算的应用将数据计算的巨大工作量分散在多台服务器上,保证了大数据规模机器学习的处理性能和响应速度。
 
第三,实现数据分析与应用一体化。永洪深度分析与敏捷BI构成一站式分析平台。用户在数据连接模块连接并准备数据后,可直接利用高质量的数据进行数据建模,实施数据模型,预测分析数据,制作数据报告。从构建深度分析模型到可视化报告分析,各功能模块之间无缝衔接,一站解决所有数据问题。核心是:自服务数据准备与深度分析结合,深度分析算法产生的数据结果可以被BI应用复用,BI与深度分析结合,做联动与深度分析。
 
第四,可扩展,包括算法支持与算法扩展。不熟悉R 语言的分析人员,可以利用预定义的常用分析算法,能快速上手,自助挖掘数据、预测形势。对专业的数据分析师,支持定制分析算法,R 深度用户可访问有权访问的任何R 包,构建深度分析模型,自由灵活的预测分析数据。

 

当然,不得不提可视化分析。可视化的工作流帮助用户实现自服务建模。轻松拖拽操作节点,形成完整的工作流,即可完成数据集拆分、特征列选择、模型构建、模型训练、模型评分的完整过程。同时,永洪深度分析与敏捷BI 相结合。用户在制作报告时,可直接使用构建的深度分析模型,通过可视化图表的形式展现分析预测结果,输出可视化数据报告,便于业务人员进行可视化评估。
 
在核电站设备检测预测这一重大项目中,核电站柴油机及各控制系统使用了大量的继电器,在运行过程中可能会出现部分继电器不可靠。为了提高继电器的可靠性,需对继电器进行预防性维修,及早剔除不合格或者接近不合格的继电器。通过对测点收集的数据进行预处理及探索,并根据历史积累的训练数据建立分类模型,从而更智能地判断继电器是否合格。实践证明,这种模型分类效果良好,不存在明显的欠拟合或过拟合现象。

 

永洪科技利用AI的深度分析方案已经在电力、制造、金融、交通、公安、物流等行业得到的应用,发挥出了巨大的能量与作用。不过,AI在数据深度分析上应用才刚刚开始,潜力和能量绝对值得想象。
版权声明

 

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2020 北京永洪商智科技有限公司
京ICP备12050607号 京公网安备110110802011451号