大数据应用面临三大技术挑战

5月22日，在第六届中国云计算大会大数据核心技术与应用论坛上，百度大数据部总监李钢江指出，行业拥抱大数据正遭遇三大技术挑战，即数据智能技术缺失、数据管理与挖掘技术缺乏，以及数据存储与计算规模瓶颈。大数据的发展离不开数据智能技术和管理平台的支撑，只有充分发掘数据的价值规模，才能满足各行业的不同需求。

演讲中，李钢江还分享了百度大数据引擎，它包括开放云、数据工厂、百度大脑三大核心组件。最底层是开放云，是大数据引擎运行的基础构件，通过分布各地的数据中心提供数据存储和分布式计算。中间部分是数据工厂，提供数据管理和分析能力。最上层是百度大脑，用来实现智能数据分析及预测功能。百度大脑融合了全球领先的深度学习算法、数据建模、大规模GPU并行化平台等技术，实现了无时无刻都在学习与成长，它拥有200亿个参数，构造起世界上最大的深度神经网络。

另外，李钢江特别介绍了百度的大数据预测。今年春节期间，中央电视台《晚间新闻》与百度合作，首次启用百度地图定位可视化大数据播报了国内春节人口迁徙情况，该报道建立在百度推出的人口迁徙产品上。百度迁徙利用百度后台每天数十亿次基于地理位置的服务定位数据进行计算分析，展现了春节前后人口大迁徙的轨迹与特征。中国疾病预防控制中心与百度开展大数据合作，结合疾控大数据与百度大数据，借助大数据引擎的技术力量，建成中国首个流感预测系统，对流感进行预测，服务民生。而即将发布的百度高考预测，通过对近年高考作文题目及社会热点话题的分析，帮助考生预测高考题目，指导考生作文备战方向。

作为一家具备大数据基因的公司，百度自成立之初就开始就收集互联网数据。据悉，百度目前已在全国建立了多个大型数据中心，其中，北京、山西和内蒙三地数据处理器超过十万台，拥有70万个CPU和4000台舞台服务器，其数据中心位居亚洲首位。