banner

钱卫宁:大数据为技术和应用带来全方位挑战

作者: 大数据观察来源: 大数据观察时间:2017-07-15 14:33:400

随着新一代信息技术创新和应用的普及,大数据的研究已经引起业界乃至多国政府、高校、研究机构重视。大数据应用将带来怎样前所未有的改变?在感受大数据给各行各业带来生机的同时,还面临哪些问题和挑战?为此,光明网记者采访了华东师范大学云计算与大数据研究中心钱卫宁教授。

                            华东师范大学云计算与大数据研究中心 钱卫宁大数据的核心是数据管理与数据利用光明网:当前对大数据的定义众说纷纭,您认为大数据必须具备哪些要素,怎样定义更为准确?钱卫宁:大数据其实是在数据生成、数据传输等技术日渐成熟的背景下,对于围绕着数据的有效管理和高效利用而产生的一批新兴应用以及相关的问题和技术的总称。目前大家都认为其中的数据量大、数据产生速度和处理速度快、数据多元化、数据质量低是其中比较突出的问题。这些问题常被概括为3V或4V。事实上这些问题以前也有,只是在大数据时代显得尤为突出。随着我们对大数据问题的认识的深入,以及相关技术的发展,大数据的问题会逐渐被分解成数据管理、数据分析与挖掘等技术问题,以及围绕着科学数据、决策数据、Web数据的应用问题。我认为大数据的核心是数据管理与数据利用,“大”其实是对目前不能有效管理与利用数据的概括,而不仅仅指数据量。可用的数据会越来越多,而数据的利用的需求也会增长和变化。现在我们所面临的大数据问题会被逐渐解决,但新的大数据问题还会产生。大数据的问题和技术会随着时间有所变化。大数据在应用领域造成的影响是前所未有的光明网:虽然大数据之于互联网的发展,仍然是一个新生事物,但是已经给社会经济带来巨大变化,怎样评价大数据的里程碑意义?钱卫宁:互联网大数据是和公众最接近的大数据应用。但是在科学研究、企业和政府决策、金融等领域的大数据应用对我们生活的影响力可能会更大。对有些行业,数据的利用可能会颠覆原有的采购、生产、销售等决策流程,进而颠覆整个行业;随着利用价值的提高,数据的资产化还有可能催生新的行业。应该说,大数据的问题由来已久,解决技术是相关技术的自然延伸,但在应用领域所造成的影响将是前所未有的。立法和机制建设时数据安全的保障光明网:大数据带来机遇的同时,也遇到不少挑战和问题,比如数据安全的挑战等等。应对这些挑战,需要怎么做?钱卫宁:在网络环境下,安全和隐私问题是大数据的诸多挑战之一,可能也是公众最关心的问题。在数据管理、数据分析与挖掘等技术层面有一些针对数据安全与隐私保护的技术。不同应用对安全和隐私保护有不同的需求。在保障信息自由流动以促进数据利用的同时,提供安全和隐私保护还需要相关立法和管理机制。数据监护和服务模型是大数据成功应用的关键光明网:除了数据安全的担忧,您认为当前大数据发展过程中还有哪些重要的问题亟待解决?钱卫宁:大数据对技术和应用所带来的挑战是全方位的。我个人对其中以下问题特别关心:一是新型的数据监护和服务模型。数据资产化以后,数据监护将成为一个新的核心问题,它是对数据的产生、收集、保存、维护、处理、利用的整个生命周期的管理。数据安全与隐私保护也是数据监护的一个方面。有效的数据监护和服务模型是大数据从一系列的问题走向成功应用的关键。二是面向用户的数据分析和可视化工具。大数据应用的一个特点是非IT行业用户也能充分享受到数据服务。分析,特别是可视化分析是实现这一目标的重要技术工具。数据分析和可视化工具是让大数据达到用户的一个的触手。三是数据系统基础设施建设。大数据应用的另一个特点是数据的综合利用。这需要把孤岛式的数据库系统变成互联互通的数据系统基础设施。这类基础设施一方面将降低数据管理的成本,另一方面也会使得数据的综合成为可能。高校在技术预研、学科交叉、人才培养等方面存在优势光明网:高校对大数据相关领域发展起到重要作用,请问华师大成立大数据中心的目的是什么?高校大数据科研机构应该如何与企业、政府等一起为大数据的发展发挥作用?钱卫宁:华师大成立大数据中心的目的是集中校内与数据相关的学科的优势,支持学校优势学科向更高层次发展,促成学校“学科交叉”战略的实施和落实,引领我国相关学科发展;并为跨学科的研究提供数据采集、整理、存储、维护、分析等管理任务提供全方位的支持。高校的研究机构在技术预研、学科交叉、人才培养等方面存在优势。华师大的大数据中心将在相关学术研究、技术开发、面向科研的大数据管理与服务、面向中国特色应用的相关技术研发方面发挥自身优势,为企业和政府做好技术预研、技术提供、技术咨询、人才培养等服务。大数据产业的发展应该由市场来推动和决定光明网:有人认为当前大数据发展“过热”,在很多地方,大数据被当成一种噱头。您认为,大数据产业应该如何发展,避免发展中的泡沫问题?钱卫宁:大数据产业的确有“过热”的苗头。我觉得一方面,大数据产业的发展应该由市场来推动和决定;另一方面,对于大数据概念的普及、相关概念和技术的科普、由相对中立的机构进行的技术和产业分析将在一定程度上遏制大数据泡沫化。华东师大成立大数据中心的任务也包括在学术和技术层面,为社会和政府提供咨询。数据开放是大数据应用成功的前提之一光明网:百度创始人李彦宏不久前提出“数据开放”的理念。您认为,数据开放会给大数据产业发展带来怎样的新机遇?钱卫宁:数据开放是大数据应用成功的前提之一,也是目前国际上相关组织、企业和政府在共同努力的目标。由于受到安全、隐私、商业秘密等因素的影响,企业的数据开放只是数据开放的一个部分。科学数据、政府数据的开放程度,应该也将会超过企业。数据开放将会催化依赖于数据的新兴应用以至于行业的诞生,也会培育健康的以数据资产化为基础的产业生态链。

banner
看过还想看
可能还想看
热点推荐

永洪BI
更敏捷、更快速、更强大

申请试用
Copyright © 2012-2024开发者:北京永洪商智科技有限公司版本:V10.1
京ICP备12050607号-1京公网安备110110802011451号 隐私政策应用权限