大数据处理技术方向

1、大数据处理的领域和范畴

在2000年，世界范围内绝大部分信息还是以模拟形式记录的，而今天，世界上90%以上的信息都是数字化的，可以毫不费力的进行存储、加工、操作和发送，整个世界成为了一个数字化记忆的世界。从2009年开始，影响科技发展的四大要素——内存、存储性能、处理能力、网速——在规模与速度方面成倍增长。同时，数据已经渗透到各个行业和业务职能领域，医疗记录的电子化、金融交易记录、物联网设备的泛化、视频信号激增，以及Web 2.0、社交网络、智能手机等等，带动数据呈指数增长，我们迎来了一个以“数据为中心”的大数据时代。

当前，数据是重要资产的理念已经在中国各行业形成共识，数据的真正价值在于能够洞察企业或者政府管理内部规律，数据的洞察力成为各类企业和政府管理的核心竞争力的一个重要标志。社会发展开启了大数据时代，同时，大数据也将反作用于社会，将给社会带来巨大的变革。大数据为企业和政府带来精细化管理、服务创新等新的机遇，能够更好地实现“以服务为中心”理念，提高政府管理效率和企业的客户满意度。

2、大数据处理的研究和在政务领域的应用

利用大数据处理和资源池建设技术，可以改变传统的电子政务的模式。在城市管理的智能化体系建设过程中，物联网感知、信息处理、协同处理、数据共享等等多种协同技术产生了大量与社会行为、管理行为相关的重要数据，其数据规模往往达到了以往难以想象的规模，其中，关键数据对于城市管理中的决策、应急、协同、民生、社会发展往往起到了至关重要的作用。

城市管理运行过程中产生了大量的结构化和非结构化数据，几乎遍及社会的各个领域。大数据资源池建设能够统一管理整个城市的大数据，是一个逻辑集中，物理分散的数据库集群；它的整合内容，包括了全部政务信息资源，以及城市运行中需要的社会资源（包括社会公开资源及政府有权限提取的非公开资源）。通过建设政务大数据中心，可以实现跨领域、跨行业的信息共享，支持跨部门的业务协同，并借助数据挖掘、系统仿真、智能检索等技术手段，为辅助分析和决策提供分析手段和支撑数据。

运用云计算、分布式计算、数据交换、数据仓库、数据挖掘以及各种非结构化数据处理等各个层次的技术建设大数据处理平台。大数据处理平台总体技术架构分为数据源层、数据接口层、基础设施层、平台架构层、数据管理层、工具/引擎层、应用和分析层。如下图所示：

图1大数据中心总体技术框架

大数据处理技术在城市管理中得到了越来越广泛的运用。其应用框架如下：

图3政务大数据中心的应用框架

其中，大数据处理技术的应用与智慧城市有着密不可分的联系，由于智慧城市的建设带来数据量的爆发式增长，大数据就像血液一样遍布交通、医疗、生活等智慧城市建设的各个领域。无论是信息、知识还是智能，都是以数据为载体而存在，智慧城市是否真正“智慧”源自大数据，大数据将推动城市管理从“经验治理”转向“科学治理”。如何挖掘大数据的潜在价值，并为城市治理提供可靠决策和建议，越来越成为智慧城市建设的关键。