大数据时代的无线电监测

近年来，“大数据”已经成为一个热点词汇。最早提出大数据概念的全球知名咨询公司麦肯锡认为，“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长浪潮的到来。”无线电管理领域也不例外。随着无线电业务的迅猛发展、无线电设备的日益增多，以及无线电监测设施的不断建设，对于数据量越来越庞大的无线电管理，特别是无线电监测来说，已经不可避免地需要拥抱大数据时代。

截至2013年年底，我国已经建成1000多个固定监测站、上千个移动站、1000多个可搬移设备。利用这些监测设备开展的频谱扫描、信号测量、占用度分析等工作产生了大量的监测数据。这些数据类型复杂多样，除了频谱扫描数据，还有IQ数据、AD采样数据及音频、测向和定位数据等。大量的监测数据并不提供现成的有价值的信息。如何通过强大的机器算法更迅速地完成数据的价值“提纯”，为无线电管理提供快速的技术支撑，切实解决资源是否摸清、台站是否管好、干扰查处是否及时、保障工作是否有效等实际问题，是目前大数据背景下无线电监测亟须重点研究的方向。

以大数据处理为核心的网格化监测

《大数据时代》的作者维克托说：“大数据的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，绝大部分都隐藏在表面之下。”如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。

延伸至无线电管理领域，如果说监测数据是财富，那么网格化监测数据就是宝藏，而大数据技术就是挖掘和利用宝藏的利器。没有强大的计算能力，数据宝藏终究是镜中花;没有网格化监测数据的积淀，大数据技术也只能是杀鸡用的宰牛刀。无线电监测网是一种典型的传感网，而网格化监测的数据采集、存储、处理是一种典型的大数据技术架构。依靠网格化无线电监测设施，利用大数据技术，分析挖掘海量无线电监测数据，从而实现统计、分析、发现、预测等功能，充分发挥无线电监测数据效能，为无线电管理提供有用信息。

通过网格化监测和大数据技术的结合，无线电资源管理手段将得到大幅提升。网格化监测覆盖广、频段宽、时间长，可以全面掌控频谱资源使用和演变动态，并且通过广域、全时监测，实现多域的统计和深度分析，获取频谱态势也将更加主动。而且，随着监测“粒度”细，数据挖掘深，可以实现频谱管理的精细化。同时，台站管理功能也将得到进一步强化。利用监测辅助台站管理，实现对在用频率和发射设备的远程监控，分析监测检测结果，掌控台站工作状态，提升台站监管的时效性和覆盖率。此外，还可以更好地服务经济社会发展。数据的深度挖掘可以为业务使用者提供电磁环境态势，为公众和企业提供电磁环境数据，打造开放的无线电监管平台，实现数据共享，发挥无线电管理行业优势，为国防建设、社会发展作贡献。

四大关键技术助力监测数据“深加工”

无线电监测已经积累了海量数据，这些数据还在不断急速地增加，给无线电监测带来两个巨大的变化：一方面，在过去没有数据积累的时代无法实现的应用现在终于可以实现;另一方面，从数据匮乏时代到数据泛滥时代的转变，给数据的应用带来新的挑战与困扰。如何从海量数据中高效获取数据，有效深加工并最终得到感兴趣的信息变得异常困难，需要具备下面4个关键技术：

一是数据存储和预处理技术。监测节点采集了很多数据，如果要将这些海量数据全部传输到数据中心进行有效的分析统计，会给现有通信网的传输能力和数据中心的处理能力带来很大挑战。利用大数据分布式存储集群概念，可将原始采集数据做一些简单的清理和预处理工作，将其暂时缓存在监测节点端。数据预处理有多种方法：数据清理、数据集成、数据变换以及数据归约等。这些数据预处理技术可以大幅提高数据挖掘的质量，并减少实际挖掘所需要的时间。

二是分布式计算技术。分布式计算是一种把需要进行大量计算的工程数据分成小块，由多台计算机分别计算，再上传运算结果，将结果统一合并得出数据结论的技术。目前常见的分布式计算项目通常使用世界各地上千万志愿者计算机的闲置计算能力，通过互联网进行数据传输。如分析计算蛋白质的内部结构和相关药物的 Folding@home项目，该项目结构庞大，需要惊人的计算量，由一台电脑计算是不可能完成的，借助分布式计算可以相对廉价地完成计算任务。其他还有如模拟百年以来全球气象变化，并计算未来地球气象的Climateprediction.net;主攻医药领域，以寻找抗癌药物和天花疫苗为主的 United Devices等项目。在网格化监测中，可利用监测节点的计算功能实现这一技术。各个监测节点(任务服务器)在监测中心(作业服务器)的统一调度下，根据不同的业务类型(客户端)和工作目标(客户端)，分布式计算完成各自的数据挖掘任务，将结果上传到监测中心，再进行高层次的统计，形成有价值的数据处理结果。

三是数据挖掘技术。数据挖掘(Data Mining)是通过分析每个数据，从大量数据中寻找其规律的技术，主要有数据准备、规律寻找和规律表示3个步骤。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。网格化无线电监测中的数据挖掘主要是通过分析和统计监测网中各个监测设备产生的频谱扫描数据、IQ数据、解调结果数据、占用度统计数据等，生成各种频谱资源状态和趋势、台站工作状态、空间信号分布等。

四是数据处理结果的可视化。可视化(Visualization)是利用计算机图形学和图像处理技术，将数据转换成图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术。在无线电监测工作中要将看不见的频谱资源用可视化手段展现非常重要。无线电监测数据的可视化能够把抽象的监测数据变为直观的、以图形图像信息表示的、随时间和空间变化的物理现象呈现在管理者面前，使他们能够观察、研究。网格化监测平台的可视化重点要做到：报表模板灵活、图表形式多样、OA集成展现、移动跨平台访问，使管理者看得明白、管得方便。

如今，大数据已经渗透到每一个行业和业务职能领域。作为国家频谱资源的管理者，无线电管理机构要准确把握形势，积极应对挑战，重视数据的潜在价值，关注大数据前沿技术，加快推进其实际应用，使大数据技术早日应用于无线电频谱监管领域，推动无线电管理事业发展。