公安大数据应用在实战中的思考和实践

近年来，伴随着全国各地公安机关信息化的迅猛发展，数据共享和深化应用的需求空前高涨。但是，随着数据的汇聚和数据量的爆炸式增长，传统的数据库和数据仓库技术出现了诸多瓶颈问题，传统的数据存储和处理方式都面临着效率低、成本高、可靠性差、扩展能力不足等不可逾越的障碍。以搭建“大数据”处理和分析平台为突破口，寻求公安信息化应用新的效益增长点，已经成为公安机关信息化应用的热点问题。

案例一：电子警察疑似套牌车自动识别系统

（1）实例目标

这个实例目标是在近 12 亿“电子警察”抓拍车牌数据中查找出套牌车辆，可称为“疑似套牌车模型”。和通用的数据挖掘方法一样，对于大数据的处理原则也是“以业务规则为核心，以数据资源为基础，以运算能力为支撑”。

(2) 操作流程

第一步，业务规则制定。这个实例的业务排查规则是: 在一个较短的时间段内，同一车牌不可能被不同路口“电子警察”抓拍设备抓拍到。这其中涉及到三个变量，一个是时间，第二个是车牌，第三个是“电子警察”的地理位置。在与交警部门进行了业务规则研究后，最终确定的数量是:在 5 分钟之内，如果在距离大于 10 公里的“电子警察”同时抓拍到同一个车牌，这个车牌可能就是套牌，因为车速一般不能超过 120 公里/小时。另外，以“电子警察”位置经纬度测算其直线距离，比一般道路实际距离要短。

第二步，数据准备。如果面对的是千万级的数据，常规 SQL 查询语句就可以解决这个问题。数据量如果再大，采用分区表的形式一般也可以解决这个问题。但是，此实例中，遇到的第一个数据是车辆抓拍数据。数据量是 3 年“电子警察”抓拍的数据总和，目前南通的抓拍量大约是一天 800 万左右，最后 3 年的数据汇聚到 12 亿左右。第二个数据是“电子警察”的地理位置数据，可以从 PGIS 取得支撑，取得全市“电子警察”的经纬度信息。将本市所有“电子警察”卡口的坐标位置建立辅助表，如表 1 所示。记录每个卡口的经纬度，为计算不同卡口之间的距离准备。最后，还有一个重要的数据———时间。全市“电子警察”抓拍设备必须进行统一授时，否则这个亿级以上的数据模型就失去了意义。

第三步，结果。这个运算模型在 10 台 PC 服务器组成的 HADOOP 集群中，以 40 个初始 MAP 进行分布式执行，经过约 50 分钟执行完毕，共排查出394 辆疑似套牌车牌。这个效率已经基本能够满足应用要求。

( 3) 结果应用。

(人工辅助)技术部门和交警部门共同研究分析了上述结果，发现在这 394 辆车里，有约三分之二( 也就是 250 辆左右) 是因为自动识别系统的误判造成的错误信息( 如 B 和 8、D 和 0 容易出现误判) ，这说明公安机关抓拍设备的识别率还要提升。在余下的约 150 辆车中，已经在控的约有 60 辆，其他 90 余辆车通过人工辨别、研判，确认为新发现的套牌车，现已全部纳入了套牌车布控查缉系统开展后续工作。

案例二：违法犯罪人员入住宾馆规律

通过多方努力，我们汇聚到 10 年的旅馆数据约5 亿余条，10 年内本地在押的人员数据约 65 万条。利用计算机集群，首先建立了比对模型，根据 HADOOP开展比对来组织数据，将 65 万条人员数据放到 5 亿条住宿数据中去找相同项。以“1O + 1”的模式，即10 台服务器作数据节点，1 台作为控制节点，“跑”一遍的时间是 50 分钟左右。最后得到 10 年间在押的人员曾经入住旅馆数据约72. 1 万条。

( 1) 全部在押人员各时段入住旅馆情况的占比分析，具体情况见图 3。

这是一种比较常规的分析方式。面对 70 万的小数据，从 10 年全部在押人员自身入住情况对比，可称为“自占比”分析。从上图 3 可以看出，在押人员入住“自占比”的第一峰值在 22 时左右，第二峰值在 13 时左右，谷值在 6 时左右。这说明，按照 10年来积累的数据看，我们关注嫌疑对象入住旅馆的重点时段应该是夜间 10 时左右和下午 1时左右。

( 2) 针对全部入住旅馆人员各时段占比分析，具体情况见图4

根据 10 年来全部数据量的规模，传统的关系型数据库处理这些数据效率会很低。用 HADOOP 的MAP －ＲEDUCE 计算框架，15 分钟左右全部完成计算工作，得出图 4 中的结果，可与第一项在押人员入住规律作比较。通过对比可以明显看出，在押人员入住“自占比”趋势与全部人员入住占比的趋势基本一致。这说明在 21 时和下午 1 时左右，本身也是正常人员入住旅馆的高峰时间。因此，这项分析虽有意义，但是针对实战的指导性分析还需要进一步研究。

大数据思维是一个不断演进的过程

两个实例代表了对’大数据#处理与应用的一个演进过程。在起步阶段，我们受到’小数据”思维的惯性控制，增加计算能力的直接目的就是为了提高精确性，总希望直接找到违法犯罪分子。但因为数据量庞大，传统的技术效率低，不能完成海量数据处理任务了，因此想到了分布式计算，并取得了一些应用成效。

在’小数据#时代，由于掌握的数据量不够多，范围不够全，因此我们的决策更依赖直觉和经验，对事物规律性的把握往往需要一个很漫长的积累过程，而且也容易遗漏。但是，随着’大数据#时代的来临，丰富的多维度数据应用使得公安传统的业务思路得到了极大的丰富，大数据破题的真正关键，在于领会贯通大数据的思维方式。