banner
大数据平台>大数据新闻>公安大数据应用

公安大数据应用在实战中的思考和实践

作者: 大数据观察来源: 大数据观察时间:2017-01-14 15:27:17

近年来,伴随着全国各地公安机关信息化的迅猛发展,数据共享和深化应用的需求空前高涨。但是,随着数据的汇聚和数据量的爆炸式增长,传统的数据库和数据仓库技术出现了诸多瓶颈问题,传统的数据存储和处理方式都面临着效率低、成本高、可靠性差、扩展能力不足等不可逾越的障碍。以搭建“大数据”处理和分析平台为突破口,寻求公安信息化应用新的效益增长点,已经成为公安机关信息化应用的热点问题。

案例一:电子警察疑似套牌车自动识别系统

(1)实例目标

这个实例目标是在近 12 亿“电子警察”抓拍车牌数据中查找出套牌车辆,可称为“疑似套牌车模型”。和通用的数据挖掘方法一样,对于大数据的处理原则也是“以业务规则为核心,以数据资源为基础,以运算能力为支撑”。

(2) 操作流程

第一步,业务规则制定。这个实例的业务排查规则是: 在一个较短的时间段内,同一车牌不可能被不同路口“电子警察”抓拍设备抓拍到。这其中涉及到三个变量,一个是时间,第二个是车牌,第三个是“电子警察”的地理位置。在与交警部门进行了业务规则研究后,最终确定的数量是:在 5 分钟之内,如果在距离大于 10 公里的“电子警察”同时抓拍到同一个车牌,这个车牌可能就是套牌,因为车速一般不能超过 120 公里/小时。另外,以“电子警察”位置经纬度测算其直线距离,比一般道路实际距离要短。

第二步,数据准备。如果面对的是千万级的数据,常规 SQL 查询语句就可以解决这个问题。数据量如果再大,采用分区表的形式一般也可以解决这个问题。但是,此实例中,遇到的第一个数据是车辆抓拍数据。数据量是 3 年“电子警察”抓拍的数据总和,目前南通的抓拍量大约是一天 800 万左右,最后 3 年的数据汇聚到 12 亿左右。第二个数据是“电子警察”的地理位置数据,可以从 PGIS 取得支撑,取得全市“电子警察”的经纬度信息。将本市所有“电子警察”卡口的坐标位置建立辅助表,如表 1 所示。记录每个卡口的经纬度,为计算不同卡口之间的距离准备。最后,还有一个重要的数据———时间。全市“电子警察”抓拍设备必须进行统一授时,否则这个亿级以上的数据模型就失去了意义。

第三步,结果。这个运算模型在 10 台 PC 服务器组成的 HADOOP 集群中,以 40 个初始 MAP 进行分布式执行,经过约 50 分钟执行完毕,共排查出394 辆疑似套牌车牌。这个效率已经基本能够满足应用要求。

( 3) 结果应用。

(人工辅助)技术部门和交警部门共同研究分析了上述结果,发现在这 394 辆车里,有约三分之二( 也就是 250 辆左右) 是因为自动识别系统的误判造成的错误信息( 如 B 和 8、D 和 0 容易出现误判) ,这说明公安机关抓拍设备的识别率还要提升。在余下的约 150 辆车中,已经在控的约有 60 辆,其他 90 余辆车通过人工辨别、研判,确认为新发现的套牌车,现已全部纳入了套牌车布控查缉系统开展后续工作。

案例二:违法犯罪人员入住宾馆规律

通过多方努力,我们汇聚到 10 年的旅馆数据约5 亿余条,10 年内本地在押的人员数据约 65 万条。利用计算机集群,首先建立了比对模型,根据 HADOOP开展比对来组织数据,将 65 万条人员数据放到 5 亿条住宿数据中去找相同项。以“1O + 1”的模式,即10 台服务器作数据节点,1 台作为控制节点,“跑”一遍的时间是 50 分钟左右。最后得到 10 年间在押的人员曾经入住旅馆数据约72. 1 万条。

( 1) 全部在押人员各时段入住旅馆情况的占比分析,具体情况见图 3。

这是一种比较常规的分析方式。面对 70 万的小数据,从 10 年全部在押人员自身入住情况对比,可称为“自占比”分析。从上图 3 可以看出,在押人员入住“自占比”的第一峰值在 22 时左右,第二峰值在 13 时左右,谷值在 6 时左右。这说明,按照 10年来积累的数据看,我们关注嫌疑对象入住旅馆的重点时段应该是夜间 10 时左右和下午 1时左右。

( 2) 针对全部入住旅馆人员各时段占比分析,具体情况见图4

根据 10 年来全部数据量的规模,传统的关系型数据库处理这些数据效率会很低。用 HADOOP 的MAP -REDUCE 计算框架,15 分钟左右全部完成计算工作,得出图 4 中的结果,可与第一项在押人员入住规律作比较。通过对比可以明显看出,在押人员入住“自占比”趋势与全部人员入住占比的趋势基本一致。这说明在 21 时和下午 1 时左右,本身也是正常人员入住旅馆的高峰时间。因此,这项分析虽有意义,但是针对实战的指导性分析还需要进一步研究。

大数据思维是一个不断演进的过程

两个实例代表了对’大数据#处理与应用的一个演进过程。在起步阶段,我们受到’小数据”思维的惯性控制,增加计算能力的直接目的就是为了提高精确性,总希望直接找到违法犯罪分子。但因为数据量庞大,传统的技术效率低,不能完成海量数据处理任务了,因此想到了分布式计算,并取得了一些应用成效。

在’小数据#时代,由于掌握的数据量不够多,范围不够全,因此我们的决策更依赖直觉和经验,对事物规律性的把握往往需要一个很漫长的积累过程,而且也容易遗漏。但是,随着’大数据#时代的来临,丰富的多维度数据应用使得公安传统的业务思路得到了极大的丰富,大数据破题的真正关键,在于领会贯通大数据的思维方式。

banner
看过还想看
可能还想看
热点推荐
Yonghong的价值观:以卓越的数据技术为客户创造价值,实现客户成功。