交通管理大数据研判分析

前言：本站为你精心整理了交通管理大数据研判分析范文，希望能为你的创作提供参考价值，我们的客服老师可以帮助你提供个性化的参考范文，欢迎咨询。

1、研判平台总体架构公安交通管理研判分析

平台总体架构包括数据源、数据仓库、数据集市、数据应用及数据管理5部分。

1.1数据源

数据源是指由公安交通管理综合平台、交通指挥平台及机动车缉查布控平台等公安交通管理信息系统采集汇总的交通管理大数据。

1.2数据仓

库数据仓库是为各级交通管理决策制定过程提供支持的所有类型数据的战略集合，是在整合多个交通管理数据源的基础上形成的单个数据存储，出于分析性报告和决策支持目的而创建。数据仓库包括明细层和轻度汇总层两个层面。其中，明细层基于数据源、采用镜像复制和增量同步技术建立；轻度汇总层在明细层基础上，参照研判分析实际需求，对数据进行抽取、转换、清洗后建立。

1.3数据集市

数据集市是根据不同专业用户群体在分析、内容、表现及易用性等方面的特殊需求，从数据仓库历史数据中抽取的一个针对性数据子集，用以满足特定部门、团队、客户或应用程序分析和报告需求。

1.4数据应用

在数据仓库或数据集市基础上，采用聚类、关联分析、时序分析、分类、值预测等挖掘技术，有效提取交通管理大数据中固有的、以前未知的潜在有效信息，并进行多维度、个性化集成、查询和展现。

1.5数据管理

对数据处理流程、数据质量检查及元数据进行有效管理，确保数据研判分析工作顺利开展。

2、数据流向及处理来源

丰富、内容完整、及时准确的信息资源是有效开展分析研判的必要基础。因此，分析研判系统建设的首要任务是收集汇总信息应用所需的各类来源数据，通过数据整合处理形成分析研判分析数据库。

2.1数据流向

公安内部综合应用平台所采集形成、开展信息工作所需的业务信息，包括各级公安机关交通管理部门采集形成的数据，如驾驶人管理、机动车登记、违法处理、事故处理、交警队信息平台、危险化学品运输管理等业务信息和异常业务预警信息。缉查布控系统产生车辆通行信息及主干公路监控数据在部级平台中直接获取；气象信息等跨行业数据通过互联网服务接口获取，并通过边界接入平台或人工方式转入公安网。

（1）综合应用平台、主干公路监控数据通过数据采集器按分类写入数据仓库与分布式文件系统。

（2）气象信息通过程序调用数据访问接口写入数据仓库。

（3）分布式文件系统通过批处理的形式，将数据清洗转换后写入数据仓库。

（4）数据仓库采用实时复制技术，按方案将数据复制至内存数据库。

（5）内存数据库为COGNOS、SPSS分析平台提供分析数据来源。

（6）内存数据库、分布式文件系统同时为数据检索分析平台提供数据。

2.2数据整合处理流程

数据整合处理时以ETL工具为核心，包括数据抽取、过滤清洗、转换、整合加工等功能的数据提取处理工具，主要用于按照预先设计的数据抽取整合处理方案，执行从各种数据来源上提取新鲜数据、比对数据进行清洗、转换、传输、整合加工，并装载数据到目标数据库、记录问题数据、记录处理日志等一系列数据加工处理工作过程。数据整合处理过程应具有较好的可监控、可维护能力，可支持处理任务的安排调度管理，并可接受信息资源管理应用的运行监测。业务信息综合分析研判系统建设中，数据整合处理主要用于将各种来源数据经抽取整合处理进入信息综合数据库群，并可用于根据专题应用建设需求，将分析数据库中已有的相关数据进行抽取整合处理，形成数据集市数据。数据整合处理所执行的数据抽取整合处理方案应根据应用的需求，利用信息资源管理应用上的信息资源注册信息、标准信息、结合相关数据的特点及有关信息化标准规范进行定制设计。分析数据库建设中用于实现数据抽取整合工作的工具主要需要负责从源业务数据库提取新鲜数据、对数据进行清洗、转换、数据传输、数据装载、问题数据记录、转换日志记录，错误处理与异常日志记录等工作。

（1）数据抽取和标准代码库创建：产生的数据是转储数据和标准代码库。

（2）数据清洗：对转储的业务数据，根据定义的数据清洗规则进行清洗。产生的数据是问题数据库。

（3）数据转换：定义好数据转换的规则，对经过第一步清洗的数据，进行转换。产生的数据是经过转换的数据。

（4）数据集成：对转换完成的数据去查找关联，同时把数据按照要素和层次进行组织。

（5）数据装载：把完成前面步骤的数据装载到分析数据库中。

（6）数据校验：对完成整合的综合数据通过校验器定义好校验规则进行数据校验，找出第二批的问题数据，使得数据的质量进一步提高。

3、关键技术研判平台

总体功能包括数据处理、数据管理、统计研判、挖掘研判、多维度展现、应用管理、安全管理等功能，其中数据处理、数据管理、多维度展现作为基础性工作显得尤为重要，这关系到平台建设的可行性及可用性。

3.1数据处理包括数据镜像复制、数据抽取/清洗/加载、数据建模等功能。

（1）数据镜像复制

通过全库镜像及增量数据同步，将各数据源数据加载至数据仓库明细层。

（2）据抽取/清洗/转换/加载

将分布、异构的多个交通管理数据源中的数据抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

（3）数据建模

数据挖掘建模是指为特定的交通管理数据挖掘目的，做出一些重要简化和假设，运用适当的数据挖掘工具获得模型，然后利用该模型来解释特定现象的现实形态，并预测对象的未来状况，提供处理对象的优化决策和控制。数据挖掘的过程是一个不断探索数据特征、建立和检验模型，利用适合的模型来解决实际问题的连续过程。建模是数据挖掘工作的核心环节，数据挖掘中具体使用哪一种算法建模，取决于数据集市的特征和需要实现的目标，在应用中，往往是对多种建模方法的比较和综合。

3.2数据管理包括数据质量管理、数据处理流程管理、元数据管理。

（1）数据质量管理

通过探查数据内容、结构和异常，建立数据质量度量并明确目标，设计和实施数据质量业务规则、检查异常并完善规则等，消除数据中存在的重复属性、错误的值、错误的数据依赖、错误的计算、错误的范围、缺少数据、缺乏引用完整性、稀少的实体解释、多种数据源中缺乏数据对应、主键重复、源数据和目标缺乏同步、没有理由的关联、违反规则、不标准的格式等质量问题，切实提高数据真实性、完备性、自洽性。

（2）数据处理流程管理

数据处理对数据（包括数值的和非数值的）进行分析和加工的技术过程。数据处理包括数据采集、存储、检索、加工、变换和传输等过程。数据处理流程管理是指对数据处理过程进行规范化和科学化管理，确保数据处理工作高效性。

（3）元数据管理

采用集中管理方式，对技术元数据和业务元数据进行管理。技术元数据主要用来描述数据实体和数据处理过程中的技术细节和处理规则。如表结构、ETL映射关系等，技术元数据使用人员包括技术人员。业务元数据主要是对数据实体和数据处理的业务化描述，包括业务规则、业务术语、统计口径、信息分类等。如KPI定义和报表统计规则等，业务元数据使用人员包括业务人员、决策领导等。

3.3多维度展现包括即席查询、专业报表、多维分析、事件处理和门户整合等。

（1）即席查询

提供自助式即席查询功能，用户可以基于业务逻辑、按照个性化需要通过鼠标拖拽的方式查询自己关心的内容，设置查询条件，设置过滤，定义格式，套用模版，提高个性化信息查询速度。

（2）专业报表

提供专业报表功能。报表支持多页设计，支持多查询，每个查询支持多数据源。报表的制作、、共享、权限控制等采用纯浏览器方式。用户只需要在浏览器中通过简单的鼠标拖拽、属性设置等操作就能进行各种报表的制作，如列表、交叉表、图表、仪表盘报表、KPI报表、复杂嵌套表头的非平衡报表等。

（3）多维分析

提供多维立方体和关系型数据库多维分析功能（MOLAP和ROLAP）。用户在Web界面中通过简单的鼠标拖拽等操作，就可以进行各种OLAP分析，如上钻、下钻、切片、旋转、切块等，同时支持用户进行混合粒度的分析，支持用户自定义子集，支持混合维度的分析，支持多维立方体之间的相互钻取，多维立方体和关系型数据库之间的钻取，能够使用用户从宏观到微观的决策思路和过程。

（4）事件处理

提供系统自动监控和管理管理功能，并通过门户新闻等方式通知和提醒用户，能够自动启动业务处理，触发各种任务的执行，如报表执行、新闻、数据库刷新、系统备份等。

（5）门户整合

提供将后台分散的应用和信息在用户界面上的整合功能，使用户得到统一的入口。同时用户可以方便地进行个性化定制，形成自己的门户界面。

4、结论

研判分析平台通过整理综合应用平台的相关数据和技术，为缉查布控及交通指挥等信息的接入提供兼容支持，进一步发挥信息在公安交通管理工作中的作用，提高了公安机关交通管理部门的数据分析能力和效率，降低了数据分析员的工作强度，节省了警力，为各级管理部门的科学决策提供理论依据和数据支持，具有广阔的应用前景。

作者：刘伟祥 崔林山 单位：公安部交通管理科学研究所