论文部分内容阅读
摘要：在目前日渐复杂严峻的社会治安形势和科技强警战略的大背景下，通过现代化的信息技术来帮助公安机关开展各项工作，这是目前公安信息化工作的发展趋势。然而，通过调研发现公安信息系统存在着问题，集中表现在数据资源一致性、准确性、实时性较差和信息孤岛的问题。为了解决这些问题，建立起基于数据仓库技术的公安综合信息平台，将海量信息资源进行科学有效的资源整合、信息处理以及共享关联，以此提供给各级公安机关使用，已经成为公安信息化工作的一项新挑战。
关键词：数据仓库；信息平台；探索
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）08-0009-03
1引言
公安信息化进程是国家信息化进程的重要组成部分，对公安信息的共享和综合利用是公安信息化的重要手段。使用合适的方法、对策来建立与维护公安综合信息平台，可以使得公安各方面的工作上一个新台阶、新水平。基于数据仓库技术来搭建公安信息平台，实现公安信息的获取、采集与处理，实现快速高效地从数据中提取有价值的信息，从而显著提高公安队伍的业务水平。跟随公安行业和国际潮流，实施信息主导警务战略，对增加公安资源利用率，减少公安运营成本，以及提高公安工作效率都具有实际意义。
2背景
如今，由于经济的全球化以及社会信息化的大趋势，公安部门面对的案件和违法活动也日益高新与智能，涉及的区域也越来越广，社会的治安環境与以前相比有了翻天覆地的改变，公安机关面临的挑战越来越多、压力越来越大，传统的勤务方式和警务体制已经不适应新时代的发展需要，改革行动迫在眉睫。与此同时，在当今世界，信息化的发展更是十分迅速，同样，犯罪活动的智能化趋势也在加剧，世界各地的公安部门都将情报工作作为警务工作的首要前提。当今，情报主导警务前提下的情报工作是预防、打击违法犯罪活动的重要手段，这是被众多的国家、地区共同认可的。欧美及日本等国家的警务组织，通过组建公安情报部门，运用本国最先进的技术手段，～i.St自己的警务情报信息平台，展开系统化的综合信息分析，对预防、打击各类违法犯罪活动起到了积极的作用。
综合各国的警务发展情况，如今计算机科学技术高速发展，在公安综合信息平台的系统设计中，也逐渐采用B/S模式的架构，使用多种专业技术搜集公安信息情报。同时，建立信息对比数据库，提升搜索引擎，动态生成信息搜索结果已经成为公安信息综合平台开发设计的主流。
3数据仓库基本概念
W.H.Inmon是数据仓库概念创始人，在其所著的《建立数据仓库》中，将数据仓库定义为一种集成的、面向主题的、不可更新的（稳定性）、随时间持续改变（不同时间）的数据集合，用于支持经营管理中的决策制定过程。这是一种被普遍认可的数据仓库定义。同时，还有一些组织或个人提出其他定义，如数据仓库是一种语意一致的数据仓储（独立的且不影响已在运作的实用系统），以达成不同的文档报告、数据存取的需求；数据仓库是一种体系结构；数据仓库是一个持续发展的过程，融合了多个异质数据在一起，来支持实时查询、分析报告和决策。
所有的数据仓库结构都是从一个简单框架发展来的，一般由以下模块组成，如图1：
4构建数据仓库
4.1优势
在公安信息平台建设的进程中，大部分的单位都是采用分步和分块实施的策略来构建信息系统，也就是说，对于不同部门的不同需求构建各自的业务信息子系统。这种策略的优势很显然：分期投资、效率很高，对于以后的应用和维护也非常有帮助，但凡事都有两面性，不同子系统之间会有重复，重叠部分都是冗余的信息存储，甚至对相同目标信息会产生矛盾现象等，这些都可能导致信息孤岛问题，信息共享难以在不同的部门和不同的单位之间达成。
这种分布式的系统使用户很难从各自独立存在的众多系统之中同时得到全面的数据信息，警方在执行跨部门或跨单位任务时会因为系统之间无统一业务流程逻辑联系和业务信息传递渠道，而对大量的信息进行重复的操作或键入。构建一个完整、统一、高效的业务流程信息管理平台，能够将各自独立的系统的不同功能有效组织利用起来，为使用者提供一个统一的登录人口，并采用有关的业务流程管理技术，整合各式警务信息系统，尽可能地减小重复资源和信息孤岛，为使用者营造一个更完善、更高效的服务平台。
4.2目的
构建公安数据仓库是为了能综合利用警务数据信息资源，通过分析警务数据的特征可以有效帮助工程师更迅速、准确地构建数据仓库，且能够在最大程度上利用警务数据信息。
4.3构建数据仓库
4.3.1数据源
对于所要设计的系统，录入的数据信息包括两大类：
第一，可以直接入库的数据信息。对于这种数据信息，事先数据中心和相应单位已经商量好了报送数据信息的内容、相应的专业描述用语或者更加严格地元数据形式。无论是采取的何种方式，都会直接录入报送数据单位的原貌数据库，并且也会将其复制为原始数据存入基础数据库。这种数据，会有专业的业务员按照规则及要求去审核、评估、验收所报送的数据，在通过验收后将其更新为基础数据库中的正式数据。
第二，不可以直接入库的原貌数据。这种类型的数据信息或许还未经元数据整理，或许还未知有无元数据与之对应。为了可以快速地录入，先将原始状态下的是数据暂时存储到数据保存库中。然后，整理并规范化数据，将元数据提取并补充到元数据库中；接着，按照得到的元数据，与相关单位协商，将其转换为以元数据形式描述的数据报送任务，让它变成第一类描述的形态的数据信息；然后，回到第一类数据处理的步骤，对数据信息按照规范转换，然后验收，之后再录入基础数据库，使之变成正式的数据信息资源。
4.3.2数据采集
由于数据资源的类型、数据量、更新频率、安全等级规定、传递通道等构建情况不一，数据的采集方式也会随着数据特征的不同而不同。采集数据信息有很多不同的方式，数据抽取和手工录入都是常用的数据采集方式，除此之外，通过接口导入或者共享交换等方式也可以达到数据采集的目的。 信息采集模块就是要将各种类型、各种来源的数据信息以不同的方法采集到平台中，并且在这个过程中就确保数据质量，进行初步数据审核。与此同时，还需要对采集过程采取一定的监控和管理，在统一配置管理的基础上兼顾多种采集方式的需求，以保证采集过程的自动化及标准化。采集上来的数据还要通过人工审核及汇总，最后完成数据信息的验收。
数据信息资源可通过以下渠道进入系统：
（1）数据交换：以数据交换的方式通过数据信息共享交换系统从外部单位获取；
（2）数据库对接：与警务系统直接对接数据库，从而获取信息；
（3）数据导入：通过软件接口以电子文档的形式批量导入信息。
4.3.3数据模型
构建数据模型可以协助用户展开全面业务梳理，改良业务流程，协助设计者更全面地理解业务架构及业务运行的状况。通过构建数据模型，还可以帮助建设全方位的数据信息视角，将底层技术的实现及上层业务的展现分离出来，为系统构建提供有效帮助。
公安数据仓库的数据模型构建共分三个层次，从底层向顶层按顺序分别是物理模型、逻辑模型以及概念模型。在这些模型中，概念模型的主要任务是做业务梳理，为逻辑模型的构建提供可靠依据，本课题以信息包图的方式来建模，以之分析用户的需要，对关键指标做出定义；逻辑模型会将以前收集到的数据细化，本课题以星型模型实现；物理模型的主要工作是完成邏辑模型物理化等问题。图2展现了公安信息数据仓库的数据模型构建过程。
4.4架构设计
数据仓库的设计需要全面考虑庞大数据信息汇集带来的各种影响，从长远发展的角度制定信息资源规划，分区管理海量信息数据表，以便数据的更新、删除和剥离工作，为使用者构建稳定且高效的信息资源支持环境。数据仓库的构建包括五大部分：
1）定义规范
定义规范的过程是构建数据仓库的最关键的部分，主要包括了对数据仓库的关系、结构、对象模型等规范的定义。为确保数据仓库以一个统一的标准进行设计及实现，减少设计中不必要的事务，所定义的标准规范需涵盖对象模型、元数据、数据字典、资源及专题目录和质检方法等方面。
2）定义元数据
为实现信息资源的规范化和标准化，保证时期、载体、维度、规格都不同的数据可以被规范、统一、全面、科学地描述，需要完整定义元数据，元数据的体系是数据资源体系的核心及描述的基础。数据资源体系中的各类信息都是采用元数据描述的，且按照元数据的属性来管理和控制。此系统中，元数据主要是描述数据的来源、更新时间及用途等信息。
3）构建缓冲交换库
缓冲交换库，是各类信息资源按原始状态第一次进人信息中心系统的交接点，该数据库负责数据的临时质检、存储以及关联等工作，接着把处理好的信息导入到相应的库中。缓冲交换库中的信息都是保持原样的，不会对数据进行更改或变化，以此为日后的查询或检验作备份。
4）整合基础库和建设专题数据库
以公安系统基本要素为内核来整合基础库，这是数据核心库。把各个来源、各个警种的专题数据进行汇集、整理，并且在与基础库相关联后形成专题数据库，用于支持数据的综合应用，专题数据库主要用来提供特定信息的共享应用需求。
5）历史信息的存储
数据仓库中含有大量不常用、非实时访问的信息，是为满足信息访问、分析的性能需求而生成的，对于这部分信息需要按实际的应用需求、使用频率来划分，并定期汇总，从而形成历史数据信息进行存储。
在上述分析的基础上，数据仓库系统平台将会构建6个不同的数据库，包括标准规范库、元数据库、专题数据库、整合基础库、缓冲交换库及历史信息库。这些库之间的关系是：从各单位、部门的信息库抽取来的数据临时存储在缓冲数据库，然后经信息清洗、转换和整合之后，把数据存储到整合基础库，在整合基础库的基础上，对不同的需要来整合专题信息，以得到专题数据库，以便进行数据分类，提高信息检索和统计的效率。信息整合过程按照设计好的标准规范库的标准执行，为确保安全性，所有信息都会备份在历史信息库中，为将来的长期分析和决策提供服务。数据仓库体系结构如图3所示。
4.5数据组织方式
按照数据资源体系的特征，系统选取多维数据信息组织下的多维数据集来完成OLAP分析。多维数据在保存中将会构成“立方体（Cube）”的结构，通过对“立方体”采取“旋转”、“钻取”、“切片”、“切块”的方式来完成OLAP分析。现有的OLAP系统组织数据的形式包括三种：MOLAP、ROLAP、HOLAP。这里，选择HOLAP作为组织数据形式，因为ROLAP检索起来的速率慢，但所需要的存储空间比MOLAP要小。这两种组织方式各有优劣，而HOLAP结合了这两种组织方式的优点，灵活性更好。
在公安系统中，多种信息拥有历史性，并且只会一直增加，几乎没有更改或删除的状况，例如案件数据，历史信息都会一直保持原貌，如果不需要精确检索也就不需将粒度精确到天，只要按照年或月将服务决策的信息存放在OLAP数据库中就行，这样可以极大提高系统的工作效率。因此，公安信息平台更适合于把高粒度信息存储于OLAP数据库以便快速服务决策，而对于细粒度信息，可以存储在基础数据仓库中。
5总结
本文根据公安信息的特点和国内外数据仓库技术的发展情况，以公安综合信息平台及其数据仓库的构建为应用背景，对基于数据仓库技术的公安综合信息平台中的若干问题进行了探索，并设计了完整的基于数据仓库技术的公安综合信息平台。
虽然从现今社会科学整体情况来看，大数据技术正在逐步走向应用系统的核心，但作为一名公安工作者，笔者仍然认为比起大数据超大量的脏数据、垃圾数据来说，数据仓库技术凭借其同比之下数据价值更高的特点而更加适合公安综合信息平台的实际应用。
关键词：数据仓库；信息平台；探索
中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2018）08-0009-03
1引言
公安信息化进程是国家信息化进程的重要组成部分，对公安信息的共享和综合利用是公安信息化的重要手段。使用合适的方法、对策来建立与维护公安综合信息平台，可以使得公安各方面的工作上一个新台阶、新水平。基于数据仓库技术来搭建公安信息平台，实现公安信息的获取、采集与处理，实现快速高效地从数据中提取有价值的信息，从而显著提高公安队伍的业务水平。跟随公安行业和国际潮流，实施信息主导警务战略，对增加公安资源利用率，减少公安运营成本，以及提高公安工作效率都具有实际意义。
2背景
如今，由于经济的全球化以及社会信息化的大趋势，公安部门面对的案件和违法活动也日益高新与智能，涉及的区域也越来越广，社会的治安環境与以前相比有了翻天覆地的改变，公安机关面临的挑战越来越多、压力越来越大，传统的勤务方式和警务体制已经不适应新时代的发展需要，改革行动迫在眉睫。与此同时，在当今世界，信息化的发展更是十分迅速，同样，犯罪活动的智能化趋势也在加剧，世界各地的公安部门都将情报工作作为警务工作的首要前提。当今，情报主导警务前提下的情报工作是预防、打击违法犯罪活动的重要手段，这是被众多的国家、地区共同认可的。欧美及日本等国家的警务组织，通过组建公安情报部门，运用本国最先进的技术手段，～i.St自己的警务情报信息平台，展开系统化的综合信息分析，对预防、打击各类违法犯罪活动起到了积极的作用。
综合各国的警务发展情况，如今计算机科学技术高速发展，在公安综合信息平台的系统设计中，也逐渐采用B/S模式的架构，使用多种专业技术搜集公安信息情报。同时，建立信息对比数据库，提升搜索引擎，动态生成信息搜索结果已经成为公安信息综合平台开发设计的主流。
3数据仓库基本概念
W.H.Inmon是数据仓库概念创始人，在其所著的《建立数据仓库》中，将数据仓库定义为一种集成的、面向主题的、不可更新的（稳定性）、随时间持续改变（不同时间）的数据集合，用于支持经营管理中的决策制定过程。这是一种被普遍认可的数据仓库定义。同时，还有一些组织或个人提出其他定义，如数据仓库是一种语意一致的数据仓储（独立的且不影响已在运作的实用系统），以达成不同的文档报告、数据存取的需求；数据仓库是一种体系结构；数据仓库是一个持续发展的过程，融合了多个异质数据在一起，来支持实时查询、分析报告和决策。
所有的数据仓库结构都是从一个简单框架发展来的，一般由以下模块组成，如图1：
4构建数据仓库
4.1优势
在公安信息平台建设的进程中，大部分的单位都是采用分步和分块实施的策略来构建信息系统，也就是说，对于不同部门的不同需求构建各自的业务信息子系统。这种策略的优势很显然：分期投资、效率很高，对于以后的应用和维护也非常有帮助，但凡事都有两面性，不同子系统之间会有重复，重叠部分都是冗余的信息存储，甚至对相同目标信息会产生矛盾现象等，这些都可能导致信息孤岛问题，信息共享难以在不同的部门和不同的单位之间达成。
这种分布式的系统使用户很难从各自独立存在的众多系统之中同时得到全面的数据信息，警方在执行跨部门或跨单位任务时会因为系统之间无统一业务流程逻辑联系和业务信息传递渠道，而对大量的信息进行重复的操作或键入。构建一个完整、统一、高效的业务流程信息管理平台，能够将各自独立的系统的不同功能有效组织利用起来，为使用者提供一个统一的登录人口，并采用有关的业务流程管理技术，整合各式警务信息系统，尽可能地减小重复资源和信息孤岛，为使用者营造一个更完善、更高效的服务平台。
4.2目的
构建公安数据仓库是为了能综合利用警务数据信息资源，通过分析警务数据的特征可以有效帮助工程师更迅速、准确地构建数据仓库，且能够在最大程度上利用警务数据信息。
4.3构建数据仓库
4.3.1数据源
对于所要设计的系统，录入的数据信息包括两大类：
第一，可以直接入库的数据信息。对于这种数据信息，事先数据中心和相应单位已经商量好了报送数据信息的内容、相应的专业描述用语或者更加严格地元数据形式。无论是采取的何种方式，都会直接录入报送数据单位的原貌数据库，并且也会将其复制为原始数据存入基础数据库。这种数据，会有专业的业务员按照规则及要求去审核、评估、验收所报送的数据，在通过验收后将其更新为基础数据库中的正式数据。
第二，不可以直接入库的原貌数据。这种类型的数据信息或许还未经元数据整理，或许还未知有无元数据与之对应。为了可以快速地录入，先将原始状态下的是数据暂时存储到数据保存库中。然后，整理并规范化数据，将元数据提取并补充到元数据库中；接着，按照得到的元数据，与相关单位协商，将其转换为以元数据形式描述的数据报送任务，让它变成第一类描述的形态的数据信息；然后，回到第一类数据处理的步骤，对数据信息按照规范转换，然后验收，之后再录入基础数据库，使之变成正式的数据信息资源。
4.3.2数据采集
由于数据资源的类型、数据量、更新频率、安全等级规定、传递通道等构建情况不一，数据的采集方式也会随着数据特征的不同而不同。采集数据信息有很多不同的方式，数据抽取和手工录入都是常用的数据采集方式，除此之外，通过接口导入或者共享交换等方式也可以达到数据采集的目的。 信息采集模块就是要将各种类型、各种来源的数据信息以不同的方法采集到平台中，并且在这个过程中就确保数据质量，进行初步数据审核。与此同时，还需要对采集过程采取一定的监控和管理，在统一配置管理的基础上兼顾多种采集方式的需求，以保证采集过程的自动化及标准化。采集上来的数据还要通过人工审核及汇总，最后完成数据信息的验收。
数据信息资源可通过以下渠道进入系统：
（1）数据交换：以数据交换的方式通过数据信息共享交换系统从外部单位获取；
（2）数据库对接：与警务系统直接对接数据库，从而获取信息；
（3）数据导入：通过软件接口以电子文档的形式批量导入信息。
4.3.3数据模型
构建数据模型可以协助用户展开全面业务梳理，改良业务流程，协助设计者更全面地理解业务架构及业务运行的状况。通过构建数据模型，还可以帮助建设全方位的数据信息视角，将底层技术的实现及上层业务的展现分离出来，为系统构建提供有效帮助。
公安数据仓库的数据模型构建共分三个层次，从底层向顶层按顺序分别是物理模型、逻辑模型以及概念模型。在这些模型中，概念模型的主要任务是做业务梳理，为逻辑模型的构建提供可靠依据，本课题以信息包图的方式来建模，以之分析用户的需要，对关键指标做出定义；逻辑模型会将以前收集到的数据细化，本课题以星型模型实现；物理模型的主要工作是完成邏辑模型物理化等问题。图2展现了公安信息数据仓库的数据模型构建过程。
4.4架构设计
数据仓库的设计需要全面考虑庞大数据信息汇集带来的各种影响，从长远发展的角度制定信息资源规划，分区管理海量信息数据表，以便数据的更新、删除和剥离工作，为使用者构建稳定且高效的信息资源支持环境。数据仓库的构建包括五大部分：
1）定义规范
定义规范的过程是构建数据仓库的最关键的部分，主要包括了对数据仓库的关系、结构、对象模型等规范的定义。为确保数据仓库以一个统一的标准进行设计及实现，减少设计中不必要的事务，所定义的标准规范需涵盖对象模型、元数据、数据字典、资源及专题目录和质检方法等方面。
2）定义元数据
为实现信息资源的规范化和标准化，保证时期、载体、维度、规格都不同的数据可以被规范、统一、全面、科学地描述，需要完整定义元数据，元数据的体系是数据资源体系的核心及描述的基础。数据资源体系中的各类信息都是采用元数据描述的，且按照元数据的属性来管理和控制。此系统中，元数据主要是描述数据的来源、更新时间及用途等信息。
3）构建缓冲交换库
缓冲交换库，是各类信息资源按原始状态第一次进人信息中心系统的交接点，该数据库负责数据的临时质检、存储以及关联等工作，接着把处理好的信息导入到相应的库中。缓冲交换库中的信息都是保持原样的，不会对数据进行更改或变化，以此为日后的查询或检验作备份。
4）整合基础库和建设专题数据库
以公安系统基本要素为内核来整合基础库，这是数据核心库。把各个来源、各个警种的专题数据进行汇集、整理，并且在与基础库相关联后形成专题数据库，用于支持数据的综合应用，专题数据库主要用来提供特定信息的共享应用需求。
5）历史信息的存储
数据仓库中含有大量不常用、非实时访问的信息，是为满足信息访问、分析的性能需求而生成的，对于这部分信息需要按实际的应用需求、使用频率来划分，并定期汇总，从而形成历史数据信息进行存储。
在上述分析的基础上，数据仓库系统平台将会构建6个不同的数据库，包括标准规范库、元数据库、专题数据库、整合基础库、缓冲交换库及历史信息库。这些库之间的关系是：从各单位、部门的信息库抽取来的数据临时存储在缓冲数据库，然后经信息清洗、转换和整合之后，把数据存储到整合基础库，在整合基础库的基础上，对不同的需要来整合专题信息，以得到专题数据库，以便进行数据分类，提高信息检索和统计的效率。信息整合过程按照设计好的标准规范库的标准执行，为确保安全性，所有信息都会备份在历史信息库中，为将来的长期分析和决策提供服务。数据仓库体系结构如图3所示。
4.5数据组织方式
按照数据资源体系的特征，系统选取多维数据信息组织下的多维数据集来完成OLAP分析。多维数据在保存中将会构成“立方体（Cube）”的结构，通过对“立方体”采取“旋转”、“钻取”、“切片”、“切块”的方式来完成OLAP分析。现有的OLAP系统组织数据的形式包括三种：MOLAP、ROLAP、HOLAP。这里，选择HOLAP作为组织数据形式，因为ROLAP检索起来的速率慢，但所需要的存储空间比MOLAP要小。这两种组织方式各有优劣，而HOLAP结合了这两种组织方式的优点，灵活性更好。
在公安系统中，多种信息拥有历史性，并且只会一直增加，几乎没有更改或删除的状况，例如案件数据，历史信息都会一直保持原貌，如果不需要精确检索也就不需将粒度精确到天，只要按照年或月将服务决策的信息存放在OLAP数据库中就行，这样可以极大提高系统的工作效率。因此，公安信息平台更适合于把高粒度信息存储于OLAP数据库以便快速服务决策，而对于细粒度信息，可以存储在基础数据仓库中。
5总结
本文根据公安信息的特点和国内外数据仓库技术的发展情况，以公安综合信息平台及其数据仓库的构建为应用背景，对基于数据仓库技术的公安综合信息平台中的若干问题进行了探索，并设计了完整的基于数据仓库技术的公安综合信息平台。
虽然从现今社会科学整体情况来看，大数据技术正在逐步走向应用系统的核心，但作为一名公安工作者，笔者仍然认为比起大数据超大量的脏数据、垃圾数据来说，数据仓库技术凭借其同比之下数据价值更高的特点而更加适合公安综合信息平台的实际应用。