论文部分内容阅读
摘 要：电子政务数字化是建设“数字政府”的重要抓手，高效、便捷的政务系统建设可以推进政府管理模式创新。为了加强对产品的管理，智慧审查系统通过对产品的数据规范性，检测端与企业端数据比对，检验项目、企业资质校验和信息的规范管理，实现了企业产品数据和报告数据的智慧化审核，从而降低了人力成本，强化了管理机构溯源能力和数据支撑决策能力，辅助政府相关部门在事中事后进行监管，提高了监管规范性和透明度，顺应了汽车行业电子政务数字化转型发展趋势。
关键词：产品审查 大数据 信息比对 统计分析
Design and Implementation of Smart Review System based on Big Data Analysis and Comparison
Hu Wei，Hou Qingkun，Qi Xin
Abstract：The digitization of e-government affairs is an important starting point for the construction of a "digital government". The construction of an efficient and convenient government affairs system can promote the innovation of government management models. To strengthen the management of products， the smart review system realizes the wisdom of enterprise product data and report data through the standardization of product data， the comparison of data from the testing end and the enterprise end， inspection items， enterprise qualification verification and information standardization. It reduces labor costs， strengthens the traceability and data-supported decision-making capabilities of the management organization， assists relevant government departments to supervise during and after the event， improves regulatory standardization and transparency， and conforms to the development trend of digital transformation of e-government in the automotive industry.
Key words：product review， big data， information comparison， statistical analysis
1 引言
隨着社会的飞速发展和人民生活水平的不断提高，我国汽车需求量和保有量持续快速增长，人民对汽车安全要求越来越高，如何提升车辆审查的准确性、高效性、检测的可追溯性，已经成为我国智慧城市、智慧交通、智慧政务的建设迫切要求。
为了加强对产品的管理，解决传统人工审查项目工作量大、审查效率低等问题，构建智慧审查系统，应用于产品受理审查、产品技术审查、审核信息溯源和审查质量分析工作，从而提升车辆审查的准确性、高效性、检测的可追溯性，审查数据的可分析性等。
2 研究背景
产品数据是一种无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要大量人员处理才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。车辆审查问题集中在审查业务多样，数据量大、数据类型多样等方面，传统的审核模式，其审核周期长、数据可追溯性差，人工审核图片准确率低。智慧审查系统应用的大数据分析比对技术主要有三个方面，大数据预处理、大数据分析与挖掘和可视化呈现[1，2]。其中大数据分析与挖掘是大数据处理体系的核心，其目标是通过一定的分析和挖掘技术发现大数据中隐藏的有价值的信息或知识从而辅助决策。可视化呈现是为了让审查人员更好地理解数据分析和挖掘的结果，将挖掘到的数据信息在终端以友好、易于理解的方式直观展示，为产品审查提供支持。
3 智慧审查系统功能设计
智慧审查系统应用架构由数据层、支撑层、功能层和展现层组成。数据层提供数据接入和数据存储的能力，确保系统从企业和检测机构端数据的接入。支撑层包括了系统管理、专家管理、检测机构管理、权限管理、文件管理和流程管理，可实现对企业、检测机构和审查部门等多个对象的管理，保障审查工作的顺利实施。功能层主要包括了数据比对、资质校验、图像识别和统计分析等功能，系统可根据实际情况选择合适的审查方法，专家通过系统完成审查工作。展现层是系统与专家交互的门户，审查结果通过门户进行展示。
智慧审查系统主要对企业申报的数据，检测机构的申报数据进行多方位校验，实现产品审查的主要功能。
企业申报端将需要审查的项目资料上传到系统。检测机构申报端建立电子报告采集车辆配置及关键性能指标数据，指将涉及车辆配置及关键性能指标以电子报告的形式从检测机构采集，用于后续与企业填报车辆配置及性能指标进行比对。根据现行的常规燃料消耗量国家标准建立限值数据库;对相关申报所涉及的检验报告的齐全性及与产品报告的一致性进行校验;将企业填报的相关性能指标与政策技术要求进行比对，并进行符合性判定。最后根据各车型发布参数要求导出数据并将审查结论输出反馈给企业。针对汽车生产企业、检测机构、审核专家、系统管理员等不同角色，分别设计功能流程，通过系统实现智慧审查系统流程。 4 智慧审查系统系统实现
系统采用Java企业版作为开发工具和部署平台，保证跨平台性;采用基于SOAP协议和XML格式的Web服务作为与外部系统的集成接口，保证数据交换共享;采用B/S架构和HTML/CSS/JavaScript，保证应用在各类浏览器中的一致性。系统技术架构基于大数据、图像识别技术，建立了智慧审查系统，强化系统的溯源能力和数据支撑决策能力。
4.1 大数据统计分析技术的实现
通过大数据对企业申报各类数据进行基础数据分析，实现任务统计分析和质量分析[3]，数据处理过程如图1所示。
第一步，数据获取，源数据导入ETL，来源于企业申报系统、产品申报系统、检验机构申报系统、试验场地备案系統以及其他申报系统的数据，以及通过接口或爬虫获取的数据，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。
第二步，数据处理，将通过ETL采集的数据，进行清洗、转换和加载，把原始数据加载到Hadoop平台，再将把加工后的数据加载分布式数据库和主数据仓库。
Hadoop云平台，负责存储海量的检验数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。分布式数据库（MPP），负责存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据[4，5]。主数据仓库，负责存储指标数据、KPI数据和高度汇总数据，包括产品数据、试验数据、企业信息、检测机构信息，国家政策和制度文件，国家及行业标准文件等。
第三步，通过数据开放接口向大数据应用方提供数据，从而体现大数据平台的能力，包括基础分析能力、多维分析能力、数据挖掘能力、实时分析能力、自助分析能力和数据共享能力。智慧审查系统大数据应用于大数据可视化、BI报表、应用系统支持和数据传输。
4.2 图片识别技术的实现
通过图片识别技术，能够筛选出复用的检验报告，识别出经过处理的图片及文件，并对其标记[6，7]。由此建立起智慧审查系统，能够降低人力成本、提高审核效率，实现检测能力分析和数据可追溯。
通过图片智能识别技术对检验申报文件中图片信息进行解析，每张图片都生成独立的“图片指纹”对其进行前置过滤[8，9]。根据每张图片的独立“图片指纹”信息，对比目标检测文件中的图片信息与系统数据资源库中源文件相似度，进行图片文件的同一性检测。
5 结语
本文研究了将大数据分析比对技术应用于产品的智慧审查系统，解决了传统人工审查工作量大，容易产生错误等问题，有效整合了企业，政府，检测机构的信息资源，实现了“政、企、检测机构”的系统化管理。智慧审查系统通过对产品的数据规范性，检测端与企业端数据比对，企业、检验项目等资质校验和产品信息的规范管理，完成了产品数据和报告数据的智慧化审核，降低人力成本;其中相关指标审查模块，大数据分析模块，技术审查模块和受理审查模块既能独立完成自身的审查任务，又相互关联，实现了多维度，高效率的智慧审查方法。本系统避免了企业和检测机构报告数据偏差、降低合规风险、提升服务质量、提高准确性和效率，辅助事中事后监管过程，强化管理机构溯源能力和数据支撑决策能力;实现了大数据分析比对的创新性应用，强化了对企业申报和检测机构申报的质量监督，同时电子政务信息化系统的高效应用革新了政府的监管制度。
参考文献：
[1]迪莉娅.基于云计算的电子政务大数据管理研究[J].图书馆理论与实践，2013（12）.
[2]范灵俊，洪学海，黄晁等.政府大数据治理的挑战及对策[J].大数据，2016，2（3）：27-38.
[3]曾凯.大数据治理框架体系研究[J].信息系统工程，2016，（11）：130-131.
[4]杨东华，李宁宁，王宏志，等.基于任务合并的并行大数据清洗过程优化[J].计算机学报，2016（1）：97-108.
[5]杨梽永.2020中国大数据产业发展新机遇[J].软件和集成电路，2020（Z1）：90-92+94.
[6]田飞.图像识别技术在车辆识别中的应用[J].湖北农机化，2017（6）：48-48.
[7]万兵.基于人工智能的图像识别技术的研究[J].信息与电脑（理论版），2019（2）：141-142.
[8]宫铭.计算机图像识别技术的应用及细节问题阐述与分析[J].信息与电脑（理论版），2019（1）：7-8.
[9]向丽娜.计算机图像识别的智能化处理方法解读[J].电子技术与软件工程，2019（3）：137.
关键词：产品审查 大数据 信息比对 统计分析
Design and Implementation of Smart Review System based on Big Data Analysis and Comparison
Hu Wei，Hou Qingkun，Qi Xin
Abstract：The digitization of e-government affairs is an important starting point for the construction of a "digital government". The construction of an efficient and convenient government affairs system can promote the innovation of government management models. To strengthen the management of products， the smart review system realizes the wisdom of enterprise product data and report data through the standardization of product data， the comparison of data from the testing end and the enterprise end， inspection items， enterprise qualification verification and information standardization. It reduces labor costs， strengthens the traceability and data-supported decision-making capabilities of the management organization， assists relevant government departments to supervise during and after the event， improves regulatory standardization and transparency， and conforms to the development trend of digital transformation of e-government in the automotive industry.
Key words：product review， big data， information comparison， statistical analysis
1 引言
隨着社会的飞速发展和人民生活水平的不断提高，我国汽车需求量和保有量持续快速增长，人民对汽车安全要求越来越高，如何提升车辆审查的准确性、高效性、检测的可追溯性，已经成为我国智慧城市、智慧交通、智慧政务的建设迫切要求。
为了加强对产品的管理，解决传统人工审查项目工作量大、审查效率低等问题，构建智慧审查系统，应用于产品受理审查、产品技术审查、审核信息溯源和审查质量分析工作，从而提升车辆审查的准确性、高效性、检测的可追溯性，审查数据的可分析性等。
2 研究背景
产品数据是一种无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要大量人员处理才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。车辆审查问题集中在审查业务多样，数据量大、数据类型多样等方面，传统的审核模式，其审核周期长、数据可追溯性差，人工审核图片准确率低。智慧审查系统应用的大数据分析比对技术主要有三个方面，大数据预处理、大数据分析与挖掘和可视化呈现[1，2]。其中大数据分析与挖掘是大数据处理体系的核心，其目标是通过一定的分析和挖掘技术发现大数据中隐藏的有价值的信息或知识从而辅助决策。可视化呈现是为了让审查人员更好地理解数据分析和挖掘的结果，将挖掘到的数据信息在终端以友好、易于理解的方式直观展示，为产品审查提供支持。
3 智慧审查系统功能设计
智慧审查系统应用架构由数据层、支撑层、功能层和展现层组成。数据层提供数据接入和数据存储的能力，确保系统从企业和检测机构端数据的接入。支撑层包括了系统管理、专家管理、检测机构管理、权限管理、文件管理和流程管理，可实现对企业、检测机构和审查部门等多个对象的管理，保障审查工作的顺利实施。功能层主要包括了数据比对、资质校验、图像识别和统计分析等功能，系统可根据实际情况选择合适的审查方法，专家通过系统完成审查工作。展现层是系统与专家交互的门户，审查结果通过门户进行展示。
智慧审查系统主要对企业申报的数据，检测机构的申报数据进行多方位校验，实现产品审查的主要功能。
企业申报端将需要审查的项目资料上传到系统。检测机构申报端建立电子报告采集车辆配置及关键性能指标数据，指将涉及车辆配置及关键性能指标以电子报告的形式从检测机构采集，用于后续与企业填报车辆配置及性能指标进行比对。根据现行的常规燃料消耗量国家标准建立限值数据库;对相关申报所涉及的检验报告的齐全性及与产品报告的一致性进行校验;将企业填报的相关性能指标与政策技术要求进行比对，并进行符合性判定。最后根据各车型发布参数要求导出数据并将审查结论输出反馈给企业。针对汽车生产企业、检测机构、审核专家、系统管理员等不同角色，分别设计功能流程，通过系统实现智慧审查系统流程。 4 智慧审查系统系统实现
系统采用Java企业版作为开发工具和部署平台，保证跨平台性;采用基于SOAP协议和XML格式的Web服务作为与外部系统的集成接口，保证数据交换共享;采用B/S架构和HTML/CSS/JavaScript，保证应用在各类浏览器中的一致性。系统技术架构基于大数据、图像识别技术，建立了智慧审查系统，强化系统的溯源能力和数据支撑决策能力。
4.1 大数据统计分析技术的实现
通过大数据对企业申报各类数据进行基础数据分析，实现任务统计分析和质量分析[3]，数据处理过程如图1所示。
第一步，数据获取，源数据导入ETL，来源于企业申报系统、产品申报系统、检验机构申报系统、试验场地备案系統以及其他申报系统的数据，以及通过接口或爬虫获取的数据，通过ETL工具对接口文件数据进行编码替换和数据清洗转换，不做关联操作。
第二步，数据处理，将通过ETL采集的数据，进行清洗、转换和加载，把原始数据加载到Hadoop平台，再将把加工后的数据加载分布式数据库和主数据仓库。
Hadoop云平台，负责存储海量的检验数据，提供并行的计算和非结构化数据的处理能力，实现低成本的存储和低时延、高并发的查询能力。分布式数据库（MPP），负责存储加工、关联、汇总后的业务数据，并提供分布式计算，支撑数据深度分析和数据挖掘能力，向主数据仓库输出KPI和高度汇总数据[4，5]。主数据仓库，负责存储指标数据、KPI数据和高度汇总数据，包括产品数据、试验数据、企业信息、检测机构信息，国家政策和制度文件，国家及行业标准文件等。
第三步，通过数据开放接口向大数据应用方提供数据，从而体现大数据平台的能力，包括基础分析能力、多维分析能力、数据挖掘能力、实时分析能力、自助分析能力和数据共享能力。智慧审查系统大数据应用于大数据可视化、BI报表、应用系统支持和数据传输。
4.2 图片识别技术的实现
通过图片识别技术，能够筛选出复用的检验报告，识别出经过处理的图片及文件，并对其标记[6，7]。由此建立起智慧审查系统，能够降低人力成本、提高审核效率，实现检测能力分析和数据可追溯。
通过图片智能识别技术对检验申报文件中图片信息进行解析，每张图片都生成独立的“图片指纹”对其进行前置过滤[8，9]。根据每张图片的独立“图片指纹”信息，对比目标检测文件中的图片信息与系统数据资源库中源文件相似度，进行图片文件的同一性检测。
5 结语
本文研究了将大数据分析比对技术应用于产品的智慧审查系统，解决了传统人工审查工作量大，容易产生错误等问题，有效整合了企业，政府，检测机构的信息资源，实现了“政、企、检测机构”的系统化管理。智慧审查系统通过对产品的数据规范性，检测端与企业端数据比对，企业、检验项目等资质校验和产品信息的规范管理，完成了产品数据和报告数据的智慧化审核，降低人力成本;其中相关指标审查模块，大数据分析模块，技术审查模块和受理审查模块既能独立完成自身的审查任务，又相互关联，实现了多维度，高效率的智慧审查方法。本系统避免了企业和检测机构报告数据偏差、降低合规风险、提升服务质量、提高准确性和效率，辅助事中事后监管过程，强化管理机构溯源能力和数据支撑决策能力;实现了大数据分析比对的创新性应用，强化了对企业申报和检测机构申报的质量监督，同时电子政务信息化系统的高效应用革新了政府的监管制度。
参考文献：
[1]迪莉娅.基于云计算的电子政务大数据管理研究[J].图书馆理论与实践，2013（12）.
[2]范灵俊，洪学海，黄晁等.政府大数据治理的挑战及对策[J].大数据，2016，2（3）：27-38.
[3]曾凯.大数据治理框架体系研究[J].信息系统工程，2016，（11）：130-131.
[4]杨东华，李宁宁，王宏志，等.基于任务合并的并行大数据清洗过程优化[J].计算机学报，2016（1）：97-108.
[5]杨梽永.2020中国大数据产业发展新机遇[J].软件和集成电路，2020（Z1）：90-92+94.
[6]田飞.图像识别技术在车辆识别中的应用[J].湖北农机化，2017（6）：48-48.
[7]万兵.基于人工智能的图像识别技术的研究[J].信息与电脑（理论版），2019（2）：141-142.
[8]宫铭.计算机图像识别技术的应用及细节问题阐述与分析[J].信息与电脑（理论版），2019（1）：7-8.
[9]向丽娜.计算机图像识别的智能化处理方法解读[J].电子技术与软件工程，2019（3）：137.