论文部分内容阅读
摘要：随着华能集团数字档案馆的建设，分子公司数字档案资源的采集是重中之重。由于各单位保存的历史档案数据存在着诸多问题，因此根据数字档案馆数据采集的标准，再结合企业历史电子档案的管理现状，制定一套行之有效的数据迁移方案变得必不可少。本文详细分析了历史数据迁移的不同环节，对历史数据迁移有效准确的执行有一定的参考价值。
关键词：数字档案馆;数据迁移;元数据;数据转换;数据治理
2015年以来，中国华能集团公司通过“大集中”部署方式建设数字档案馆，构建了以用户为中心的数字档案管理和利用体系，建立了以数字档案馆为载体的档案管理提升平台。为响应集团数字档案馆下数字档案资源建设，我公司积极开展历史档案数据采集、治理和迁移工作，整合已产生和将要产生的档案数据资源，以更高、更优的效率管理公司的档案资源，为公司今后日常的生产、经营管理、业务决策提供信息参考服务。
一、公司档案管理现状
公司组建多年来，开展的档案管理工作较早，收集和保存了大量本单位产生的有价值档案。公司设立独立的档案管理机构—档案室，并配备专业、专职的档案管理人员，形成以档案室为主，文件资料形成部门为辅的档案管理体系。档案室库存以文书档案和科技档案为主，有纸质和电子版等多种载体形式，纸质档案和电子档案尚无法做到统一管理。
虽然大部分电子档案已上传挂接至原有档案管理系统，但原有档案管理系统中数据无法与库房实体档案一一对应，存在数据混乱、不完全、缺失、重复、原文无法在线打开以及元数据字段信息缺少等诸多问题。同时，原有档案管理系统与华能集团数字档案馆系统在数据结构上也存在很大的差异，因此给历史数据迁移工作带来很大的挑战。
二、历史档案数据迁移的几个环节
1、制定数据迁移方案
为了对历史数据有效迁移，必须考虑原有老旧系统的数据结构以及收集的电子档案数据情况，再结合《华能集团数字档案馆元数据信息采集标准》、《华能集团数字档案馆数据资源建设要求》等技术规范，就异构系统的数据和历史收集的电子档案分类梳理后，制定有效地数据迁移方案。
2、数据迁移的前期准备
对于准备工作，要根据数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是顺利完成数据迁移的重要基础。具体工作如下：
1） 原有档案管理系统的详细说明：通过对原有档案管理系统及其数据库的研究分析，主要说明原有数字化档案管理系统中各类档案的目录数据的存放位置和方式、对应电子文件的类型和存放方式、目录数据间的关联关系、目录数据中字段的代码情况、目录记录数、数据字典等信息。
2） 华能集团数字档案馆系统的详细说明：在数据迁移的过程中，由于数据结构的差异性，原有档案管理系统和华能集团数字档案馆系统在数据的组织上也会存在很大的不同，所以需要确认接收后数据在华能集团数字档案馆系统中的组织形式，进一步了解在华能集团数字档案馆系统中各类档案的目录数据的存放位置和方式、对应电子文件的类型和存放方式、目录数据间的关联关系、目录数据中字段的代码情况、目录记录数、数据字典等信息。
3） 编写原有档案管理系统和华能集团数字档案馆系统之间的档案数据映射表：在对原有档案管理系统和华能集团数字档案馆系统的详细了解的前提下，进一步确认原有档案管理系统中数据迁移的范围，包括目录字段信息、电子文件信息等，并建立原有档案管理系统和华能集团数字档案馆系统之间的字段对应关系。根据以上内容，编写相关技术说明书。
4）参考华能集团数字档案馆要求，针对历史收集的其它形式电子档案，制定目录数据的元数据字段数量、类型，著录相关的数据信息，制定电子档案分类、命名等整理规则，保持与目录数据的档号信息一一对应，以利于后期进一步的数据转换和治理工作。
3、数据转换
开发数据迁移辅助工具软件，用数据迁移辅助工具软件进行数据转换和迁移。通过开发数据迁移辅助工具软件的分阶段运行，自动将旧标准数据分批次地批量转换迁移成新标准数据。数据迁移辅助工具软件能将疑似不符合新标准的数据自动识别出来，并迁移到问题数据库中。问题数据库中的数据，经人工干预、修改和确认正确后，再由辅助工具软件自动批量转换迁移成新标准数据。采用科学的方法，全面检测已转换和迁移的符合新标准的历史档案数据集。评估数据转换的总体质量，对问题数据进行人工干预改正。将已检测合格的数据，分批上载到华能集团数字档案馆系统。
4、数据治理
为了保证迁移数据的真实有效，需要开展数据治理工作。数据迁移至数字档案馆系统后，通过系统功能进行档案数据规范性检查，包括无档号、分类编码不全，部门编码不全、卷（盒）统计信息不一致、档号异常、重复、未挂接电子文件等检查项。同时，也可利用系统四性检测功能对电子档案进行真实性、完整性、可用性和安全性检查。检查列出有问题的数据，系统按照既定的业务规则智能修复或人工手动批量操作。如仍有未解决的数据，需要人工核验改正，必要时可参考实体库房纸质档案的原始记录。
5、数据迁移后的检查
数据迁移完成后的检查是对迁移质量的检查，建立《迁移检查表》，对迁移后的数据进行检查，主要包括以下几个方面：
1） 日志检查：通过对迁移日志的检查，了解数据迁移的过程是否正常，是否有明显的缺陷，如记录数、是否存在错误等;
2） 抽样检查。由软件开发商与用户共同组成抽样检查小组，每个小组成员从华能数字档案馆系统中随机抽取n（具体数量由双方协商）条迁移后的数据，与原有历史数据进行对比检查（包括目录和电子文件）;
3） 管理方式检查。主要是检查数据迁移后，能否符合华能数字档案馆系统的管理方式。
6、数据迁移应急预案
数据迁移的过程中，由于某种原因（网络、断电、系统不稳定等）导致数据迁移意外中断，在这种情况下，必须启动应急预案来解决。具体应急措施如下：
1）数据的备份，包括原有/现有档案管理系统数据库的备份、电子文件备份以及其它形式的历史数据备份，一旦出现紧急情况，可以切换到原有的状态;
2）在数据的迁移过程中，详细记录转换日志，用以监控整个迁移过程，对于出现的意外情况，参考日志的记载，以便技术人员能根据数据迁移日志采取相应的措施。
参考文献
[1]吴淑玮，闫训超，曹齐.企业级信息系统数据迁移[J].计算机系统应用，2013，22（07）：53-57.
[2]钟越，于穎黎，刘晓璐.建立电力企业数字档案馆的探索[J].科技与企业，2012（23）：122.
关键词：数字档案馆;数据迁移;元数据;数据转换;数据治理
2015年以来，中国华能集团公司通过“大集中”部署方式建设数字档案馆，构建了以用户为中心的数字档案管理和利用体系，建立了以数字档案馆为载体的档案管理提升平台。为响应集团数字档案馆下数字档案资源建设，我公司积极开展历史档案数据采集、治理和迁移工作，整合已产生和将要产生的档案数据资源，以更高、更优的效率管理公司的档案资源，为公司今后日常的生产、经营管理、业务决策提供信息参考服务。
一、公司档案管理现状
公司组建多年来，开展的档案管理工作较早，收集和保存了大量本单位产生的有价值档案。公司设立独立的档案管理机构—档案室，并配备专业、专职的档案管理人员，形成以档案室为主，文件资料形成部门为辅的档案管理体系。档案室库存以文书档案和科技档案为主，有纸质和电子版等多种载体形式，纸质档案和电子档案尚无法做到统一管理。
虽然大部分电子档案已上传挂接至原有档案管理系统，但原有档案管理系统中数据无法与库房实体档案一一对应，存在数据混乱、不完全、缺失、重复、原文无法在线打开以及元数据字段信息缺少等诸多问题。同时，原有档案管理系统与华能集团数字档案馆系统在数据结构上也存在很大的差异，因此给历史数据迁移工作带来很大的挑战。
二、历史档案数据迁移的几个环节
1、制定数据迁移方案
为了对历史数据有效迁移，必须考虑原有老旧系统的数据结构以及收集的电子档案数据情况，再结合《华能集团数字档案馆元数据信息采集标准》、《华能集团数字档案馆数据资源建设要求》等技术规范，就异构系统的数据和历史收集的电子档案分类梳理后，制定有效地数据迁移方案。
2、数据迁移的前期准备
对于准备工作，要根据数据迁移的特点，大量的工作都需要在准备阶段完成，充分而周到的准备工作是顺利完成数据迁移的重要基础。具体工作如下：
1） 原有档案管理系统的详细说明：通过对原有档案管理系统及其数据库的研究分析，主要说明原有数字化档案管理系统中各类档案的目录数据的存放位置和方式、对应电子文件的类型和存放方式、目录数据间的关联关系、目录数据中字段的代码情况、目录记录数、数据字典等信息。
2） 华能集团数字档案馆系统的详细说明：在数据迁移的过程中，由于数据结构的差异性，原有档案管理系统和华能集团数字档案馆系统在数据的组织上也会存在很大的不同，所以需要确认接收后数据在华能集团数字档案馆系统中的组织形式，进一步了解在华能集团数字档案馆系统中各类档案的目录数据的存放位置和方式、对应电子文件的类型和存放方式、目录数据间的关联关系、目录数据中字段的代码情况、目录记录数、数据字典等信息。
3） 编写原有档案管理系统和华能集团数字档案馆系统之间的档案数据映射表：在对原有档案管理系统和华能集团数字档案馆系统的详细了解的前提下，进一步确认原有档案管理系统中数据迁移的范围，包括目录字段信息、电子文件信息等，并建立原有档案管理系统和华能集团数字档案馆系统之间的字段对应关系。根据以上内容，编写相关技术说明书。
4）参考华能集团数字档案馆要求，针对历史收集的其它形式电子档案，制定目录数据的元数据字段数量、类型，著录相关的数据信息，制定电子档案分类、命名等整理规则，保持与目录数据的档号信息一一对应，以利于后期进一步的数据转换和治理工作。
3、数据转换
开发数据迁移辅助工具软件，用数据迁移辅助工具软件进行数据转换和迁移。通过开发数据迁移辅助工具软件的分阶段运行，自动将旧标准数据分批次地批量转换迁移成新标准数据。数据迁移辅助工具软件能将疑似不符合新标准的数据自动识别出来，并迁移到问题数据库中。问题数据库中的数据，经人工干预、修改和确认正确后，再由辅助工具软件自动批量转换迁移成新标准数据。采用科学的方法，全面检测已转换和迁移的符合新标准的历史档案数据集。评估数据转换的总体质量，对问题数据进行人工干预改正。将已检测合格的数据，分批上载到华能集团数字档案馆系统。
4、数据治理
为了保证迁移数据的真实有效，需要开展数据治理工作。数据迁移至数字档案馆系统后，通过系统功能进行档案数据规范性检查，包括无档号、分类编码不全，部门编码不全、卷（盒）统计信息不一致、档号异常、重复、未挂接电子文件等检查项。同时，也可利用系统四性检测功能对电子档案进行真实性、完整性、可用性和安全性检查。检查列出有问题的数据，系统按照既定的业务规则智能修复或人工手动批量操作。如仍有未解决的数据，需要人工核验改正，必要时可参考实体库房纸质档案的原始记录。
5、数据迁移后的检查
数据迁移完成后的检查是对迁移质量的检查，建立《迁移检查表》，对迁移后的数据进行检查，主要包括以下几个方面：
1） 日志检查：通过对迁移日志的检查，了解数据迁移的过程是否正常，是否有明显的缺陷，如记录数、是否存在错误等;
2） 抽样检查。由软件开发商与用户共同组成抽样检查小组，每个小组成员从华能数字档案馆系统中随机抽取n（具体数量由双方协商）条迁移后的数据，与原有历史数据进行对比检查（包括目录和电子文件）;
3） 管理方式检查。主要是检查数据迁移后，能否符合华能数字档案馆系统的管理方式。
6、数据迁移应急预案
数据迁移的过程中，由于某种原因（网络、断电、系统不稳定等）导致数据迁移意外中断，在这种情况下，必须启动应急预案来解决。具体应急措施如下：
1）数据的备份，包括原有/现有档案管理系统数据库的备份、电子文件备份以及其它形式的历史数据备份，一旦出现紧急情况，可以切换到原有的状态;
2）在数据的迁移过程中，详细记录转换日志，用以监控整个迁移过程，对于出现的意外情况，参考日志的记载，以便技术人员能根据数据迁移日志采取相应的措施。
参考文献
[1]吴淑玮，闫训超，曹齐.企业级信息系统数据迁移[J].计算机系统应用，2013，22（07）：53-57.
[2]钟越，于穎黎，刘晓璐.建立电力企业数字档案馆的探索[J].科技与企业，2012（23）：122.