数字图书馆中的ETL关键问题研究

• 作 者: 黄永文
• 机 构: 中国科学院文献情报中心
• 出 处: 中国科学院文献情报中心
• 发表日期: 2006年期
• 关键词: 数字图书馆 信息抽取 数据清洗 数据加载 资源集成

在网络环境下，来源不同、分散和不清洁的信息与人们的信息需求之间的矛盾，以及不断集成化的信息服务呼唤着信息整合和集成的有效方式和方法。ETL是解决资源集成与互操作的方法之一，但ETL原本是为了构建数据仓库而提出的，有其特定的应用环境。而数字图书馆的最终目的不只是为了建设数据仓库，还需要进行虚拟的集成和整合。因此，需要在数字图书馆环境下来研究ETL的具体实现和应用问题。本论文的研究工作主要包含以下四个方面：　　
首先，论文通过对信息环境、用户信息需求、数字图书馆自身发展的背景分析，明确了研究ETL对数字图书馆的意义、内容与方法。从ETL的发展现状以及Web信息抽取、数据清洗等方面，总结分析了国内外的研究进展。　　
其次，分析了在数字图书馆领域中与ETL有关的研究，提出了数字图书馆中ETL的分类以及数字图书馆中ETL的应用方式，明确ETL应用在数字图书馆不同环节中需要解决的关键问题，如在数字图书馆资源建设中、在数字图书馆用户服务中、在实现数字图书馆之间的资源共享、实现数字图书馆与其他系统之间互操作等。　　
第三，结合数字图书馆的特点和需求，提出了数字图书馆中的ETL应用框架(DL_ETL)的实现方案，包括DL_ETL的整体架构和功能组成。同时，确定了在本论文要解决DL_ETL应用框架中的关键问题。　　
第四，提出了数字图书馆中的信息抽取、数据清洗和加载功能的具体流程和架构，研究了具体的实现思路、技术及算法，并进行相关的实验工作，验证理论探讨过程中所提出的应用框架、流程以及相应规则和策略的有效性。　　
在本论文研究中，笔者综合运用了文献调研、案例分析、系统分析、系统实验等研究方法。通过研究，论文认为在目前的网络环境与技术条件下，将ETL运用在数字图书馆中是必要的，而且也是可行的，可以为数字图书馆的资源建设和集成服务提供重要手段。　　
本论文共包括图48幅、表28个、附录1个。