论文部分内容阅读
现代科学实践活动及其成果的迅速增加,极大地提高了文献更新和增长的速度。随着Internet的蓬勃发展,信息检索已成为收集相关资料和评价的必要手段。文摘作为文献内容的缩影,其简洁性、准确性和清晰性使其成为挖掘有用信息的有效方式。传统手工编制的文摘,生成方式效率低,难以满足快速信息检索的需要。而利用计算机和人工智能技术实现的自动文摘,易于信息的检索和再处理,已成为时代要求。 按照处理的文本对象不同,自动文摘可以划分为单文档文摘和多文档文摘。本文首先对自动文摘技术进行了综述,然后针对二者分别做了研究。在实现过程中,根据汉语自身的特点,引入并改造知网的词汇语义资源,以概念扩充和基于文档主题的自动聚类为基础,重点进行了多文档自动文摘研究。最后,通过引入综合评价理论,实现了对生成文摘较为全面的评价。 对于单文档文摘,实现了一种综合式自动文摘方法,并在这个原型系统上着重研究了评价方法。从评测方法的构建、实验语料的选取到评价原则的制定都做了有益的尝试。不仅验证了所采用方法的性能,分析了影响文摘评价质量的因素,而且为多文档文摘的评测打下了基础。 对于多文档文摘,重点研究了以下几个方面内容:语句相似度计算、主题区域发现、新颖度获取和综述的生成。在其最重要技术——语句相似度计算研究中,为了提高查找效率,对知网提供的语义知识词典进行了改造,生成了便于处理的索引表和倒排表;然后使用概念查找算法获取了关键词的概念特征,实现了同义词概念扩充,在一定程度上克服了向量空间模型(VSM)缺乏语义的问题。评测内容包括综述的表达质量、表述内容以及基于Q&A的信息性评测。 同时,通过分析单文档文摘和多文档文摘的评测结果,发现同一篇文摘在关联性和信息性评测得到较好结果的同时,其可读性和连贯性却并不理想。为此,根据各项评价方法的特点,旨在发挥各自的优势,使用了一种基于综合评价理论的评价方法。评测结果表明本文实现的研究方法是有效可行的。