论文部分内容阅读
随着Web信息的爆炸性增长，如何及时有效地从网络上查找到真正所需要的信息，已经成为研究者所面临的难题。搜索引擎技术在这种背景下应运而生并得到了快速发展。但越来越多的应用要求搜索对象，不应仅局限于静态页面，还必须包括更多数量的动态页面。
本论文的研究围绕着网络智能搜索和获取问题展开，主要着眼于深层数据源的发现技术，封装器半自动化构建方法，以及移动Agent应用于搜索领域的若干问题研究。基于本文思想所开发的系统，在实际应用中，取得了较好的效果。归纳起来，本文主要工作和贡献如下：
1．对目前主流的搜索引擎技术做了广泛的调查和总结，包括基于静态页面的搜索、基于主题的搜索和元搜索。
2．提出了一种网络深层数据源发现的方法。在表单模型的基础上，使用迭代尝试填单并分析判断返回页面的方法，发现网上的深层数据源，且准确提取页面中的动态数据区域。
3．实现了网络信息抽取的方法。分析了应用于无结构化/半结构化资料抽取的三种方法：自然语言处理、统计学习、有限状态转换机。基于海量半结构化页面信息抽取速度和效果的考虑，本文着重介绍了基于有限状态转换机的网络抽取技术，并将它应用于所设计的系统之中。
4．研究了移动Agent应用于搜索的若干问题。移动Agent技术是一个全新的搜索计算模型，代表了传统搜索技术发展的方向。本文着重研究了移动Agent应用于智能搜索领域需要解决的若干问题。