crlib:可交互异构Crawler框架的设计与实现

• 作 者: 刘宝良 李建中
• 机 构: 哈尔滨工业大学计算机学院数据库技术研究中心(哈尔滨)
• 出 处: 第二十届全国数据库学术会议
• 发表日期: 2003年期
• 关键词: 可交互式 框架 接口标准化 应用接口 消息接口 通信机制 开发流程 基本功能 工作流程 可定制 动态库 组件 通用 嵌入 内核 控制

为了简化Crawler的开发流程及更新代价,本文提出Crawler的通用内核crlib,crlib抽象出Crawler的基本功能,以动态库的形式嵌入具体Crawler实例当中.crlib不仅提供了可定制的应用接口,还提供了可交互式的对Crawler工作流程进行控制的消息接口,该接口标准化了Crawler各组件之间的通信机制.