论文部分内容阅读
针对现有信息增量爬取方法存在的爬取收获率较低的问题,提出了一种基于窗口队列的信道信息增量智能爬取方法,由于计算机网络信号通常会受到外界环境因素的影响,所以为了防止这种情况的出现,首先需要利用小波变换的方式去除信道中的噪声,然后通过判定信道信息增量相关度的方式计算主题相关性,将语义相似度计算加入到信息增量相关度的计算当中,考虑子节点相关度的情况对当前增量的相关度做加权处理,根据加权得分对信道信息增量进行排序和更新,保证了抓取时网络爬虫的爬行路线能够维持在高相关度的信息增量中,避免抓取无效信息,有助于爬