基于Heritrix聚焦爬虫的特定语料采集系统设计

来源 :中国电子商情·通信市场 | 被引量 : 0次 | 上传用户:claverchou
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,语料在各项研究中发挥着重要作用,现在的语料采集方法还不能满足需要.本文提出了一种新的语料采集方法,可以准确迅速的采集特定领域语料.通过修改Heritrix开源爬虫的组件,引入了APHash算法,解决爬虫队列平均分配问题,提高了采集效率,并通过加入URL判断条件,实现了特定领域语料的采集.对采集内容使用开用工具Tika进行解析,通过大规模采集,可以形成语料库,实现了特定语料的采集.
其他文献
重组蛋白、单克隆抗体、反义寡核苷酸等许多蛋白质或多肽均有中枢神经活性,但因为血脑屏障(blood-brain barri- er,BBB)阻碍了这些物质进入脑中,因此跨血脑屏障的药物转运研
目的了解医学生在儿童期被虐待发生情况及其影响因素,旨在采取针对性措施保护和促进儿童的健康成长。方法采用自填式问卷,按照统一方式对某医学院本科一年级、二年级和三年级
1995年1月至2006年8月,我科收治创伤性急性呼吸窘迫综合征(ARDS)81例,治愈65例,治愈率80%,报告如下。临床资料1.一般资料:本组81例,男53例,女28例;年龄3~81岁,平均37岁。平均
正常生理情况下粘蛋白MUC1在子宫内膜容受期的丢失受类固醇激素、胚泡的影响,并发现一些MUC1脱落酶。MUC1在子宫调节胚泡植入中发挥抑制和促进两方面作用。该蛋白异常表达可
目的探讨应用电解可脱性弹簧圈(GDC)栓塞治疗颅内动脉瘤的临床效果。方法采用GDC栓塞23例患者共动脉瘤25个,其中17个为后交通动脉瘤,4个为前交通动脉瘤,4个为大脑中动脉瘤;Hu
通过对电信运营商进军在线旅游行业的可行性进行分析.说明由此产生的一系列大数据将有助于电信运营商掌握更多的市场动态与客户情况,从而为客旅设计和提供更多的旅游电信产品
针对当前光纤接入网因基于时分复用技术而面临的"瓶颈"问题,提出了将波分复用无源光网络(WDM-PON)技术引入到接入网,设计了8通道下行传输方案,用Optisystem进行了仿真.通过对眼图的分析,验证了该系统的可靠性.最后得出结论:8通道的WDM-PON可使接入网的下行速率由现在的25GBit/s提高到80GBit/s,可有效解决接入网下行传输的"瓶颈"问题.
在供应链管理模式下,直接转运作为一种新的配送方式给现代物流技术中的仓储配送管理带来一个变革.在这种模式下,可以降低内部成本,减少仓储空间,从而大大降低库存成本和运输成本.
随着信息技术的发展,互联网数据以及电子数据急剧增长.微博作为一种新型的社会媒介,近几年得到迅速发展,微博为影响力的研究提供了新的传播平台.微博用户数量急剧增长,微博用户的兴趣演化快,话题演化速度快,因此亟需能在海量,异变的信息数据中,迅速分析、研判话题趋势的方法.本文通过分析意见领袖在话题层次上的时间序列与话题的时间序列的关系,发现了它们之间的相关性,从而预测话题时序模式的变化规律.
为满足国内专业市场高端用户的需求,特别是海上远洋公司各船队之间、船队与陆上总部之间、新闻采访单位、政府应急部门与指挥中心之间的即时通信需求,针对目前国内尚无基于卫星信道的即时通信产品这一现实问题,本文基于第四代海事卫星系统开展企业级即时通信技术研究,设计并开发基于海事卫星信道的企业级即时通信系统,为海事卫星系统的业务增值提供系统支持.