【摘 要】
：
通过分析和研究网络爬虫访问网页内容的行为,针对恶意网络爬虫伪装成浏览器访问网站难以甄别、网站日志检测工具不支持匿名网络爬虫检测等问题,总结了一些基于机器人排斥协议
【机 构】
：
云南大学信息学院计算机科学与工程系
【基金项目】
：
国家自然科学基金资助项目(61562090)
论文部分内容阅读
通过分析和研究网络爬虫访问网页内容的行为,针对恶意网络爬虫伪装成浏览器访问网站难以甄别、网站日志检测工具不支持匿名网络爬虫检测等问题,总结了一些基于机器人排斥协议和基于爬虫行为的恶意网络爬虫检测算法。通过这些网络爬虫检测算法的启发,提出一种基于爬虫行为的检测匿名爬虫算法。该算法主要根据人为访问网站与网络爬虫访问网站时间的长短、访问的周期等,对网络爬虫进行检测,同时对算法进行了实验验证。实验数据来自一个服务器的网络日志。应用Python对实验数据进行处理,从而对网络匿名爬虫进行检测,并与当前主流的匿名网络爬虫检测算法进行比较。结果表明,该算法能够检测出并发量小的匿名的网络爬虫。
其他文献
目的:了解童年创伤经历对青少年抑郁的影响,以及自尊在其中的调节作用。方法:对1219名初一至大四的青少年进行问卷调查,采用多层次回归分析对数据进行分析。结果:在控制人口
反倾销贸易战愈演愈烈,使得我国外贸发展面临严峻挑战。国外对华发起反倾销调查的原因错综复杂,外部原因主要有国际新贸易保护主义、经济因素和歧视性政策,内部原因则主要涉
铁凝是新时期文坛重要的作家,在北京度过了她童年和少年的大部分时光,这使得北京文化成为她精神家园的同时也构成了她创作的重要支撑。文化是作家创作的重要来源,通过北京城
德育在人的全面发展中居于十分重要的地位。这种地位在我国长期以来是用"德育首位论"的观点来表达的。如果我们运用教育科学的基本理论进行分析,"德育首位论"是不能准确的表
研究了电磁搅拌对Al-5Ti-B中间合金组织、成分及细化效果的影响,并在不同的温度下利用DSC对Al-5Ti-B中间合金及其细化后的纯铝的凝固和熔化过程进行了差热分析。分析了两组合
近年来,伴随着经济的快速发展,国内的电力行业也在不断地发展,中低压开关柜在输配电系统中应用也越来越广泛。与此同时,中低压开关柜在短路故障发生时,产生的弧光会对设备及
能源林作为生产生物质能的主要方式,以其可再生、生物量大、环保及适应地域广而越来越受到国际社会的广泛关注。笔者详细介绍了国内外生物质燃料油能源树种研究现状,简要分析
随着社会经济的快速发展,中国向人民币国际化的一些条件逐渐靠拢,目前的中国,无论是政治地位还是经济规模都在世界上占据着重要地位,同时也具备了一定的人民币国际化的基础。
<正>骨巨细胞瘤(giant cell tumor,GCT)是常见的骨肿瘤之一,好发于20～40岁患者长骨骨端,为偏心性、溶骨性骨质破坏区,增强后明显强化,影像学表现较具特征性,诊断不难。发生于
以七种典型的机器人系统来介绍机器人控制系统、多机器人协调控制技术、初始点寻位技术、电弧跟踪技术、激光视觉跟踪技术和机器人弧焊工艺,并论述了焊接机器人技术的应用现