论文部分内容阅读
论坛是互联网中最活跃的部分,蕴涵着丰富的信息。论坛采集是对论坛信息检索和挖掘的重要基础,然而传统的广度优先算法不能有效的获取论坛信息。针对论坛的深层链接、存在大量功能链接和无效链接及内容重复链接等特点,本文提出了一种论坛采集算法,能有效的解决以上难题。经过实验表明,论坛采集的覆盖率和有效率明显优于传统算法,并且应用在中科院计算所舆情监测平台上取得了良好的效果。