一种高效的文本查重算法在电子商务中的应用

• 作 者: 刘利俊 吴达胜
• 机 构: 杭州广播电视大学网络中心,浙江林学院信息工程学院
• 出 处: 计算机应用与软件
• 发表日期: 2009年01期
• 关键词: 查重 算法 电子商务 Replicas detection Algorithm E-commerce

研究一种高效的文本信息查重算法,对电子商务网站的相似信息进行自动归类排序,大幅度提高信息审核效率与正确性。测试表明,信息数量在100-1000条时,该算法十分有效,1000条的文本信息相互比较可控制在2秒之内。信息数量超过1000条后,计算时间会大幅度上升。可通过调整算法中相关参数来调整精度。对于过短信息(少于10个字),可将本算法与Levenshtein算法相结合,以提高该文本信息查重算法的灵活性。