论文部分内容阅读
Web查询(以下简称查询)是指由用户提交给搜索引擎用以表达搜索意图的文本，其按照意图可以分为导航类、事务类和信息类。查询意图分类是目前文本检索领域的研究热点之一。对查询按照意图进行分类以后，搜索引擎可以针对不同意图的查询采用不同的处理策略以获得_史好的检索结果或通过改变检索结果布局来方便用户快速定位查询目标；搜索引擎和电子商务站点也可以通过用户提交查询的意图来提供个性化的检索和推送服务。
本文总结了本领域相关的研究现状，并在对来自商业搜索引擎的大规模日志数据进行分析的基础上，针对中文的Web查询进行了意图分类，主要的工作包括：
收集和整理了来自商业搜索引擎的超过1亿条查询和点击记录的大规模的日志数据，并对日志数据进行了统计、分析和索引。为本文相关的研究工作奠定了基础。统计结果表明，大部分情况下，中文查询具有含有内容简短、信息量稀少的特点。
编写了查询标注系统对上述日志数据进行标注，构建用于后续实验的训练集和测试集。本文标注的查询集合的规模超越了此前中文查询意图分类领域的相关研究所采用的查询集合的规模，使得更具有显著统计意义的实验成为可能。
在对用户的查询和点击行为深入分析的基础上提出了两个新的特征：用户对查询的点击偏好特征、查询与具有事务类意图的动词的关联程度特征。由于同时考虑了不同用户对相同导航类查询可能需要不同的目标地址的情况和大量用户的群体行为，本研究提出的用户对查询的点击偏好特征在若干分类器上具有更好的区分导航类和非导航类(包含事务类和信息类)查询的效果，超过了前人发表的方法的结果，F1评价指标达到0.88。查询与具有事务类意图的动词的关联程度特征在区别事务类和信息类查询时取得了很好的分类性能，F1评价指标达到0.85。
建立了能够较好地识别导航类、事务类和信息类查询的层次性意图分类API和原型系统。该系统使用前述的特征提取方法获取待分类查询的特征和在建立的训练集上训练得到的分类器对查询进行分类。该系统具有响应时间很快的特点，并提供了应用编程接口，便于集成到今后的系统中。