基于短语的汉语N-gram语言模型研究

来源 :863计划智能计算机主题学术会议 | 被引量 : 0次 | 上传用户:xingzhe1689
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
N-gram统计语言模型因其鲁棒性强、简洁、有效等特点成为当前的主流语言建模技术,但其本身存在难以克服的缺点:不能有效处理长距离语言约束;统计信息有时也不能反映真实的语言规律.语言规则分析能解决这些问题,但面向大规模应用的真实文本不能进行安全的句法分析.本文提出一种基于短语的N-gram汉语语言模型,利用规则分析产生短语,利用N元概率获得最佳短语序列,取代句法分析.为构造此模型,本文分别提出了N元概率的近似估计方法、基于互信息的短语规则的量化方法,对规则获取和分析进行了阐述.模型初步应用于汉语智能音字转换,有效解决了上述问题,同时明显降低了音字转换错误率.
其他文献
在房屋建筑工程施工中,渗漏是其中十分常见的问题。若房屋渗漏问题得不到妥善解决,会对房屋建筑的质量安全及使用性能大打折扣。若住户入住存在渗漏问题的房屋,会严重影响住户的
基于内容的视频检索是当前信息系统,特别是数字图书馆工程的重要研究课题之一,其研究范围包括视频结构化分析、可视化信息检索、视频数据模型等.本文就从上述几个方面对基于
本文介绍了一种在彩色图象中自动检测人脸及面部特征,最终获取个性化面部网格的新算法.首先利用色度表确定肤色区域;再通过形态运算将相互接触的区域分开;然后提取每个区域的
随着时代的发展和工业化进程的逐步加快,我国能源资源日趋紧张,如石油、煤炭等传统化石能源日渐枯竭,而新的能源产生供应体系还很不完善,能源危机问题日益严重。因此,对已有资源进
本文描述了一个基于任务分解的统计与机器学习结合的英语句法分析器.它采用渐进式的问题解决方法,结合了统计与机器学习等手段,解决句法分析所面临的问题.该句法分析器是一个
分析了逆向工程技术的理论,工程流程和工程过程,以及逆向工程的结构;探讨和研究了逆向工程的数据测量、数据处理和曲面建模 3 个主要模块,并研究了逆向工程在内燃机气道方面的应
本文介绍了基于理论精化学习方法的句法知识库进化的应用,研究了在汉语基本短语分析和句法分析过程中发现新知识、加工新知识、以及保证新旧知识的一致性等问题.本文研究的意
汉字识别系统除了能够进行准确的字符识别,还要有恢复原有版面结构的能力,这就需要获得汉字字符的字体信息,尤其是单个汉字字符的字体信息.目前的字体识别,还不能对单个字符
辽南滨河地区田园综合体规划设计体系构建,是在宏观层面对规划设计所提出的引导性要求,有利于明晰设计思路,规范设计流程,包括设计目标、设计原则、设计要素和设计手法四个方面。
金属板材(尤其是铝塑复合板)的优良的可塑性,色彩的多样性及良好的安全性,能适应各种复杂造型的大型公共建筑设计,(如体育馆、客运站、飞机场等),倍受建工作者的青睐。本篇文章主要是