论文部分内容阅读
摘 要：指代消解技术是自动文章的关键，介绍了指代消解的研究方式，分析了中文指代消解目前研究现状，并且详细阐述了语料库和所使用的此类标记，同时提出了名词短语识别和标记符号，分析了中文名词短语的确定与英文的不同，对中文指代消解的前期语料的处理和后期应用作了很好的介绍。
关键词：指代消解；规则；名词短语
中图分类号：TP391.1
1 研究的背景及意义
1.1 自动文摘技术
指代是自然语言处理领域的常见现象，广泛的存在于自然语言的各种表达中。对于简化表达，衔接上下文起着重要作用。在语言学中，指代也称照应，英文单词是Anaphora，所指的对象或内容称为先行语（Antecedent）。确定照应语所指的先行语的过程称为指代消解[1]（Anaphora Resolution）。指代消解是在一个篇幅内进行的。指代消解技术是信息抽取[2]IE（Information Extraction）评测的主要技术指标。伴随计算机技术在非数字化领域研究的兴起，指代消解被越来越多的应用在自动文摘，信息检索等领域。
2 中文指代消解基本知识
2.1 中文语料库的规范
中文指代消解所使用的语料库是由富士通研究开发中心和北京大学计算语言学研究所，根据人民日报1998年上半年的语料为对象，从1999年4月起制作出了最大的汉语标注语料库[3]。共有26个词类标记，包括：处所词s、名词n、时间词t、介词p、数词m、量词q、区别词b、词r、动词v、形容a、状态词z、副词d、连词c、助词u、方位词f、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w，并多加以下3类标记：
专有名词的分类标记即人名nr，地名ns，团体机关单位名称nt，其他专有名词nz；
语素的子类标记即名语素Ng，动语素Vg，形容语素Ag，时间语素Tg，副语素Dg等；动词和形容词的名词用法标记vn，an和副词用法标记vd，ad。合计约40个左右。抽取方法采用隐马尔可夫模型。
例如句子：“他去南京”根据单词出现的概率与词性和词性的连接概率，计算出所有切法的概率总值，概率值最大的为第一候选，这其中“他/r去/v南京/ns”的概率总值最大，是第一候选。
2.2 名词短语的识别
本文研究的主要内容是将代词替换为它所指代的照应词，所以在消解过程中需要对命名实体和代词进行标注，
根据本文特定的语料内容，只需要将源语料中动词（v）、含有动词意义的名词（vn）、名词（n）、时间词（t）和命名实体进行标注，所以利用ICTCLAS所标注出来的词性[4]和Perl编写的程序将分割文件中的代词和命名实体都标注成了“<词性>单词”的形式，例如名词“北京”就标记成为“北京 ”的形式存放于命名实体标记文件中。
在命名实体识别中，将命名实体分为“Human”、“Place”、“Organization”、“Time”、“Pronoun”和“General”，六种类型进行标识，分别表示“人物”、“地点”、“机构”、“时间”、“代词”和“一般名词”，其标注的方式与上述动词的标注方式是一样的，即张先生 ，指代消解就是把指代这类命名实体的代词进行消解。
指代消解最核心的问题是根据文章的两个名词和名词短语来判断是否存在指代关系[5]。名词短语是以名词为主体的短语，性质和作用与名词相同。例如：民俗风情、甲级联赛、社会风气等。
在计算机指代消解中，处理的关键名词短语包括：人名（Human Name）、地名（Place Name）、机构名（Organization Name）、时间（Time）、代词（Pronoun Name）和一般名词（General），分别用符号H、P、O、T、D和G 表示不同类型的先行词对应的照应语类型不同，如人称代词的先行语一般指代人名，绝对不会指代时间或者代词，如表1所示：
表1 基本名词成分分组情况
组别 词性符号
人名（Human Name） nr
地名（Place Name） ns
机构名（Organization Name） nt
时间（Time） Tg/t
代词（Pronoun Name） r
一般名词（General） an /Ng/n/nx/nz/vn
判断名词短语的方式步骤如下：
首先，根据上面的六种组别分类判断出句子中的名词短语；
其次，根據距离属性，判断相邻的短语如果组别相同，可以将两个短语合二为一；
最后，合并并列的名词性短语。如句子中出现“和”、“与”或“、”两侧的短语的类型一致，就将两侧短语连同连接词“和”、“与”或“、”一起合并为一个名词短语。字母B用来表示并列词如“和”、“与”、“、”，语料句子中的出现的其他成分均标记成字母Q。
根据上面的方式，对人民日报标注语料基本实现了指代消解的名词短语识别，识别结果举例如下：
19980118-01-001-007/m{灾情/n}G{惊动/v}Q{中南海/ns}P{。/w}Q{当天/t}T{下午/t}T{，/w}Q{江/nr泽民/nr}H{总书记/n}G{和/c（Ag-c-Ng-p-q-v）}B{李/nr鹏/nr}H{总理/n}Q{打电话/l}Q{向/p（Ng-p-v）}Q{罹难者/n家属/n}G{和/c（Ag-c-Ng-p-q-v）}B{灾区/n 群众/n}G{表示/v}Q{亲切/ad}q{慰问/v。/w}Q。
3 中文指代消解的特点
汉语和英语两种语言之间存在差异，中文的指代消解，如果直接借鉴英文指代消解的处理方法是不科学的。如英语中的单复数信息、人名的性别信息等在汉语中都不明显。例如英文中的“they”，针对不同的语境，在汉语中可以翻译成“他们”、“她们”和“它们”三种。人名、地名、机构名等命名实体的自动识别，是人称代词消解中需要首先解决的问题，但是目前这一问题并未完全解决，这在一定程度上影响了先行语的辨识，同样也影响了人称代词的消解。词汇与句法知识在指代消解中起着非常重要的作用，
句法分析尚处在很不成熟的阶段，句子之间的语义关系，甚至常识性知识更不容易分析得到。因此，要运用这些知识指代消解是困难的，也是目前自然语言处理中研究得最多的问题之一。
参考文献：
[1]王厚峰.指代消解的基本方法和实现技术[J].中文信息学报，2002，16（6）：9-17.
[2]孔芳，周国栋.指代消解综述[J].计算机工程，2010，36（8）：33-36.
[3]段慧明，松井久仁於.大规模汉语标注语料库的制作与使用[J].语言文字应用2000，02：72-777.
[4]李国臣，罗云飞.采用优先选择策略的中文人称代词的指代消解[J].中文信息学报，2005，19（4）：24-30.
[5]郭志立.人称代词指代主体的辨析及其在在要抽取中的应用[M].1998年中文信息处理国际会议论文集，北京：清华大学出版社，1998：310-315.
作者简介：韦丽红（1982-），女，黑龙江人，硕士，讲师，研究方向：语义web、文本挖掘、信息处理。
作者单位：呼伦贝尔学院 计算机科学与技术学院，内蒙古海拉尔 021008
关键词：指代消解；规则；名词短语
中图分类号：TP391.1
1 研究的背景及意义
1.1 自动文摘技术
指代是自然语言处理领域的常见现象，广泛的存在于自然语言的各种表达中。对于简化表达，衔接上下文起着重要作用。在语言学中，指代也称照应，英文单词是Anaphora，所指的对象或内容称为先行语（Antecedent）。确定照应语所指的先行语的过程称为指代消解[1]（Anaphora Resolution）。指代消解是在一个篇幅内进行的。指代消解技术是信息抽取[2]IE（Information Extraction）评测的主要技术指标。伴随计算机技术在非数字化领域研究的兴起，指代消解被越来越多的应用在自动文摘，信息检索等领域。
2 中文指代消解基本知识
2.1 中文语料库的规范
中文指代消解所使用的语料库是由富士通研究开发中心和北京大学计算语言学研究所，根据人民日报1998年上半年的语料为对象，从1999年4月起制作出了最大的汉语标注语料库[3]。共有26个词类标记，包括：处所词s、名词n、时间词t、介词p、数词m、量词q、区别词b、词r、动词v、形容a、状态词z、副词d、连词c、助词u、方位词f、语气词y、叹词e、拟声词o、成语i、习用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w，并多加以下3类标记：
专有名词的分类标记即人名nr，地名ns，团体机关单位名称nt，其他专有名词nz；
语素的子类标记即名语素Ng，动语素Vg，形容语素Ag，时间语素Tg，副语素Dg等；动词和形容词的名词用法标记vn，an和副词用法标记vd，ad。合计约40个左右。抽取方法采用隐马尔可夫模型。
例如句子：“他去南京”根据单词出现的概率与词性和词性的连接概率，计算出所有切法的概率总值，概率值最大的为第一候选，这其中“他/r去/v南京/ns”的概率总值最大，是第一候选。
2.2 名词短语的识别
本文研究的主要内容是将代词替换为它所指代的照应词，所以在消解过程中需要对命名实体和代词进行标注，
根据本文特定的语料内容，只需要将源语料中动词（v）、含有动词意义的名词（vn）、名词（n）、时间词（t）和命名实体进行标注，所以利用ICTCLAS所标注出来的词性[4]和Perl编写的程序将分割文件中的代词和命名实体都标注成了“<词性>单词”的形式，例如名词“北京”就标记成为“
在命名实体识别中，将命名实体分为“Human”、“Place”、“Organization”、“Time”、“Pronoun”和“General”，六种类型进行标识，分别表示“人物”、“地点”、“机构”、“时间”、“代词”和“一般名词”，其标注的方式与上述动词的标注方式是一样的，即
指代消解最核心的问题是根据文章的两个名词和名词短语来判断是否存在指代关系[5]。名词短语是以名词为主体的短语，性质和作用与名词相同。例如：民俗风情、甲级联赛、社会风气等。
在计算机指代消解中，处理的关键名词短语包括：人名（Human Name）、地名（Place Name）、机构名（Organization Name）、时间（Time）、代词（Pronoun Name）和一般名词（General），分别用符号H、P、O、T、D和G 表示不同类型的先行词对应的照应语类型不同，如人称代词的先行语一般指代人名，绝对不会指代时间或者代词，如表1所示：
表1 基本名词成分分组情况
组别 词性符号
人名（Human Name） nr
地名（Place Name） ns
机构名（Organization Name） nt
时间（Time） Tg/t
代词（Pronoun Name） r
一般名词（General） an /Ng/n/nx/nz/vn
判断名词短语的方式步骤如下：
首先，根据上面的六种组别分类判断出句子中的名词短语；
其次，根據距离属性，判断相邻的短语如果组别相同，可以将两个短语合二为一；
最后，合并并列的名词性短语。如句子中出现“和”、“与”或“、”两侧的短语的类型一致，就将两侧短语连同连接词“和”、“与”或“、”一起合并为一个名词短语。字母B用来表示并列词如“和”、“与”、“、”，语料句子中的出现的其他成分均标记成字母Q。
根据上面的方式，对人民日报标注语料基本实现了指代消解的名词短语识别，识别结果举例如下：
19980118-01-001-007/m{灾情/n}G{惊动/v}Q{中南海/ns}P{。/w}Q{当天/t}T{下午/t}T{，/w}Q{江/nr泽民/nr}H{总书记/n}G{和/c（Ag-c-Ng-p-q-v）}B{李/nr鹏/nr}H{总理/n}Q{打电话/l}Q{向/p（Ng-p-v）}Q{罹难者/n家属/n}G{和/c（Ag-c-Ng-p-q-v）}B{灾区/n 群众/n}G{表示/v}Q{亲切/ad}q{慰问/v。/w}Q。
3 中文指代消解的特点
汉语和英语两种语言之间存在差异，中文的指代消解，如果直接借鉴英文指代消解的处理方法是不科学的。如英语中的单复数信息、人名的性别信息等在汉语中都不明显。例如英文中的“they”，针对不同的语境，在汉语中可以翻译成“他们”、“她们”和“它们”三种。人名、地名、机构名等命名实体的自动识别，是人称代词消解中需要首先解决的问题，但是目前这一问题并未完全解决，这在一定程度上影响了先行语的辨识，同样也影响了人称代词的消解。词汇与句法知识在指代消解中起着非常重要的作用，
句法分析尚处在很不成熟的阶段，句子之间的语义关系，甚至常识性知识更不容易分析得到。因此，要运用这些知识指代消解是困难的，也是目前自然语言处理中研究得最多的问题之一。
参考文献：
[1]王厚峰.指代消解的基本方法和实现技术[J].中文信息学报，2002，16（6）：9-17.
[2]孔芳，周国栋.指代消解综述[J].计算机工程，2010，36（8）：33-36.
[3]段慧明，松井久仁於.大规模汉语标注语料库的制作与使用[J].语言文字应用2000，02：72-777.
[4]李国臣，罗云飞.采用优先选择策略的中文人称代词的指代消解[J].中文信息学报，2005，19（4）：24-30.
[5]郭志立.人称代词指代主体的辨析及其在在要抽取中的应用[M].1998年中文信息处理国际会议论文集，北京：清华大学出版社，1998：310-315.
作者简介：韦丽红（1982-），女，黑龙江人，硕士，讲师，研究方向：语义web、文本挖掘、信息处理。
作者单位：呼伦贝尔学院 计算机科学与技术学院，内蒙古海拉尔 021008