论文部分内容阅读
摘要：本文介绍了一个基于动态流通语料库(DCC)的术语释义信息标注语料库和针对语料库建设所开发的辅助软件系统。语料库建设过程分为如下几个步骤：原始语料收集、标记集确定；语料标注和辅助软件开发等几部分。在标注语料库中标出的内容有术语和它的定义或解释性语句。本文还对标注结果进行了介绍。本研究所产生的语料资源可作为术语取和定义识别的训练语料和测试语料，也可作为专业领域知识本体构建的结构化知识来源。
关键词：定义识别；定义标注；语料库建设；新术语；DCC
1、引言
本文是专业领域术语提取与定义识别研究的一部分。在对语料进行处理，获取其中的新术语之后，需要对新术语的定义进行识别。现有的术语定义识别方法中，大多比较重视定义模板和算法的设计，强调定义内部特征词语的选择和加权，而往往忽略了被定义项和定义项(即新术语和释义文字)之间在外在形式上的关联。本文通过考察一定数量的原始语料发现，由于很多术语是由两个以上的词构成的短语。它们的构成成分常常在定义中分散出现，这种出现对确定定义的范围有一定的标志作用。如：
Symbian操作系统
Symbian是针对移动电话的操作系统。它提供了高水准的通信与个人信息管理(PIM)相结合的功能。Symdian通过整合邮箱和Java与PIM功能集成，将中间件与无线通信结合起来。Symbian操作系统对独立软件商、企业IT部门、网络运营商以及Symbian许可持有者等第三方是开放的。
通过术语构成成分在句中的分布情况，可以大致确定作为该术语定义的核心句(上例中带下划线的部分)。
2、系统设计
通过对语料的观察得知，专业领域的媒体中对术语的解释常常采用随文释义的方式，并不常用特别简短而严格的“科学式”定义(即“属概念+种差”的方式)。这时如果在后续的段落中有被释术语的高频出现，则可以为该术语的“百科全书式”定义提供较充分的资料。以下面这段介绍“VoIP电话机”的文字为例，在定义核心句的后面。“VoIP电话机”集中出现，可以将这些文字都作为“VoIP电话机”的“百科全书式”定义素材：
VoIP电话机是专门设计用于VoIP系统的电话机，它将标准的电话话音转换成能在互联网上传输的数字格式，以及将通过互联网输入的数字电话信号转换成标准的电话话音。
虽然与互联网的连接仍然需要，但VoIP电话机可让用户在无需使用个人计算机的情况下利用VoIP技术。物理上，VoIP电话机很像传统的硬连线电话机或无绳电话机。
有的VoIP电话机还提供质量增强的话音，达到CD的水准。有些VoIP电话机还允许在通话过程中传输和接收图像数据，因而这些电话可以当作视频电话。
基于上述考察，我们设计了如下系统：
本系统选用IT类期刊语料作为领域文本，使用xml格式对识别出的IT领域术语及其定义进行标注。其基本流程如下：
(1)使用“接续指数+TFIDF+领域相减”的方法在领域文本中进行新术语提取；
(2)使用模板匹配和局部高频出现的特征对识别出的新术语进行初步定义识别；
(3)利用处理过程中保留的原始信息，将提取和识别结果标注到原始语料中；
(4)对标注结果进行校对，校对内容包括定义范围的准确性以及术语和定义关联的准确性；
(5)根据已有知识框架(拥《计算机百科全书》)和定义中包含的词语关系构建基于当前语料库的术语和定义知识库。
(6)随着语料库的不断更新，逐步扩大和丰富知识库。
3、语料库建设
本系统语料来源是始建于2002年的信息技术领域动态流通语料库，其语料来源主要选择了科普性质的信息技术类报刊《计算机世界》、《网络世界》、《IT经理世界》、《微电脑世界》、《大众软件》等，起止时间是2003-2006年。语料库规模为5千万字(纯文本)或2.1G(网页格式，含图片、声音、动画、视频等多媒体文件)，具体如下：
4、语料库标注
4.1 基本信息
我们在语料库全部语料中选取《计算机世界》2003-2006每年第1-10期共计21.5M纯文本语料(约1000万字)进行了标注，将其中包含释义信息的术语条目标注出来，得到496个文本，3.12M字节，约合150万个双字节字符，共包含术语释义信息978条。
4.2 标记集
在标注过程中确定了术语和释义信息等的标记符号。如下：
(1)术语：
(2)释义信息：
(3)字母词语：
上述标记按照xml语法规范制定，便于后续的内容抽取等工作。术语和释义信息的标记可通过属性或嵌套的方式描述其关联关系。
4.3 标注示例
X-by-Wire
飞机控制系统fly-by-Wire 是一种电线控制系统，它将飞机驾驶员的操纵、操作命令转换成电信号，利用计算机控制飞机飞行。
这种控制方式引入到汽车驾驶上，就成为Drive-by-Wire ，引入到制动上就产生了Brake-by-Wire ，引入到控制上就有Steering-by-Wire ，因此统称为X-by-Wire 。
采用X-by-Wire可以降低部件的复杂性，减少液压与机械控制装置，可以减少杠杆、轴承等金属连接件，减轻重量，降低油耗和制造成本，相应她也提高了可靠性和安全性。还有重要的一点，由于电线走向布置的灵活性，也增加了汽车操纵部件布置的灵活性，扩展了汽车设计的自由空间。例如，汽车方向盘采用X-by-Wire技术，左置或右置就可以随意变动。美国通用汽车公司研制的“自主魔力”概念车，操纵系统、制动系统、动力系统就采用了X-by-Wire形式，使其整车控制采用电子而不是传统的机械方式进行。
4.4 术语和释义信息的关联
这一步骤先借鉴前贤的模板匹配方法，将符合释义信息条件的语句抽取出来，再与先期提取的新术语相比较，形成“术语一释义信息”关联对，形如：
ManHunt
如果有同形术语的情况，则按照语文词典中同形词的处理方式，以序号的形式单独出条。如：
AX-00l
AX-002
4.5 以概念为单位的释义信息聚类
这一步骤利用文本聚类的方法，将描述相同或相近概念的释义信息聚到一起，形成“概念一释义”组。如下例是将“ManHunt”的不同出处的释义集中到了一起：
ManHunt
001
微电脑世界2003/0310/1003-17
近日，synmntoc公司推出一系列最新的入侵检测产品：……Symantec ManHunt是千兆级检测产品，它可以提供超越被动的事件识别和告警功能，为网络提供积极防护。……
002
网络世界20030324
ManHunt是基于网络的软件形式的入侵检测系统，部署在专用服务器上。ManHunt由传感器、相关性分析框架以及管理图形用户接口(GUI)组成。除管理GUI外，其他组件都置于ManHunt主机中，……
5、辅助标注系统
根据语料库建设流程，我们开发了语料库建设辅助工具软件，具备语料预处理、全切分、术语及释义信息标注和校对等功能。下面是其中语料标注和校对模块的截图(如图2)：
6、进一步的工作
本研究构建了信息技术领域专业语料库和面向术语定义识别的标注语料库，开发了一个用于术语提取和释义信息识别的辅助软件，为术语提取和释义信息识别的进一步自动化提供了资源基础和工具软件。下一步将对术语释义信息的自动识别和比较分析进行探索，同时建设一个术语释义信息发布网站，即时发布提取出来的新术语和释义信息。
关键词：定义识别；定义标注；语料库建设；新术语；DCC
1、引言
本文是专业领域术语提取与定义识别研究的一部分。在对语料进行处理，获取其中的新术语之后，需要对新术语的定义进行识别。现有的术语定义识别方法中，大多比较重视定义模板和算法的设计，强调定义内部特征词语的选择和加权，而往往忽略了被定义项和定义项(即新术语和释义文字)之间在外在形式上的关联。本文通过考察一定数量的原始语料发现，由于很多术语是由两个以上的词构成的短语。它们的构成成分常常在定义中分散出现，这种出现对确定定义的范围有一定的标志作用。如：
Symbian操作系统
Symbian是针对移动电话的操作系统。它提供了高水准的通信与个人信息管理(PIM)相结合的功能。Symdian通过整合邮箱和Java与PIM功能集成，将中间件与无线通信结合起来。Symbian操作系统对独立软件商、企业IT部门、网络运营商以及Symbian许可持有者等第三方是开放的。
通过术语构成成分在句中的分布情况，可以大致确定作为该术语定义的核心句(上例中带下划线的部分)。
2、系统设计
通过对语料的观察得知，专业领域的媒体中对术语的解释常常采用随文释义的方式，并不常用特别简短而严格的“科学式”定义(即“属概念+种差”的方式)。这时如果在后续的段落中有被释术语的高频出现，则可以为该术语的“百科全书式”定义提供较充分的资料。以下面这段介绍“VoIP电话机”的文字为例，在定义核心句的后面。“VoIP电话机”集中出现，可以将这些文字都作为“VoIP电话机”的“百科全书式”定义素材：
VoIP电话机是专门设计用于VoIP系统的电话机，它将标准的电话话音转换成能在互联网上传输的数字格式，以及将通过互联网输入的数字电话信号转换成标准的电话话音。
虽然与互联网的连接仍然需要，但VoIP电话机可让用户在无需使用个人计算机的情况下利用VoIP技术。物理上，VoIP电话机很像传统的硬连线电话机或无绳电话机。
有的VoIP电话机还提供质量增强的话音，达到CD的水准。有些VoIP电话机还允许在通话过程中传输和接收图像数据，因而这些电话可以当作视频电话。
基于上述考察，我们设计了如下系统：
本系统选用IT类期刊语料作为领域文本，使用xml格式对识别出的IT领域术语及其定义进行标注。其基本流程如下：
(1)使用“接续指数+TFIDF+领域相减”的方法在领域文本中进行新术语提取；
(2)使用模板匹配和局部高频出现的特征对识别出的新术语进行初步定义识别；
(3)利用处理过程中保留的原始信息，将提取和识别结果标注到原始语料中；
(4)对标注结果进行校对，校对内容包括定义范围的准确性以及术语和定义关联的准确性；
(5)根据已有知识框架(拥《计算机百科全书》)和定义中包含的词语关系构建基于当前语料库的术语和定义知识库。
(6)随着语料库的不断更新，逐步扩大和丰富知识库。
3、语料库建设
本系统语料来源是始建于2002年的信息技术领域动态流通语料库，其语料来源主要选择了科普性质的信息技术类报刊《计算机世界》、《网络世界》、《IT经理世界》、《微电脑世界》、《大众软件》等，起止时间是2003-2006年。语料库规模为5千万字(纯文本)或2.1G(网页格式，含图片、声音、动画、视频等多媒体文件)，具体如下：
4、语料库标注
4.1 基本信息
我们在语料库全部语料中选取《计算机世界》2003-2006每年第1-10期共计21.5M纯文本语料(约1000万字)进行了标注，将其中包含释义信息的术语条目标注出来，得到496个文本，3.12M字节，约合150万个双字节字符，共包含术语释义信息978条。
4.2 标记集
在标注过程中确定了术语和释义信息等的标记符号。如下：
(1)术语：
(2)释义信息：
(3)字母词语：
上述标记按照xml语法规范制定，便于后续的内容抽取等工作。术语和释义信息的标记可通过属性或嵌套的方式描述其关联关系。
4.3 标注示例
这种控制方式引入到汽车驾驶上，就成为
采用X-by-Wire可以降低部件的复杂性，减少液压与机械控制装置，可以减少杠杆、轴承等金属连接件，减轻重量，降低油耗和制造成本，相应她也提高了可靠性和安全性。还有重要的一点，由于电线走向布置的灵活性，也增加了汽车操纵部件布置的灵活性，扩展了汽车设计的自由空间。例如，汽车方向盘采用X-by-Wire技术，左置或右置就可以随意变动。美国通用汽车公司研制的“自主魔力”概念车，操纵系统、制动系统、动力系统就采用了X-by-Wire形式，使其整车控制采用电子而不是传统的机械方式进行。
4.4 术语和释义信息的关联
这一步骤先借鉴前贤的模板匹配方法，将符合释义信息条件的语句抽取出来，再与先期提取的新术语相比较，形成“术语一释义信息”关联对，形如：
如果有同形术语的情况，则按照语文词典中同形词的处理方式，以序号的形式单独出条。如：
4.5 以概念为单位的释义信息聚类
这一步骤利用文本聚类的方法，将描述相同或相近概念的释义信息聚到一起，形成“概念一释义”组。如下例是将“ManHunt”的不同出处的释义集中到了一起：
近日，synmntoc公司推出一系列最新的入侵检测产品：……Symantec ManHunt是千兆级检测产品，它可以提供超越被动的事件识别和告警功能，为网络提供积极防护。……
ManHunt是基于网络的软件形式的入侵检测系统，部署在专用服务器上。ManHunt由传感器、相关性分析框架以及管理图形用户接口(GUI)组成。除管理GUI外，其他组件都置于ManHunt主机中，……
5、辅助标注系统
根据语料库建设流程，我们开发了语料库建设辅助工具软件，具备语料预处理、全切分、术语及释义信息标注和校对等功能。下面是其中语料标注和校对模块的截图(如图2)：
6、进一步的工作
本研究构建了信息技术领域专业语料库和面向术语定义识别的标注语料库，开发了一个用于术语提取和释义信息识别的辅助软件，为术语提取和释义信息识别的进一步自动化提供了资源基础和工具软件。下一步将对术语释义信息的自动识别和比较分析进行探索，同时建设一个术语释义信息发布网站，即时发布提取出来的新术语和释义信息。