班智达藏文标注词典设计

admin管理员组

文章数量:1569312

2024年7月11日发(作者：)

第２４卷第５期　

中文信息学报　

Ｖｏ１．２４，ＮＯ．５　

２０１０年９月　

ＪＯＵＲＮＡＬ　ＯＦ　ＣＨＩＮＥＳＥ　ＩＮＦＯＲＭＡＴＩＯＮ　ＰＲＯＣＥＳＳＩＮＧ　

Ｓｅｐ．，２０１０　

文章编号：１００３—００７７（２０１０）０５—００４６—０４　

班智达藏文标注词典设计　

才智杰，才让卓玛　

（青海师范大学藏文信息研究中心，青海西宁８１０００８）　

摘　要：语料库加工是一项庞大的语言工程，其中分词标注是最基础性的工作，而分词标注词典是标注系统的重要　

组成，词典设计的优劣直接关系着分词标注的速度和效率。在设计国家语委项目《班智达藏文自动标注系统》的基　

础上，给出了分词标注词典库的结构及词典库索引查询算法。对８５万字节藏语实验语料的分词和标注，分词准确　

率迭９９　，标注准确率迭９７　。　

关键词：藏语语料库；分词；标注；词典；索引　

中图分类号：ＴＰ３９１　文献标识码：Ａ　

Ｄｅｓｉｇｎ　ｏｆ　Ｔｉｂｅｔａｎ　Ｐａｒｔ　ｏｆ　Ｓｐｅｅｃｈ　Ｔａｇｇｉｎｇ　Ｄｉｃｔｉｏｎａｒｙ　

ＣＡＩｚｈｉｉ　ｉｅ，ＣＡＩｒａｎｇｚｈｕｏｍａ　

（Ｔｉｂｅｔａｎ　Ｉｎｔｅｌｌｅｃｔｕａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｃｅｎｔｒｅ　ｏｆ　Ｑｉｎｇｈａｉ　Ｎｏｒｍａｌ　Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉｎｉｎｇ，Ｑｉｎｇｈａｉ　８１０００８，Ｃｈｉｎａ）　

Ａｂｓｔｒａｃｔ：Ｃｏｒｐｕｓ　ｐｒｏｃｅｓｓｉｎｇ　ｉｓ　ａ　ｃｏｍｐｌｉｃａｔｅｄ　ｐｒｏｊ　ｅｃｔ　ｏｆ　ｌａｎｇｕａｇｅ　ｅｎｇｉｎｅｅｒｉｎｇ，ｉｎ　ｗｈｉｃｈ　ｔｈｅ　ｓｅｇｍｅｎｔａｔｉｏｎ　ａｎｄ　ｔａｇｇｉｎｇ　

ａｒｅ　ｔｈｅ　ｆｕｎｄａｍｅｎｔａｌ　ｗｏｒｋ．Ｔｈｅ　ｐａｒｔ—ｏｆ　ｓｐｅｅｃｈ　ｔａｇｇｉｎｇ　ｄｉｃｔｉｏｎａｒｙ　ｉｓ　ａｎ　ｅｘｘｅｎｔｉａｌ　ｃｏｍｐｏｓｉｔｉｏｎ　ｏｆ　ｔｈｅ　ｔａｇｇｇｉｎｇ　

ｐｒｏｃｅｓｓ，ｒｅｌａｔｉｎｇ　ｄｉｒｅｃｔｌｙ　ｔＯ　ｔｈｅ　ｓｐｅｅｄ　ａｎｄ　ｅｆｆｉｃｉｅｎｃｙ　ｏｆ　ｔａｇｇｉｎｇ．Ｂａｓｅｄ　ｏｎ　ｄｅｓｉｇｎ　ｏｆ　ｐｒｏｊｅｃｔ“Ｂａｎ　Ｚｈｉ　Ｄａ　Ｔｉｔｅｔａｎ　Ａｕ—　

ｔＯ—ｔａｇｇｉｎｇ　Ｓｙｓｔｅｍ”ｓｕｐｐｏｒｔｅｄ　ｂｙ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ｌａｎｇｕａｇｅ　Ｃｏｍｍｉｔｔｅｅ．ｔｈｉｓ　ｐａｐｅｒ　ｐｒｅｓｅｎｔｓ　ｔｈｅ　ｃｏｎｓｔｒｕｃｔｉｏｎ　ｏｆ　ｔａｇｇｉｎｇ　

ｄｉｃｔｉｏｎａｒｙ　ａｎｄ　ｉｔｓ　ｉｎｄｅｘ　ａｎｄ　ｓｅａｒｃｈ　ａｌｇｏｒｉｔｈｍ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔ　ｏｎ　ｔｈｅ　８５０　ＫＢ　ｃｏｒｐｕｓ　ｏｆ　Ｔｉｂｅｔａｎ　ｓｈｏｗｓ　ｔｈａｔ　ｗｏｒｄ　

ｓｅｇｍｅｎｔａｔｉｏｎ　ａｃｃｕｒａｃｙ　ｒａｔｅ　ｃａｎ　ｒｅａｃｈ　９９　ａｎｄ　ｔａｇｇｉｎｇ　ａｃｃｕｒａｃｙ　ｒａｔｅ　ｃａｎ　ｒｅａｃｈ　９７　．　

Ｋｅｙ　ｗｏｒｄｓ：ｃｏｒｐｕｓ　ｏｆ　Ｔｉｂｅｔａｎ；ｓｅｇｍｅｎｔａｔｉｏｎ；ｔａｇｇｉｎｇ；ｄｉｃｔｉｏｎｏｒｙ；ｉｎｄｅｘ　

究人员已意识到藏文自动分词标注的重要性，在借　

ｌ　引言　

鉴汉语分词标注研究已有成功经验的基础上，藏文　

自动分词标注也取得了一些有价值的研究成果。目　

大规模语料库是除自然资源以外的重要资源，　

前藏文分词标注主要采用基于词典的分词标注，基　

各国目前已把实现大规模真实文本的处理作为自然　

于词典的分词标注是把分词标注所需的各种信息都　

语言处理今后一个时期的战略目标，从大规模的语　

以词典的形式存储，在整个分词过程中都需要频繁　

料库中提取、归纳、分析、概括出所需要的知识和信　

地访问词典以获得词语信息。因此词典的设计和查　

息。藏文和汉文都是字的序列，词之间没有间隔标　

记，使得词的界定缺乏自然标准，这就需要分词。分　

询是整个分词标注系统的关键。《班智达藏文自动　

词是理解自然语言的第一步，在此基础上标注词性。　

标注系统》的研制为藏文输入法研究、藏文电子词典　

分词、标注的语料可供划分短语、抽取概念以及分析　

建设、藏文字词频统计、搜索引擎的设计和实现、机　

主题，以至自然语言理解，最终实现智能化ｌｌｊ。　

器翻译系统的开发、网络信息安全、藏文自动分析等　

近年来随着藏文信息处理技术的不断发展，研　

方面的研究奠定了基础。　

收稿日期：２００９—０８—２５定稿日期：２００９　１０—０９　

基金项目：国家语委资助项目（ＭＺ０５　１１８）；国家社会科学基金资助项目（０７ＢＹＹ０３５，０９ＸＹＹ０２４）　

作者简介：才智杰（１９７Ｏ　），男，副教授，主要研究方向为藏文信息处理；才让卓玛（１９７Ｏ一），女，副教授，主要研究方向为　

藏文信息处理。　

５期　才智杰等：班智达藏文标注词典设计　４７　

大匹配算法。先将待切分文本分块，然后按照一定　

２藏文自动标注的过程　

《班智达藏文自动标注系统》采用模块化设计，　

由知识库管理模块、知识库模块、句子分块模块、块　

分词模块、标注模块和校正模块等六部分组成。　

自动标注系统的总体设计思想是基于词典的最　

的策略将待分析的字串与词典中的词条进行匹配，　

若在词典中找不到某个字串，则将字串缩小继续查　

找，否则匹配成功，识别出一个词，并加以标注。藏　

文分词标注需要四步完成　：文本切分成句，句切　

分成块，块切分成词，词性标注，其处理过程如图１　

所示。　

图１分词标注流程　

由表１可以看出班智达藏文分词标注词典库中　

３　词典设计　

３．１主词典库设计　

长度最小的是１个字符，长度最大的达４Ｏ个字符，　

词条基本集中在１～２Ｏ个字符之间，２０个字符以上　

的词条共４６７条，约占总词条数的０．４９　，随字符　

数的增加词条数递减。通过在８５万字节藏语语料　

词典库是基于词典的分词标注系统的核心，由　

于《班智达藏文自动标注系统》采用基于词典匹配的　

分词方法，因而词典库设计的合理性直接影响其性　

能。通过对８５万字节原始藏语语料的统计及切分　

统计，文本中出现的词绝大部分是３～１３个字符（在　

词典库中共有８７　６７２条，占总词条的９１．４　）构成　

的词，少部分由１、２、１４～２ｏ个字符（在词典库中共　

有７　８３１条，占总词条的８．１１　）构成的词，２０个以　

实验，班智达藏文自动标注词典库共收录了９５　９７０　

条词，词条分布见表１。　

表１　班智达藏文自动标注词典词条分布统计表　

上字符组成的词出现的频率很低。假若按常规模式　

建立词典库，一方面由于词典库规模太大而增加模　

式匹配次数，分词速度将受到影响；另一方面，由于　

词长　词条数　词长　词条数　词长　词条数　

词间字符数悬浮太大而出现数据冗余再现，浪费系　

统资源。因此，为了减少查词典的次数和计算量，提　

高藏文分词标注的速度，班智达藏文自动标注系统　

在建立词典库时按词条字符数分成高频用库、常规　

（字符数）　（条）　（字符数）　（条）　（字符数）　（条）　

１　４４９　ｌ５　１　０９９　２９　９　

２　

３　

４　

５　

６　

７　

８　

９　

１　９９９　

４　３８１　

１Ｏ　９３４　

】７　２５３　

ｌ４　１Ｏ１　

８　６６５　

６　４０３　

６　１８６　

１６　

ｌ７　

１８　

１９　

２Ｏ　

２ｌ　

２２　

２３　

７１９　

６２４　

４８８　

３４０　

２４４　

ｌ３６　

９Ｏ　

６８　

３Ｏ　

３１　

３２　

３３　

３４　

３５　

３６　

３７　

４　

８　

６　

５　

２　

Ｏ　

Ｏ　

Ｏ　

库和稀疏库等三种，并针对“最大匹配算法”的实际　

需要，设计了藏文分词的“最大匹配索引法”。　

整个词库采用线性表组织，并通过分块和索引　

的方法来提高词库的检索速度，以减少进行匹配的　

词条数。首先对词条按字符数分块，字符数相同的　

词条放到同一组，并组内排序。一级索引加在各个　

分组上，一级索引记录组成块的字符数ｌｅｎｇｔｈ和该　

项块的首地址ｈｅａｄ１，再根据下一分组块的首地址　

１Ｏ　

１１　

６　Ｏ６５　

５　７９２　

２４　

２５　

４３　

３５　

３８　

３９　

Ｏ　

１　

确定该分组的终止地址，组首地址可通过哈希函数　

厂（７ｚ）一（ｎ一１）×３ｏ十１确定。二级索引是加在一级　

索引内部，记录词条的字符数ｌｅｎｇｔｈ、首字符ｗＨ　

１２　

ｌ３　

１４　

４　７４９　

３　１４３　

１　８６９　

２６　

２７　

２８　

２４　

２３　

１２　

４Ｏ　１　

和ｌｅｎｇｔｈ个字符且首字符为ｗＨ组成的词在库中　

首地址，在同一组内部由于有很多的词条，二级索引　

是按词的首字符建立，它加在以不同字符开头的词　

４８　中文信息学报　

条组中，这样通过二级索引可以进一步缩小查找范　

词”采用汉字“状”汉语拼音的首字母“ｚ”作为标记代　

围。使用这种结构存储库，不但可以提高查询速度，　

码。库结构描述如下：　

同时解决了由于藏语词条间字符数悬浮太大而出现　

Ｔｙｐｅｄｅｆｉｎｅ　ｓｔｒｕｃｔ　ｉｎｄｅｘ１　

的数据冗余现象。　

｛ｉｎｔ　ｌｅｎｇｔｈ；／／描述组成词的字符数　

在藏语词语标注分类体系的构建上，根据藏语　

ｉｎｔ　ｈｅａｄ１；／／描述ｌｅｎｇｔｈ个字符组成的词在库中首　

语料库自动切分和标注的实际需要，采用先分虚实　

地址　

词，再确定大类，在大类的基础上分出小类，再分出　

｝ＩＤ１；　

不同深度的子类。大类类划分为２１个一级类，６Ｏ　

Ｔｙｐｅｄｅｆｉｎｅ　ｓｔｒｕｅｔ　ｉｎｄｅｘ２　

｛ｉｎｔ　ｌｅｎｇｔｈ；／／描述组成词的字符数　

个二级类，二级类是在确定了基本属性的基础上对　

ｓｔｒｉｎｇ［－￣ＷＨ；／／描述词的首字符　

一

级类的分解，也是对词类信息的进一步丰富。依　

ｉｎｔ　ｈｅａｄ２；／／描述ｌｅｎｇｔｈ个字符且首字符为ＷＨ组　

据国际通常做法，标记代码主要采用英文术语中的　

成的词在库中首地址　

字母。例如，“名词”，采用英文术语“ｎｏｕｎ”的首字　

）ＩＤ２；　

Ｔｙｐｅｄｅｆｉｎｅ　ｓｔｒｕｃｔ　ｄａｔａ　

母“ｎ”作为标记代码；“数词”，采用英文术语“ｎＨ—　

｛ｓｔｉｎｇ［－］ｗｏｒｄ；／／存储词　

ｍｅｒａｌ”的第三个字母“ｍ”作为标记代码。藏语独有　

Ｃｈａｒ　Ｇ１；／／存储一级词性　

的或使用英文术语字母不便的，依据国内通常做法，　

Ｃｈａｒ　Ｇ２；／／存储二级词性　

标记代码采用汉语拼音字母。如，“格助词”采用汉　

｝ＤＴ：　

字“格”汉语拼音的首字母“ｇ”作为标记代码；“状态　

库结构中部分内容的索引表如图２所示。　

Ｗｏｒｄ　Ｇ１　Ｇ２　

ｌｅｎｇｔｈ（ｎ）　ＷＨ　Ｈｅａｄ２　

，ｎ　ｎ　ｎ　

ｌ　，ｎ　ｌ　

闻　ｎ　ｎ　

ｌ

ｅｎｇｔｈ（ｎ）　ｆＩ

Ｈｅａｄｌ　

ｎ）＝（ｎ一１）　３０＋１　

ｌ　闻　２　

ｈ　ｈ　

ｌ　１　

ｌ　３　

２　３１　

１　

，ｑ‘　ｎ　ｎ　

３　６ｌ　

２　丌ｌ　４５０　

１’　ｎ　ｎ　

２　ｌ訇　４７８　

‘　

４０　ｌ１８　

２　５２９　

ａ　Ｓ　

２　

。击　ｎ　ｎ　

图２索引表结构示意图　

３．２临界库设计　

瑚’司　目萄瑚’目　瑚’　’　’　’　’　’因　’因仅’　

’　’　’　３　’　’　’目　’　’　’　’　昌　’　

用常规模式匹配的方式进行分词对分词速度的　

影响非常大，为使提高分词速度可把藏文文本以几　

硐’目击　’ｑ　’因　ｑ’　’３瑚’酉１’ｑ吾　’　萄闽瑚’§　’　

个特殊的藏文格助词　’　’　甜言１　’　’雹　（以下　

稍’面　１　

把这几个格助词简称为特殊格助词）为临界符进行　

分块　］。临界库是指凡是含特殊格助词　

３．３临时库设计　

’　’　’　’　对’　珂’　目’　Ｎ的词组成的词条库。由于藏　

未登录词的识别是分词技术的难点　］，基于词　

文中含这几个特殊格助词的词不足百条，临界库的　

典的模式匹配分词标注系统而言未登录词的识别就　

规模很小，因而分块速度非常快。　

更为重要。为解决未登录词的识别问题，班智达藏　

例如对下面藏文文本直接利用最大匹配算法其　

文自动标注系统中建立临时库后采用智能和人工两　

时间复杂度为３５　１≈１．Ｏ３×１Ｏ　，而先用特殊格助词　

种方法识别未登录词。智能识别法：对无法分词的　

分块然后再切分其时间复杂度为３　１十２　１＋９　１＋１６　１　

字符串，统计这个子串在整篇文章中出现的频率，若　

＋１１　１≈２．０９×１０¨，有效地提高了切分速度。　

频率较高则将此视为一新词，把该词自动添加到临　

５期　才智杰等：班智达藏文标注词典设计　４９　

时库，这种将词库与词频统计相结合的方法可提高　

未登录词的识别率，通过实验用这种方法能够识别　

８５　以上的未登录词；人工识别法：人工阅读文本　

时若发现某未登录词，则选择该词利用添加功能把　

词添加到临时库。通过知识库管理模块把临时库中　

新抽取出的词条添加到主词典库，这样在实际应用　

确定ＤＴ中的首地址和终地址，在ＤＴ中双用折半　

查找算法找到词再　’　因，把　弼’　磊酮切为一个词　

并加以标注；然后读取字串　己ｉ碣’击　’ｑ　’ｑ，该字串　

的长度为８个字符，根据哈希函数求得ＩＤ２中的首　

地址为２１１，终地址为２４０，在ＩＤ２的地址为２１ｌ和　

２４０间用折半查找算法找到　，由该条记录的ｈｅａｄ２　

值确定ＤＴ中的首地址和终地址，在ＤＴ中双用折　

中，可不断扩充系统的词库，提高信息的查全率。　

半查找算法查找字串　弼‘蕾　’目　，由于字串　

４词库索引查询算法　

４．１索引查询算法　

索引查询算法是索引搜索策略的形式化描述和　

具体实现，由以上分词标注库结构描述可知，索引查　

询算法的主要特点是通过建立二级索引减少查询词　

库的次数，从而提高分词标注系统的性能ｌｃ］。具体　

算法如下：　

１）按照“最大匹配切分算法”从文本开头取出　

一

个最大待查字串；　

２）求出该字串的长度，并根据哈希函数．厂（ｎ）　

一

（　一１）×３０＋１确定ＩＤ２的首地址和终地址；　

３）在ＩＤ２的首地址到终地址问利用折半查找　

算法查找字串中的首字符，根据ｈｅａｄ２字段确定　

ＤＴ中的首地址和终地址；　

４）在ＤＴ的首地址到终地址间利用折半查找　

算法查找字串。若字串在词典库存在，则分词并加　

以标注，否则缩小字串并转至２）。　

４．２索引查询过程举例　

下面结合３．１和４．１给出的结构和算法，通过　

一

个分词标注实例来介绍分词标注词典库中索引查　

找的具体实现过程。　

例句：　瑚’ｑ蔷　’　’　硎’毒　’司茸’司Ｉ（建立适当　

的坐标系。）　

本句分词标注时用特殊格助词　分块，先读取　

字串　硎’　磊因，该字串的长度为５个字符，根据哈希　

函数厂（　）一（　～１）×３０＋１求得ＩＤ２中的首地址　

为１２１，终地址为１５０，在ＩＤ２的地址为１２ｌ和１５０　

间用折半查找算法找到Ｒ，由该条记录的ｈｅａｄ２值　

’

毒　’司　’司在ＤＴ不存在，将字串缩小为　

可『　捌’击气’司青，用同样方法可判断字串　酉列’若　’ｑ　

在ＤＴ也不存在，将字串缩小为　击　，用索引查　

询找到词　’击　，把　硐’击　切为一个词并加以　

标注；同样可把目茸’司切为一个词并标注词性。分词　

标注结果为：　硎’　击　’ｔａ§　’　’击　’　ｎ司吾’司州。　

５　结束语　

藏文自动分词标注的研究，将推动机器翻译、语　

音合成、文字识别技术的发展。随着歧义性研究的　

进展，还可进一步提高分词准确率。　

参考文献　

［１］陈玉忠，李保利，俞士汶，等．基于格助词和接续特征的　

书面藏文分词方案ＦＪ］．语言文字应用，２００３，（１）：７５—　

８２．　

［２］才智杰．藏文自动切分系统中紧缩词的识别［Ｊ］．中文　

信息学报，２００９，２３（１）：３５—３７，４３．　

［３］孙茂松，黄昌宁，等．中文姓名的自动辨识［Ｊ］．中文信　

息学报，１９９５，９（２）：１６—２７．　

１－４３孙茂松，邹嘉彦，等．汉语自动分词研究评述［Ｊ］．当代　

语言学，２００１，（１）：２２—３２．　

［５］　李庆虎，陈玉健，孙家广．一种中文分词词典新机　

制——双字哈希机制［Ｊ］．中文信息学报，２００３，１７（４）：　

１３—１８．　

［６］陈玉忠，李保利，俞士汶，等．藏文自动分词系统的设计　

与实现［Ｊ］．中文信息学报，２００３，１７（３）：１５－２０．　

［７］　陈玉忠，俞士汶．藏文信息处理的研究现状与展望［Ｊ］．　

中国藏学，２００３，（４）：９７—１０７．　

本文标签： 标注分词词典自动系统