藏语分词与词性标注研究

【摘要】藏语信息处理技术经过二十多年的发展，无论是在藏文信息处理研究及其相关标准制定方面，还是在藏语信息处理应用开发方面，都取得了不少成绩。藏语信息处理技术也逐步迈入到语言信息处理层面。虽然藏语信息处理研究在技术上紧跟着英汉语等之后，但作为信息处理研究基础的语料资源相对贫乏。公开的藏语语料库都是未标注的生语料库，其应用价值非常有限。由于对藏语的本体研究不够深入，许多对藏语信息处理有价值的属性未能挖掘和描述出来，因而限制了藏语信息处理技术的发展和应用范围。针对以上问题，本文采用了多种统计模型和方法来进行藏语分词和词性标注研究，并取得了以下几个方面的主要成果：一、提出了基于词位的藏语分词方法，在国内外较早地将藏语黏写形式的特征融合到藏语分词研究当中。我们采用了基于词位的统计方法来处理藏语分词问题，将藏语分词转化为序列标注问题，实现了一个藏语分词系统。该系统采用条件随机场模型，针对藏语黏写形式的语法特征，将汉语分词中常用的四词位标签集改进为更适合藏语特点的六词位标签集，并使用100万余经人工反复校对的语料对模型进行训练。经实验测试，在大规模真实语料的测试中，系统的开放测试F值达到了91%，分词性能基本上令人满意。在进一步的研究中，我们经分析发现分词精度主要受到了藏语黏写形式识别结果的限制。考虑到黏写形式的复杂多样，我们在总结前人的研究成果的基础上，加入了基于规则的后处理环节，最终的测试结果F值达到了95%以上，已能满足藏语语料库建设的实际需求。二、在藏语分词研究的基础上，根据藏族人名特征探讨了藏语人名识别方法。通过研究藏语人名的特点，我们总结了藏语人名识别的多种策略并最终选择了基于统计的方法来实现藏语人名的识别。我们基于条件随机场模型，通过使用名字边界、前后缀、上下文等特征，给出了藏文人名识别的一种方法。最终实验系统在开放测试中取得的F值达到了91.26%。虽然未能进一步发掘名字与普通词语同形这一极易导致歧义现象的特征，导致系统识别性能未能达到十分理想的效果，但可以通过对特征标签集进行调整，同时优化特征模板集，进一步提高识别效果。三、综合使用了多种统计模型实现了藏语词性标注研究，在国内外首次采用最大熵结合条件随机场模型实现了藏语的词性标注方法。通过对藏语词性的研究，在满足基本的词法分析的需求下，我们将藏语词类标记集精简到统计模型切实可用的规模，然后选择最大熵模型构建了一个藏语词性标注系统，并采用小规模的语料进行训练。实验结果显示，在小规模语料训练下，基于最大熵的词性标注系统达到了87.76%的准确率，已基本接近词法分析可用的要求。在最大熵模型的基础上，我们提出了基于条件随机场的修正模型。该模型在最大熵模型的输出结果上进行训练，从而可以将最大熵模型中次优结果和再次优结果中的正确标注挑选出来，提高词性标注的准确率。实验证明，采用同样规模的训练语料和测试语料，最大熵结合条件随机场的词性标注模型达到了89.12%的准确率，已接近同类汉语词性标注系统的水平。四、实现了一种基于条件随机场的藏语分词标注一体化模型，将分词和词性标注整合到一个统一的系统中，为藏语词法分析提供了新的解决途径。我们充分利用了分词与词性标注间更深层次的依赖关系，在一体化模型中利用词性信息来处于分词过程中遇到的歧义问题。在较小的训练语料规模下，藏语分词标注一体化模型在开放测试中分词结果的F值达到了89.0%，这表明一体化模型将词位信息和所属词的词性信息很好的结合起来，能更有效的提高分词精度，其分词效果已基本可以满足语料库对自动分词的需求。一体化模型的词性标注准确率也达到了85.35%，虽然还稍稍落后于独立的词性标注模型，但通过扩大模型的训练语料规模，词性标注性能应该可以取得一定程度的提升。
【作者】康才畯；
【导师】江荻；潘悟云；
【作者基本信息】上海师范大学，中国少数民族语言文学，2014，博士
【关键词】藏语黏写形式；藏语分词；条件随机场模型；藏语人名识别；藏语词性标注；最大熵模型；分词标注一体化；

【参考文献】
[1]叶建.大空间钢结构整体抗火性能的数值研究[D].沈阳航空航天大学,安全技术及工程,2013,硕士.
[2]苗家将.25m~2太阳房地板采暖系统理论与实验研究[D].华中科技大学,制冷及低温工程,2012,硕士.
[3]倪寅.基于性能导航（PBN）运行的厦门翔安机场容量评估[D].中国民用航空飞行学院,交通运输规划与管理,2013,硕士.
[4]吴崇.基于BP神经网络的商业银行供应链融资信用风险评价研究[D].浙江工业大学,技术经济及管理,2012,硕士.
[5]刘整社,陈宗基,文传源.差分模型参数递推估计的Householder变换法[J].自动化学报,1992,03:315-324.
[6]许智,刘磊,王文龙,白雪冬.氧化石墨烯还原过程的原位透射电镜研究[A].中国材料研究学会.2011中国材料研讨会论文摘要集[C].中国材料研究学会:,2011:1.
[7]张国欣.政府组织变革型领导对民众承诺的影响研究：民众公平感的中介作用[D].重庆大学,应用心理学,2014,硕士.
[8]张莹.3个生态型香根草的生长特性、叶表皮形态及光合生理生态研究[D].甘肃农业大学,草业科学,2013,硕士.
[9]李秋成.《GeophysicalProspecting》1985年将出版8期[J].石油地球物理勘探,1985,03:313.
[10]刘呈祥.社会化媒体突发热点事件检测及其可信度分析方法研究[D].哈尔滨工业大学,计算机科学与技术,2013,硕士.
[11]李奎奎.马斯洛需求层次视角下《蝴蝶梦》中叙述者的心理成长历程[D].曲阜师范大学,英语语言文学,2013,硕士.
[12]牛月.元认知策略在高中英语阅读教学中的应用研究[D].渤海大学,课程与教学论,2014,硕士.
[13]罗元云.高校学科壁垒融通的大智慧[D].华中师范大学,高等教育学,2014,硕士.
[14]徐本坡.吡啶环双β-二酮及其衍生物的合成与荧光性质研究[D].湖北师范学院,分析化学,2013,硕士.
[15]马伟娜.县级市城乡结合部寄宿制中学发展问题研究[D].华中师范大学,教育经济与管理,2014,硕士.
[16]王先美.延吉盆地白垩纪地层充填序列研究[D].大庆石油学院,矿产普查与勘探,2003,硕士.
[17]车孟子.陈染小说的“女人腔”研究[D].宁夏大学,中国现当代文学,2014,硕士.
[18]谢磊,刘雪芹,张建明,王树青.基于NGPP-SVDD的非高斯过程监控及其应用研究[J].自动化学报,2009,01:107-112.
[19]徐进.我国民营经济发展问题研究[D].吉林大学,马克思主义理论与思想政治教育,2004,硕士.
[20]张传芳.过渡金属氧化物/炭基复合材料的可控制备及其电化学行为研究[D].华东理工大学,2015.
[21]陈春晖.EPON接入技术研究及应用[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[22]张韶华.“90后”大学生敬业精神教育研究[D].湖南师范大学,思想政治教育,2014,硕士.
[23]张亚军.氯胺酮对大鼠丘脑VPM核及S1区神经元谷氨酸受体的作用[D].遵义医学院,麻醉学,2013,硕士.
[24]顾潜刚.颞颌关节矫正器的制作方法之研究[D].大连医科大学,口腔临床医学,2012,硕士.
[25]乔冬爽.卵巢早衰中医用药规律的文献研究[D].北京中医药大学,中医妇科学,2013,硕士.
[26]杨檬檬.长期低剂量大环内酯类药治疗稳定期慢性阻塞性肺疾病的META分析[D].山东大学,临床医学（专业学位）,2013,硕士.
[27]龙海侠,须文波,王小根,孙俊.基于选择操作的量子粒子群算法[J].控制与决策,2010,10:1499-1506.
[28]肖志英.外周神经电刺激治疗膀胱过度活动症的神经调节机制[D].山东大学,外科学,2014,博士.
[29]周颖.普希金的女性意识[D].湘潭大学,比较文学与世界文学,2003,硕士.
[30]孔德志.核壳结构纳米复合材料的制备及其电化学性能研究[D].信阳师范学院,2013.
[31]艾旭升.基于数据挖掘的WEB个性化服务研究[D].苏州大学,2003.
[32]郭俊.中国行政法上的行政规则研究[D].中国社会科学院研究生院,宪法与行政法学（专业学位）,2014,硕士.
[33]董伯麟刘洋王治森.基于双NURBS参数混合插补算法的五轴联动交叉耦合控制器研究[J].中国机械工程,2014,22:.
[34]宋伟锋.我国创业板市场做市商法律制度研究[D].华侨大学,经济法学,2013,硕士.
[35]李厚霖.基于平衡计分卡的绩效管理应用研究[D].山东财经大学,会计（专业学位）,2014,硕士.
[36]李正卫,高蔡联,张祥富.创始人前摄性个性对企业创新绩效的影响——社会网络的中介作用[J].科学学研究,2013,11:1752-1759.
[37]程荣.风力发电机隔振技术研究[D].江苏科技大学,轮机工程,2014,硕士.
[38]毕潮顺.变电站微机防误操作全过程监控系统的设计与实现[D].吉林大学,软件工程,2014,硕士.
[39]刘军.多用户MIMO中继系统中的收发机设计研究[D].北京交通大学,2015.
[40]何钧贤.产业新城空间布局研究[D].华侨大学,建筑学（专业学位）,2014,硕士.
[41]梁新华.论图书馆特色化建设[D].湘潭大学,图书馆学,2003,硕士.
[42]姬晓晓.基于接触热阻的高速电主轴系统热特性分析[D].河南科技大学,机械制造及其自动化,2014,硕士.
[43]王旭祺.“正月正”中式快餐视觉设计研究[D].河北大学,艺术（专业学位）,2014,硕士.
[44]魏学良,戴珂,康勇,耿攀.三相三线并联型有源电力滤波器并联控制[J].电力系统自动化,2007,01:70-74.
[45]李燕.M-Mn（M=Ni，Co，Fe）复合氧化物催化剂对甲苯的催化燃烧[D].西安建筑科技大学,环境工程,2013,硕士.
[46]张平.制动电动机发热机理及制动力矩测试的研究[D].太原科技大学,机械工程,2014,硕士.
[47]张雷.高压和冷却速率对锌铝合金组织和性能的影响[D].沈阳工业大学,材料加工工程,2013,硕士.
[48]朱学文.基于多平台集成环境的注塑成型工艺多目标优化[D].宁波大学,机械工程,2013,硕士.
[49]刘绍峰.琉球群岛地缘关系的时空演变及其区域影响[D].东北师范大学,城市与区域规划,2014,博士.
[50]李国云.明代辽东文学及其传播价值研究[D].沈阳师范大学,中国古代文学,2014,硕士.