基于N-gram模型的哈萨克词干提取方法
|
摘要
哈萨克语是组成结构复杂的黏着性语言,哈萨克语词干提取词缀提取对哈萨克语信息处理领域具有很重要的意义。从哈萨克语粘着性特点出发,哈萨克语词干词缀的构成规则而且和统计模型特点结合,以N-gram语言模型为主框架,根据哈萨克语的构词约束条件,提出了N-gram语言模型的哈萨克词干提取模型。实验结果表明,N-gram语言模型对哈萨克词干的准确提取是有效的,该模型的词干级准确率达到了72.34%。
Kazak language is a complex language with complex structure, Kazakh stemming affix extraction is important for the Kazakh language information processing. This article from the Kazakh adhesion characteristics, rules of Kazak stems and affixes and characteristics and statistical model combining, Based on the N-gram language model, according to the Kazakh word formation constraints, This paper put forward The N-gram model Kazakh stemming model. The experimental results show that the accurate extraction of Kazakh stem N-gram language model is effective, This level of the model accuracy was 72.34%.
Kazak language is a complex language with complex structure, Kazakh stemming affix extraction is important for the Kazakh language information processing. This article from the Kazakh adhesion characteristics, rules of Kazak stems and affixes and characteristics and statistical model combining, Based on the N-gram language model, according to the Kazakh word formation constraints, This paper put forward The N-gram model Kazakh stemming model. The experimental results show that the accurate extraction of Kazakh stem N-gram language model is effective, This level of the model accuracy was 72.34%.
引文
[1]古丽拉·阿东别克.基于规则的哈萨克语词干提取系统的研究[A].中国中文信息学会民族语言文字信息专委会.民族语言文字信息技术研究——第十一届全国民族语言文字信息学术研讨会论文集[C].中国中文信息学会民族语言文字信息专委会,2007:6.
[2]达吾勒·阿布都哈依尔,古丽拉·阿东别克.哈萨克语词法分析器的研究与实现[J].计算机工程与应用,2008(19):146-149.
[3]达吾勒·阿布都哈依尔,海拉提·克孜尔别克.基于规则的哈萨克语词干提取算法的研究[J].新疆大学学报:自然科学版,2011(2):238-241.
[4]江阿古丽·哈依达尔,卡哈尔江·阿比的热西提,阿里木江·亚森,等.一种哈萨克语句子相似度计算方法的研究[J].新疆大学学报(自然科学版),2012,(04):471-474+479.
[5]李婧,刘海峰.现代哈萨克语词干提取研究[J].信息通信,2015(7):103-104
[6]江阿古丽·哈依达尔.哈萨克语名词构形词缀有限状态自动机的构造[A].中国中文信息学会、新疆大学、内蒙古大学.少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C].中国中文信息学会、新疆大学、内蒙古大学:,2010:5.
[7]玛依来·哈帕尔,古丽拉·阿东别克.基于N-gram的哈萨克语文本校对系统的设计与实现[J].计算机应用与软件,2012(4):9-12+15.
[8]王花,古丽拉·阿东别克.基于语料的哈萨克语词频统计研究[J].计算机工程,2010(24):59-61.
[9]王花.基于语料的哈萨克语词频统计的研究[A].中国中文信息学会、新疆大学、内蒙古大学.少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C].中国中文信息学会、新疆大学、内蒙古大学,2010:4.
[2]达吾勒·阿布都哈依尔,古丽拉·阿东别克.哈萨克语词法分析器的研究与实现[J].计算机工程与应用,2008(19):146-149.
[3]达吾勒·阿布都哈依尔,海拉提·克孜尔别克.基于规则的哈萨克语词干提取算法的研究[J].新疆大学学报:自然科学版,2011(2):238-241.
[4]江阿古丽·哈依达尔,卡哈尔江·阿比的热西提,阿里木江·亚森,等.一种哈萨克语句子相似度计算方法的研究[J].新疆大学学报(自然科学版),2012,(04):471-474+479.
[5]李婧,刘海峰.现代哈萨克语词干提取研究[J].信息通信,2015(7):103-104
[6]江阿古丽·哈依达尔.哈萨克语名词构形词缀有限状态自动机的构造[A].中国中文信息学会、新疆大学、内蒙古大学.少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C].中国中文信息学会、新疆大学、内蒙古大学:,2010:5.
[7]玛依来·哈帕尔,古丽拉·阿东别克.基于N-gram的哈萨克语文本校对系统的设计与实现[J].计算机应用与软件,2012(4):9-12+15.
[8]王花,古丽拉·阿东别克.基于语料的哈萨克语词频统计研究[J].计算机工程,2010(24):59-61.
[9]王花.基于语料的哈萨克语词频统计的研究[A].中国中文信息学会、新疆大学、内蒙古大学.少数民族青年自然语言处理技术研究与进展——第三届全国少数民族青年自然语言信息处理、第二届全国多语言知识库建设联合学术研讨会论文集[C].中国中文信息学会、新疆大学、内蒙古大学,2010:4.