基于HNC理论的句子语义分析
|
摘要
自然语言处理是人工智能领域的分支学科。随着计算机技术的不断成熟,自然语言处理技术获得了飞速的发展,现阶段已经应用到机器翻译、文本分类等多个领域。现阶段,实现句子的语义分析逐渐成为自然语言处理的重点和难点。但传统的自然语言处理理论严格遵循“词法——语法——语义”的处理模式,对于句法规则灵活的汉语来说并不适用,我们迫切需要一种以语义深层结构为基础的自然语言处理理论。
HNC理论,即概念层次网络理论,是关于自然语言处理的创新理论体系。其目标是以概念联想脉络为主线,建立一种模拟大脑语言感知过程的自然语言表述模式和计算机处理模式,从而使计算机获得消解模糊的能力。HNC以抽象概念的语义网络、语义块、句类等知识作为其理论支持,重在表达词语、语义块之间的语义关系。
本文阐述了HNC理论的两类联想脉络——局部联想脉络和全局联想脉络,深入研究了语义块和句类知识,设计了理解自然语言语句的句类分析算法,并实现了句类分析系统。文中详细介绍了该系统的几个主要模块——语义块感知模块、句类假设检验模块、语义块构成分析模块,并建立了简单的HNC知识库。经实验证明,本文设计的句类分析系统已经实现了简单语句的理解,对输入的自然语句序列经过句类分析后,能够得到正确的句类表示式。
NLP(Natural Language Processing) is one of the branches of artificial intelligence. With the rapid development of the computer science technology, NLP has been applied in the fields of machine translation and text categorization. The semantic analysis of sentences becomes more and more important nowadays. The conventional NLP theories which follow the processing pattern of“lexical analysis——syntax analysis——semantic analysis”are not fit for Chinese which has flexible syntax rules. We need a theory which emphasizes the semantic structure.
HNC(Hierarchical Network of Concepts) theory is an innovation theory about NLP. It focus on the association of concepts, aims at creating a natural language processing system which simulates the operation of neurons in the brain and enable the computer to eliminate ambiguity. HNC is based on the concepts such as semantic networks, semantic chunks and sentence category.
This paper introduces the knowledge of semantic chunk and sentence category, designs an algorithm for natural language understanding and implements a sentence category analysis system. Several important modules such as semantic chunk perception, sentence category assumption test and semantic chunk composition are discussed in detail. Proved by the experiment, the sentence category analysis system takes the simple sentences as the input and outputs the correct sentence category representation.
HNC理论,即概念层次网络理论,是关于自然语言处理的创新理论体系。其目标是以概念联想脉络为主线,建立一种模拟大脑语言感知过程的自然语言表述模式和计算机处理模式,从而使计算机获得消解模糊的能力。HNC以抽象概念的语义网络、语义块、句类等知识作为其理论支持,重在表达词语、语义块之间的语义关系。
本文阐述了HNC理论的两类联想脉络——局部联想脉络和全局联想脉络,深入研究了语义块和句类知识,设计了理解自然语言语句的句类分析算法,并实现了句类分析系统。文中详细介绍了该系统的几个主要模块——语义块感知模块、句类假设检验模块、语义块构成分析模块,并建立了简单的HNC知识库。经实验证明,本文设计的句类分析系统已经实现了简单语句的理解,对输入的自然语句序列经过句类分析后,能够得到正确的句类表示式。
NLP(Natural Language Processing) is one of the branches of artificial intelligence. With the rapid development of the computer science technology, NLP has been applied in the fields of machine translation and text categorization. The semantic analysis of sentences becomes more and more important nowadays. The conventional NLP theories which follow the processing pattern of“lexical analysis——syntax analysis——semantic analysis”are not fit for Chinese which has flexible syntax rules. We need a theory which emphasizes the semantic structure.
HNC(Hierarchical Network of Concepts) theory is an innovation theory about NLP. It focus on the association of concepts, aims at creating a natural language processing system which simulates the operation of neurons in the brain and enable the computer to eliminate ambiguity. HNC is based on the concepts such as semantic networks, semantic chunks and sentence category.
This paper introduces the knowledge of semantic chunk and sentence category, designs an algorithm for natural language understanding and implements a sentence category analysis system. Several important modules such as semantic chunk perception, sentence category assumption test and semantic chunk composition are discussed in detail. Proved by the experiment, the sentence category analysis system takes the simple sentences as the input and outputs the correct sentence category representation.
引文
[1]苗传江. HNC(概念层次网络理论)导引[M].北京:清华大学出版社,2005:1-2.
[2]刘小东.自然语言理解综述[J].统计与信息论坛,2007,22(3):6-10.
[3] Chomsky N,Aspects of the Theory of Syntax[D]. MIT Press,1965:l-3.
[4] Schank R. Conceptual Information Processing[D]. America Elsevier Publishing Company Inc,1975:3-5.
[5]黄曾阳. HNC(概念层次网络)理论——计算机理解语言研究的新思路[M].北京:清华大学出版社,1998:29.
[6]唐兴全. HNC理论的五元组与词性[D].北京:北京语言大学,2001.
[7]苗传江. HNC句类知识研究[D].北京:中国科学院声学研究所,2001.
[8]苗传江.句类知识概要[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[9]雒自清.语义块类型、构成及变换的分析与处理[D].北京:中国科学院声学研究所,2004.
[10]黄曾阳. HNC理论概要[J].中文信息学报,1997(4):6-7.
[11]黄曾阳. HNC理论与自然语言语句的理解[J].中国基础科学,1999(4):3-5.
[12]刘志文.语句格式的形式表示[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:142-147.
[13]苗传江.现代汉语特征语义块的构成和分离[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[14]晋耀红.汉语句蜕处理[A].黄昌宁,张普.自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C].北京:清华大学出版社,2001.
[15]苗传江. HNC的知识库系统建设[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:175-181.
[16]苗传江. HNC自然语言表述模式与知识库建设[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:148-155.
[17]李颖.从“打破”一词看HNC的知识表示[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[18]晋耀红,张全,杜燕玲. HNC句类分析系统[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:257-263.
[19]陈鸿.自然语言理解[D].沈阳:长春理工大学,2004.
[20]苗传江.基于HNC句类体系的句子语义研究[J].语言文字应用,2006(1):6-7.
[21]孙雄勇.汉语句类分析中单字处理研究[D].北京:中国科学院声学研究所,2005.
[22]晋耀红.基于HNC理论的句类分析系统的设计与实现[D].北京:中国科学院声学研究所,2003.
[23]张全.基于HNC理论的语义块感知处理[D].北京:中国科学院声学研究所,1996.
[24]晋耀红. HNC(概念层次网络)语言理解技术及其应用[M].北京:科学出版社,2006.
[25]苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004.
[26]李颖.句蜕构成及汉英变换处理[D].北京:中国科学院声学研究所,2004.
[27]黄曾阳.句类分析的20项难点[EB/OL]. http://www.hncnlp.com/,2001-04.
[28]韦向峰.从“坚持”看动词连见[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:418-421.
[29]唐兴全.现代汉语复杂句蜕块研究[D].北京:北京语言大学,2002.
[30]薛侃.现代汉语的块扩及句蜕研究[D].北京:中国人民大学,1999.
[31]晋耀红.汉语理解处理中多动词难点的研究与实现[D].北京:中国科学院声学研究所,2003.
[32]宋晓.汉语动词连见的类型与分布[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:412-416.
[33]晋耀红.汉语的多动词难点处理[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[34]张全.基于句类的因特网语言知识处理[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:474-475.
[35]熊亮.面向NLP的定语分类研究[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:146-149.
[36]晋耀红. HNC的句类分析与传统的句法分析的比较研究[A].黄昌宁. 1998中文信息处理国际会议论文集[C].北京:清华大学出版社,1998.
[37]黄曾阳. HNC的发展和未来[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:53-68.
[2]刘小东.自然语言理解综述[J].统计与信息论坛,2007,22(3):6-10.
[3] Chomsky N,Aspects of the Theory of Syntax[D]. MIT Press,1965:l-3.
[4] Schank R. Conceptual Information Processing[D]. America Elsevier Publishing Company Inc,1975:3-5.
[5]黄曾阳. HNC(概念层次网络)理论——计算机理解语言研究的新思路[M].北京:清华大学出版社,1998:29.
[6]唐兴全. HNC理论的五元组与词性[D].北京:北京语言大学,2001.
[7]苗传江. HNC句类知识研究[D].北京:中国科学院声学研究所,2001.
[8]苗传江.句类知识概要[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[9]雒自清.语义块类型、构成及变换的分析与处理[D].北京:中国科学院声学研究所,2004.
[10]黄曾阳. HNC理论概要[J].中文信息学报,1997(4):6-7.
[11]黄曾阳. HNC理论与自然语言语句的理解[J].中国基础科学,1999(4):3-5.
[12]刘志文.语句格式的形式表示[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:142-147.
[13]苗传江.现代汉语特征语义块的构成和分离[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[14]晋耀红.汉语句蜕处理[A].黄昌宁,张普.自然语言理解与机器翻译——全国第六届计算语言学联合学术会议论文集[C].北京:清华大学出版社,2001.
[15]苗传江. HNC的知识库系统建设[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:175-181.
[16]苗传江. HNC自然语言表述模式与知识库建设[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:148-155.
[17]李颖.从“打破”一词看HNC的知识表示[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[18]晋耀红,张全,杜燕玲. HNC句类分析系统[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:257-263.
[19]陈鸿.自然语言理解[D].沈阳:长春理工大学,2004.
[20]苗传江.基于HNC句类体系的句子语义研究[J].语言文字应用,2006(1):6-7.
[21]孙雄勇.汉语句类分析中单字处理研究[D].北京:中国科学院声学研究所,2005.
[22]晋耀红.基于HNC理论的句类分析系统的设计与实现[D].北京:中国科学院声学研究所,2003.
[23]张全.基于HNC理论的语义块感知处理[D].北京:中国科学院声学研究所,1996.
[24]晋耀红. HNC(概念层次网络)语言理解技术及其应用[M].北京:科学出版社,2006.
[25]苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004.
[26]李颖.句蜕构成及汉英变换处理[D].北京:中国科学院声学研究所,2004.
[27]黄曾阳.句类分析的20项难点[EB/OL]. http://www.hncnlp.com/,2001-04.
[28]韦向峰.从“坚持”看动词连见[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:418-421.
[29]唐兴全.现代汉语复杂句蜕块研究[D].北京:北京语言大学,2002.
[30]薛侃.现代汉语的块扩及句蜕研究[D].北京:中国人民大学,1999.
[31]晋耀红.汉语理解处理中多动词难点的研究与实现[D].北京:中国科学院声学研究所,2003.
[32]宋晓.汉语动词连见的类型与分布[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:412-416.
[33]晋耀红.汉语的多动词难点处理[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001.
[34]张全.基于句类的因特网语言知识处理[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:474-475.
[35]熊亮.面向NLP的定语分类研究[A].苗传江,杜艳玲.第二届HNC与语言学研讨会论文集[C].北京:海洋出版社,2004:146-149.
[36]晋耀红. HNC的句类分析与传统的句法分析的比较研究[A].黄昌宁. 1998中文信息处理国际会议论文集[C].北京:清华大学出版社,1998.
[37]黄曾阳. HNC的发展和未来[A].张全,萧国政. HNC与语言学研究[C].武汉:武汉理工大学出版社,2001:53-68.