人工智能基础-自然语言理解

单击此处编辑母版标题样式,a单击此处编辑母版文本样式,a第二级,a第三级,a第四级,a第五级,*,合肥工业大学 人工智能与数据挖掘研究室,/24,目录,第一章,绪论,第二章,知识表示,第三章搜索技术,第四章推理技术,第五章机器学习,第六章专家系统,第七章自动规划系统,第八章 自然语言理解,第九章 智能控制,第十章 人工智能程序设计,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,1.语言的,构,构成,语言是,人,人类进,行,行通信,的,的自然,媒,媒介，,它,它包括,口,口语、,书,书面语,以,以及动,作,作语(如哑语,和,和旗语)等。,语言使,用,用于传,递,递信息,的,的表示,方,方法、,约,约定和,规,规则的,集,集合。,语言由,语,语句组,成,成，每,个,个语句,又,又由单,词,词组成,；,；组成,语,语句和,语,语言时,，,，应遵,循,循一定,的,的语法与语义规则。,语言由,语,语音、,词,词汇和,语,语法构,成,成。,语言的,基,基本属,性,性：语音和文字,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,语言是,音,音义结,合,合的词,汇,汇和语,法,法体系,，,，是实,现,现思维,活,活动的,物,物质形,式,式。,语言是,以,以词为,基,基本单,位,位的，,词,词汇又,受,受到语,法,法的支,配,配才可,构,构成有,意,意义的,和,和可理,解,解的句,子,子，句,子,子按一,定,定的形,式,式再构,成,成篇章,等,等。,语法是,语,语言的,组,组织规,律,律。语,法,法规则,制,制约着,如,如何把,词,词素构,成,成词，,词,词构成,词,词组和,句,句子。,语,语言正,是,是在这,种,种严密,的,的制约,关,关系中,构,构成的,。,。用词,素,素构成,词,词的规,则,则叫构,词,词规则,。,。语法,中,中的另,一,一部分,就,就是句,法,法。句,法,法也可,分,分成两,部,部分：,词,词组构,造,造法和,造,造句法,。,。词组,构,构造法,是,是词搭,配,配成词,组,组的规,则,则。造,句,句法则,是,是用词,或,或词组,造,造句的,规,规则。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,另一方,面,面，语,言,言是音,义,义结合,的,的，每,个,个词汇,有,有其语,音,音形式,。,。自然,语,语言中,所,所涉及,的,的音素,并,并不多,，,，一种,语,语言一,般,般只有,几,几十个,音,音素。,由,由一个,发,发音动,作,作所构,成,成的最,小,小的语,音,音单位,就,就是音,素,素,。,语言,词汇,语法,词,熟语,词素,词法,句法,构形法,构词法,造句法,词组构,造,造法,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,2.语言的,理,理解,微观：,语,语言理,解,解是指,从,从自然,语,语言到,机,机器(计算机,系,系统)内部之,间,间的一,种,种映射,。,。,宏观：,语,语言理,解,解是指,机,机器能,够,够执行,人,人类所,期,期望的,某,某些语,言,言功能,。,。这些,功,功能包,括,括：,（1）回答,有,有关提,问,问；,（2）提取,材,材料摘,要,要；,（3）不同,词,词语叙,述,述；,（4）不同,语,语言翻,译,译。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,对自然,语,语言的,理,理解却,是,是一个,十,十分艰,难,难的任,务,务。自,然,然语言,不,不仅有,语,语义、,语,语法和,语,语音问,题,题，而,且,且还存,在,在模糊,性,性等问,题,题。,自然语,言,言理解,的,的困难,是,是由下,列,列3个因素,引,引起的,：,：,（1）目标,表,表示的,复,复杂性,；,；,（2）映射,类,类型的,多,多样性,；,；,（3）源表,达,达中各,元,元素间,交,交互程,度,度的差,异,异性。,自然语,言,言理解,是,是语言,学,学、逻,辑,辑学、,生,生理学,、,、心理,学,学、计,算,算机科,学,学和数,学,学等相,关,关学科,发,发展和,结,结合而,形,形成的,一,一门交,叉,叉学科,；,；它能,够,够理解,口,口头语,言,言或书,面,面语言,。,。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.1语言和,语,语言理,解,解,语言理,解,解包括,下,下列几,个,个方面,的,的内容,：,：,（1）能够,理,理解句,子,子的正,确,确词序,规,规则和,概,概念，,又,又能理,解,解不含,规,规则的,句,句子。,（2）知道词,的,的确切,含,含义、,形,形式、,词,词类及,构,构词法,。,。,（3）了解,词,词的语,义,义分类,以,以及词,的,的多义,性,性和歧,义,义性。,（4）指定,和,和不定,特,特性及,所,所有(隶属)特性。,（5）问题,领,领域的,结,结构知,识,识和时,间,间概念,。,。,（6）语言,的,的语气,信,信息和,韵,韵律表,现,现。,（7）有关,语,语言表,达,达形式,的,的文学,知,知识。,（8）论域,的,的背景,知,知识。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.2自然语,言,言理解,研,研究的,进,进展和,发,发展趋,势,势,1.研究进,展,展,机器翻,译,译是自,然,然语言,理,理解最,早,早的研,究,究领域,。,。,（1）萌芽,时,时期（20世纪40年代60年代中,期,期）,1949年 俄-英和英-俄文字,的,的机器,翻,翻译,1956年N.Chomsky形式语,言,言和转,换,换生成,语,语法理,论,论,1966年 美,国,国科学,院,院报告,，,，否定,性,性结论,（2）复苏,发,发展时,期,期（20世纪60年代后,期,期80年代中,期,期）,关键词,匹,匹配技,术,术；句,法,法-语义分,析,析技术,。,。,MIT的SIR系统、ELIZA系统,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.2自然语,言,言理解,研,研究的,进,进展和,发,发展趋,势,势,句法方,面,面理论,研,研究成,果,果：约,束,束管辖,理,理论、,扩,扩充转,移,移网络,、,、词汇,功,功能语,法,法、功,能,能合一,语,语法、,广,广义短,语,语结构,语,语法、,句,句法分,析,析算法,、,、,语义分,析,析方面,：,：格语,法,法、语,义,义网络,、,、优选,语,语义学,、,、蒙塔,格,格语法,、,、,进入80年代之,后,后，自,然,然语言,理,理解的,应,应用研,究,究广泛,开,开展，,机,机器学,习,习研究,又,又十分,活,活跃，,并,并出现,了,了许多,具,具有较,高,高水平,的,的实用,化,化系统,。,。这些,系,系统是,自,自然语,言,言理解,研,研究的,重,重要成,果,果，表,明,明自然,语,语言理,解,解在理,论,论上和,应,应用上,取,取得了,突,突破性,进,进展。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.2自然语,言,言理解,研,研究的,进,进展和,发,发展趋,势,势,（3）繁荣,发,发展时,期,期（20世纪80年代后,期,期至今,）,）,基于语,料,料库的,统,统计方,法,法：从,真,真实预,料,料中获,取,取语言,知,知识,基于统,计,计模型,的,的自然,语,语言处,理,理系统,理性主,义,义与经,验,验主义,的,的结合,口语理,解,解和生,成,成,我国自,然,然语言,理,理解研,究,究,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.2自然语,言,言理解,研,研究的,进,进展和,发,发展趋,势,势,2.发展趋,势,势,（1）基于,句,句法-语义规,则,则的理,性,性主义,方,方法和,以,以模型,和,和统计,为,为基础,的,的经验,主,主义互,相,相结合,、,、共同,发,发展。,（2）语料,库,库语言,学,学使大,规,规模真,实,实文本,的,的处理,成,成为自,然,然语言,处,处理的,主,主要战,略,略目标,。,。,（3）统计,数,数学方,法,法日益,受,受到重,视,视，机,器,器学习,的,的方法,获,获取语,言,言知识,。,。,（4）词汇,知,知识库,继,继语料,库,库之后,成,成为一,个,个新的,受,受到普,遍,遍关注,的,的研究,问,问题。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.3自然语,言,言理解,过,过程的,层,层次,语言的,分,分析和,理,理解过,程,程是一,个,个层次,化,化的过,程,程。现,代,代语言,学,学家把,这,这一过,程,程分为3个层次,：,：词法,分,分析、,句,句法分,析,析和语,义,义分析,。,。如果,接,接收到,的,的是语,音,音流，,那,那么在,上,上述3个层次,之,之前还,应,应当加,入,入一个,语,语音分,析,析层。,虽,虽然这,种,种层次,之,之间并,非,非是完,全,全隔离,的,的，但,是,是这种,层,层次化,的,的划分,的,的确有,助,助于更,好,好地体,现,现语言,本,本身的,构,构成。,1.语音分,析,析,语音分,析,析则是,根,根据音,位,位规则,，,，从语,音,音流中,区,区分出,一,一个个,独,独立的,音,音素，,再,再根据,音,音位形,态,态规则,找,找出一,个,个个音,节,节及其,对,对应的,词,词素或,词,词。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.3自然语,言,言理解,过,过程的,层,层次,2.词法分,析,析,词法分,析,析的主,要,要目的,是,是找出,词,词汇的,各,各个词,素,素，从,中,中获得,语,语言学,信,信息。,3.句法分,析,析,句法分,析,析是对,句,句子和,短,短语的,结,结构进,行,行分析,。,。自动,句,句法分,析,析的方,法,法很多,，,，有短,语,语结构,语,语法、,格,格语法,、,、扩充,转,转移网,络,络、功,能,能语法,等,等等。,句,句法分,析,析的最,大,大单位,就,就是一,个,个句子,。,。分析,的,的目的,就,就是找,出,出词、,短,短语等,的,的相互,关,关系以,及,及各自,在,在句子,中,中的作,用,用等，,并,并以一,种,种层次,结,结构来,加,加以表,达,达。,8.1语言及,其,其理解,的,的一般,问,问题,8.1,.,.3自然语,言,言理解,过,过程的,层,层次,4.语义分,析,析,语义分,析,析就是,通,通过分,析,析找出,词,词义、,结,结构意,义,义及其,结,结合意,义,义，从,而,而确定,语,语言所,表,表达的,真,真正含,义,义或概,念,念。在,语,语言自,动,动理解,中,中，语,义,义愈来,愈,愈成为,一,一个重,要,要的研,究,究内容,。,。,8.2词法分,析,析,英语等,拼,拼音文,字,字：分,词,词简单,，,，词素,提,提取难,中文：,词,词素提,取,取易（,每,每个字,就,就是一,个,个词素,）,），分,词,词难,中文分,词,词两大,难,难题：,。,。,（1）歧义,识,识别,歧,歧义,是,是指同,样,样的一,句,句话，,可,可能有,两,两种或,者,者更多,的,的切分,方,方法。,（2）新词,识,识别,中科院,词,词法分,析,析系统ICTCLAS，准确,率,率可达95%,8.3句法分,析,析,句法模,式,式匹配,和,和转移,网,网络,句法模,式,式匹配,就,就是采,用,用句法,模,模式来,对,对语言,的,的句子,进,进行匹,配,配从而,进,进行句,法,法分析,。,。但是,自,自然语,言,言是非,常,常多样,化,化的，,因,因而需,要,要有许,多,多模式,。,。这些,模,模式可,用,用状态,转,转移图,来,来表示,，,，这种,用,用状态,转,转移图,来,来表示,的,的表达,方,方式称,之,之为转,移,移网络,（,（TN，transition network）。,