知识界面及交互课件

一个研究设想：知识界面及交互一个研究设想：知识界面及交互西南交通大学经济管理学院西南交通大学经济管理学院人因工程研究所人因工程研究所李永建李永建2011.52011.5一个研究设想：知识界面及交互西南交通大学经济管理学院n n1 1。背景与意义。背景与意义。背景与意义。背景与意义 1.11.1人机知识人机知识人机知识人机知识/智能智能智能智能/自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿 1.21.2实现人机知识实现人机知识实现人机知识实现人机知识/智能智能智能智能/自然交互关系是当今科学技术应用研究的热点自然交互关系是当今科学技术应用研究的热点自然交互关系是当今科学技术应用研究的热点自然交互关系是当今科学技术应用研究的热点 1.31.3明确使用明确使用明确使用明确使用“知识知识知识知识/语义界面语义界面语义界面语义界面”概念、基于概念、基于概念、基于概念、基于“知识知识知识知识/语义界面的人机交互语义界面的人机交互语义界面的人机交互语义界面的人机交互”的研究鲜的研究鲜的研究鲜的研究鲜见见见见n n2 2。研究现状与趋势。研究现状与趋势。研究现状与趋势。研究现状与趋势 2.12.1人机界面从传统的人机界面从传统的人机界面从传统的人机界面从传统的“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面”向向向向“知识知识知识知识/语义界面语义界面语义界面语义界面”发展发展发展发展 2.22.2人机交互从传统的人机交互从传统的人机交互从传统的人机交互从传统的“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面操作操作操作操作”向向向向“知识知识知识知识/语义界面语义界面语义界面语义界面解题解题解题解题”的发展的发展的发展的发展 2.32.3人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展 2.42.4人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展 2.52.5人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展n n3 3。知识界面及交互。知识界面及交互。知识界面及交互。知识界面及交互 3.13.1知识界面知识界面知识界面知识界面 3.23.2基于知识界面的人机交互基于知识界面的人机交互基于知识界面的人机交互基于知识界面的人机交互 3.33.3人与知识界面人与知识界面人与知识界面人与知识界面/接口的交互构成了现代人机知识关系的基本结构与功能单元接口的交互构成了现代人机知识关系的基本结构与功能单元接口的交互构成了现代人机知识关系的基本结构与功能单元接口的交互构成了现代人机知识关系的基本结构与功能单元 3.43.4基于知识界面的人机交互是现代人机智能、自然关系研究的前沿性基础问题基于知识界面的人机交互是现代人机智能、自然关系研究的前沿性基础问题基于知识界面的人机交互是现代人机智能、自然关系研究的前沿性基础问题基于知识界面的人机交互是现代人机智能、自然关系研究的前沿性基础问题1。背景与意义1。背景与意义。背景与意义n n广义看：人必然与外界交互，且只能通过自广义看：人必然与外界交互，且只能通过自然或人工界面而实现然或人工界面而实现通过认知界面接受信息，通过操作界面作用外界通过认知界面接受信息，通过操作界面作用外界通过认知界面接受信息，通过操作界面作用外界通过认知界面接受信息，通过操作界面作用外界故世界各国将人机交互作为研究重点，现代人机故世界各国将人机交互作为研究重点，现代人机故世界各国将人机交互作为研究重点，现代人机故世界各国将人机交互作为研究重点，现代人机关系知识化使基于知识界面的人机知识交互成为关系知识化使基于知识界面的人机知识交互成为关系知识化使基于知识界面的人机知识交互成为关系知识化使基于知识界面的人机知识交互成为智能、自然人机交互研究的前沿。智能、自然人机交互研究的前沿。智能、自然人机交互研究的前沿。智能、自然人机交互研究的前沿。科学技术科学技术科学技术科学技术“以人为本以人为本以人为本以人为本”，既是目标，也是实现目，既是目标，也是实现目，既是目标，也是实现目，既是目标，也是实现目标的手段。标的手段。标的手段。标的手段。著名科学家钱学森指出著名科学家钱学森指出著名科学家钱学森指出著名科学家钱学森指出:突破人工智能面临的困境突破人工智能面临的困境突破人工智能面临的困境突破人工智能面临的困境是人机结合的智能系统是人机结合的智能系统是人机结合的智能系统是人机结合的智能系统1。背景与意义广义看：人必然与外界交互，且只能通过自然或人工1。背景与意义。背景与意义n n1 1。1 1 人机知识人机知识人机知识人机知识/智能智能智能智能/自然交互关系是当今科学技自然交互关系是当今科学技自然交互关系是当今科学技自然交互关系是当今科学技术理论研究的前沿术理论研究的前沿术理论研究的前沿术理论研究的前沿 现代人机关系发展的基本特点是知识化现代人机关系发展的基本特点是知识化现代人机关系发展的基本特点是知识化现代人机关系发展的基本特点是知识化 各种人机系统（从简单到超大规模复杂人机系统，从工作各种人机系统（从简单到超大规模复杂人机系统，从工作各种人机系统（从简单到超大规模复杂人机系统，从工作各种人机系统（从简单到超大规模复杂人机系统，从工作到生活、娱乐的人机关系）无不反映这种发展趋势到生活、娱乐的人机关系）无不反映这种发展趋势到生活、娱乐的人机关系）无不反映这种发展趋势到生活、娱乐的人机关系）无不反映这种发展趋势 简要看，智能界面突出的是界面主导的智能导航；自然界简要看，智能界面突出的是界面主导的智能导航；自然界简要看，智能界面突出的是界面主导的智能导航；自然界简要看，智能界面突出的是界面主导的智能导航；自然界面强调的是界面的多通道（如脑面强调的是界面的多通道（如脑面强调的是界面的多通道（如脑面强调的是界面的多通道（如脑机接口等）的自然交互机接口等）的自然交互机接口等）的自然交互机接口等）的自然交互特征；知识界面重点在人机基于知识的对话。特征；知识界面重点在人机基于知识的对话。特征；知识界面重点在人机基于知识的对话。特征；知识界面重点在人机基于知识的对话。人机智能、自然交互必然、也只能通过人机知识人机智能、自然交互必然、也只能通过人机知识人机智能、自然交互必然、也只能通过人机知识人机智能、自然交互必然、也只能通过人机知识/语义对语义对语义对语义对话才能实现，构成智能、自然人机交互的基础。话才能实现，构成智能、自然人机交互的基础。话才能实现，构成智能、自然人机交互的基础。话才能实现，构成智能、自然人机交互的基础。现代科学技术前沿领域中的一个基础问题，多学科的交叉现代科学技术前沿领域中的一个基础问题，多学科的交叉现代科学技术前沿领域中的一个基础问题，多学科的交叉现代科学技术前沿领域中的一个基础问题，多学科的交叉领域领域领域领域1。背景与意义1。1 人机知识/智能/自然交互关系是当今科学1。背景与意义。背景与意义n n1.11.1人机知识人机知识人机知识人机知识/智能智能智能智能/自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿自然交互关系是当今科学技术理论研究的前沿 美国总统信息技术顾问委员会的美国总统信息技术顾问委员会的美国总统信息技术顾问委员会的美国总统信息技术顾问委员会的“2121世纪的信息技术报告世纪的信息技术报告世纪的信息技术报告世纪的信息技术报告”中将中将中将中将“人机交互人机交互人机交互人机交互和信息管理和信息管理和信息管理和信息管理”列为新世纪列为新世纪列为新世纪列为新世纪4 4项重点发展的信息技术项重点发展的信息技术项重点发展的信息技术项重点发展的信息技术(还包括软件、可伸缩信息还包括软件、可伸缩信息还包括软件、可伸缩信息还包括软件、可伸缩信息基础设施、高端计算基础设施、高端计算基础设施、高端计算基础设施、高端计算)之一之一之一之一,它的目标是研制它的目标是研制它的目标是研制它的目标是研制“能听、能说、能理解人类语言能听、能说、能理解人类语言能听、能说、能理解人类语言能听、能说、能理解人类语言的计算机的计算机的计算机的计算机”20072007年美国年美国年美国年美国NSFNSF在信息与智能系统在信息与智能系统在信息与智能系统在信息与智能系统(IIS)(IIS)中列出的三个核心技术领域之一是中列出的三个核心技术领域之一是中列出的三个核心技术领域之一是中列出的三个核心技术领域之一是以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建以人为本的计算，其具体主题包含多媒体和多通道界面、智能界而和用户建模、信息可视化，以及高效的以计算机媒介的人人交互模型等模、信息可视化，以及高效的以计算机媒介的人人交互模型等模、信息可视化，以及高效的以计算机媒介的人人交互模型等模、信息可视化，以及高效的以计算机媒介的人人交互模型等 20072007年欧盟第七框架项目中也包含了自然人机交互的内容年欧盟第七框架项目中也包含了自然人机交互的内容年欧盟第七框架项目中也包含了自然人机交互的内容年欧盟第七框架项目中也包含了自然人机交互的内容 国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究国外许多知名大学和研究机构都在自然人机交互领域开展了相关研究l l如如如如UC Berkeley,MIT,CMU,Stanford,Maryland,Brown,Toronto,UC Berkeley,MIT,CMU,Stanford,Maryland,Brown,Toronto,MichiganMichigan等大学和等大学和等大学和等大学和Microsoft,IBMMicrosoft,IBM、施乐等公司也都作了很多研究工作。、施乐等公司也都作了很多研究工作。、施乐等公司也都作了很多研究工作。、施乐等公司也都作了很多研究工作。l l美国美国美国美国DARPADARPA项目的项目的项目的项目的HCIHCI研究中也有研究中也有研究中也有研究中也有Stanford,CMU,MIT,OGIStanford,CMU,MIT,OGI等参加的多项自然等参加的多项自然等参加的多项自然等参加的多项自然人机交互研究人机交互研究人机交互研究人机交互研究;l l欧共体委员会欧共体委员会欧共体委员会欧共体委员会CEC(Commission of the European Communities)CEC(Commission of the European Communities)制定了一个制定了一个制定了一个制定了一个欧洲信息技术战略计划欧洲信息技术战略计划欧洲信息技术战略计划欧洲信息技术战略计划ESPRITESPRIT对自然人机界而进行了系统的研究，其中包括语对自然人机界而进行了系统的研究，其中包括语对自然人机界而进行了系统的研究，其中包括语对自然人机界而进行了系统的研究，其中包括语音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。音识别、语音合成、声音的空间化、笔式输人和手写体等各个支撑技术的研究。我国重大研究计划我国重大研究计划我国重大研究计划我国重大研究计划 将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响将对人类如何思考以及机器如何帮助人类更好地工作产生重大影响1。背景与意义1.1人机知识/智能/自然交互关系是当今科学技1。背景与意义。背景与意义n n1.21.2实现人机知识实现人机知识实现人机知识实现人机知识/智能智能智能智能/自然交互关系是当今科学自然交互关系是当今科学自然交互关系是当今科学自然交互关系是当今科学技术应用研究的热点技术应用研究的热点技术应用研究的热点技术应用研究的热点 计算机、网络、手机、家用电器、工业设备、医疗设备、计算机、网络、手机、家用电器、工业设备、医疗设备、计算机、网络、手机、家用电器、工业设备、医疗设备、计算机、网络、手机、家用电器、工业设备、医疗设备、娱乐设备等等娱乐设备等等娱乐设备等等娱乐设备等等 调查表明，由于人机交互的问题，计算机用户浪费调查表明，由于人机交互的问题，计算机用户浪费调查表明，由于人机交互的问题，计算机用户浪费调查表明，由于人机交互的问题，计算机用户浪费12%12%以上的时间。因此，数码产品需要更好的人机交互，将使以上的时间。因此，数码产品需要更好的人机交互，将使以上的时间。因此，数码产品需要更好的人机交互，将使以上的时间。因此，数码产品需要更好的人机交互，将使用户更满意、更快捷的使用产品，以提高使用效率（生产用户更满意、更快捷的使用产品，以提高使用效率（生产用户更满意、更快捷的使用产品，以提高使用效率（生产用户更满意、更快捷的使用产品，以提高使用效率（生产率）、安全可靠性。率）、安全可靠性。率）、安全可靠性。率）、安全可靠性。不同学科关注的交点：人机交互、可用性、用户体验不同学科关注的交点：人机交互、可用性、用户体验不同学科关注的交点：人机交互、可用性、用户体验不同学科关注的交点：人机交互、可用性、用户体验 成为产品成败的决定性因素：例，成为产品成败的决定性因素：例，成为产品成败的决定性因素：例，成为产品成败的决定性因素：例，iPHONEiPHONE（多点触控技（多点触控技（多点触控技（多点触控技术）、手机的可用性问题，手机屏保软件等案例术）、手机的可用性问题，手机屏保软件等案例术）、手机的可用性问题，手机屏保软件等案例术）、手机的可用性问题，手机屏保软件等案例 M a r yM a r y向记者展示了使用肌肉计算控制界面演奏向记者展示了使用肌肉计算控制界面演奏向记者展示了使用肌肉计算控制界面演奏向记者展示了使用肌肉计算控制界面演奏吉他吉他吉他吉他英雄英雄英雄英雄（G u i t a r H e r oG u i t a r H e r o）的过程：一个赤手空拳的）的过程：一个赤手空拳的）的过程：一个赤手空拳的）的过程：一个赤手空拳的年轻人投入地用手指在空中按来按去，脑袋随着节奏甩动，年轻人投入地用手指在空中按来按去，脑袋随着节奏甩动，年轻人投入地用手指在空中按来按去，脑袋随着节奏甩动，年轻人投入地用手指在空中按来按去，脑袋随着节奏甩动，而面前的显示屏中的吉他按照年轻人手指按动的压点和轨而面前的显示屏中的吉他按照年轻人手指按动的压点和轨而面前的显示屏中的吉他按照年轻人手指按动的压点和轨而面前的显示屏中的吉他按照年轻人手指按动的压点和轨迹，传来相应的旋律。迹，传来相应的旋律。迹，传来相应的旋律。迹，传来相应的旋律。1。背景与意义1.2实现人机知识/智能/自然交互关系是当今科1。背景与意义。背景与意义n n1.3明确使用明确使用“知识知识/语义界面语义界面”概念、基于概念、基于“知识知识/语义界面的人机交互语义界面的人机交互”的研究鲜见的研究鲜见查中国知识资源总库（查中国知识资源总库（查中国知识资源总库（查中国知识资源总库（CNKICNKI），仅有几篇明确），仅有几篇明确），仅有几篇明确），仅有几篇明确使用使用使用使用“知识知识知识知识/语义界面语义界面语义界面语义界面”概念、基于概念、基于概念、基于概念、基于“知识知识知识知识/语义语义语义语义界面的人机交互界面的人机交互界面的人机交互界面的人机交互”的相关研究文献。的相关研究文献。的相关研究文献。的相关研究文献。这里，需要着重指出的是，科学技术以人为本，这里，需要着重指出的是，科学技术以人为本，这里，需要着重指出的是，科学技术以人为本，这里，需要着重指出的是，科学技术以人为本，人与外界（自然世界与人造世界）的关系是通过人与外界（自然世界与人造世界）的关系是通过人与外界（自然世界与人造世界）的关系是通过人与外界（自然世界与人造世界）的关系是通过基于界面（自然界面与人造界面）的交互作用而基于界面（自然界面与人造界面）的交互作用而基于界面（自然界面与人造界面）的交互作用而基于界面（自然界面与人造界面）的交互作用而实现的；实现的；实现的；实现的；因此，关于因此，关于因此，关于因此，关于“知识知识知识知识/语义界面语义界面语义界面语义界面”和和和和“基于知识基于知识基于知识基于知识/语语语语义界面的人机交互义界面的人机交互义界面的人机交互义界面的人机交互”的问题必然或多或少要反映的问题必然或多或少要反映的问题必然或多或少要反映的问题必然或多或少要反映在每一篇人机界面与人机交互的研究之中。在每一篇人机界面与人机交互的研究之中。在每一篇人机界面与人机交互的研究之中。在每一篇人机界面与人机交互的研究之中。1。背景与意义1.3明确使用“知识/语义界面”概念、基于“知2 2。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势n n2.1 2.1 人机界面从传统的人机界面从传统的人机界面从传统的人机界面从传统的“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面”向向向向“知识知识知识知识/语义界面语义界面语义界面语义界面”发展发展发展发展 传统人机界面提供（输出）的是刺激、信号传统人机界面提供（输出）的是刺激、信号传统人机界面提供（输出）的是刺激、信号传统人机界面提供（输出）的是刺激、信号l l传统的人机界面仅提供系统运行与控制的简单、明确的物理信号传统的人机界面仅提供系统运行与控制的简单、明确的物理信号传统的人机界面仅提供系统运行与控制的简单、明确的物理信号传统的人机界面仅提供系统运行与控制的简单、明确的物理信号l l如通过各类仪表的指针、灯光、声音、色彩、振动及其它们的数如通过各类仪表的指针、灯光、声音、色彩、振动及其它们的数如通过各类仪表的指针、灯光、声音、色彩、振动及其它们的数如通过各类仪表的指针、灯光、声音、色彩、振动及其它们的数量、位置、大小、密度、组合、对比度等信号的物理特征给人提量、位置、大小、密度、组合、对比度等信号的物理特征给人提量、位置、大小、密度、组合、对比度等信号的物理特征给人提量、位置、大小、密度、组合、对比度等信号的物理特征给人提供系统运行状态与操作功能的信息，由它们构成信号关系简单、供系统运行状态与操作功能的信息，由它们构成信号关系简单、供系统运行状态与操作功能的信息，由它们构成信号关系简单、供系统运行状态与操作功能的信息，由它们构成信号关系简单、明确的人机界面。明确的人机界面。明确的人机界面。明确的人机界面。l l例如，驾驶界面、监控界面等。例如，驾驶界面、监控界面等。例如，驾驶界面、监控界面等。例如，驾驶界面、监控界面等。现代人机界面提供（输出）的是知识、语义现代人机界面提供（输出）的是知识、语义现代人机界面提供（输出）的是知识、语义现代人机界面提供（输出）的是知识、语义l l现代人机界面在传统的人机界面的基础上，融合计算机技术，提现代人机界面在传统的人机界面的基础上，融合计算机技术，提现代人机界面在传统的人机界面的基础上，融合计算机技术，提现代人机界面在传统的人机界面的基础上，融合计算机技术，提供复杂的、具有层次与结构的、包括自然语言与人工语言的图、供复杂的、具有层次与结构的、包括自然语言与人工语言的图、供复杂的、具有层次与结构的、包括自然语言与人工语言的图、供复杂的、具有层次与结构的、包括自然语言与人工语言的图、符号、字词、概念的系统运行状态与操作功能的语义信息。符号、字词、概念的系统运行状态与操作功能的语义信息。符号、字词、概念的系统运行状态与操作功能的语义信息。符号、字词、概念的系统运行状态与操作功能的语义信息。l l例如简单的家电（如电视、手机）普遍采用了多层菜单（语义层例如简单的家电（如电视、手机）普遍采用了多层菜单（语义层例如简单的家电（如电视、手机）普遍采用了多层菜单（语义层例如简单的家电（如电视、手机）普遍采用了多层菜单（语义层次结构）界面进行复杂的人机交互，这是传统人机交互不可能实次结构）界面进行复杂的人机交互，这是传统人机交互不可能实次结构）界面进行复杂的人机交互，这是传统人机交互不可能实次结构）界面进行复杂的人机交互，这是传统人机交互不可能实现的。现的。现的。现的。l l 2。研究现状与发展趋势2.1 人机界面从传统的“刺激/信号界2 2。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势n n2.22.2人机界面从传统的人机界面从传统的人机界面从传统的人机界面从传统的“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面”向向向向“知识知识知识知识/语义界面语义界面语义界面语义界面”发展发展发展发展 例：人机界面可视为万维网中的一个节点例：人机界面可视为万维网中的一个节点例：人机界面可视为万维网中的一个节点例：人机界面可视为万维网中的一个节点l l人机界面知识化从一个节点反映了万维网向语义网的发展趋势。人机界面知识化从一个节点反映了万维网向语义网的发展趋势。人机界面知识化从一个节点反映了万维网向语义网的发展趋势。人机界面知识化从一个节点反映了万维网向语义网的发展趋势。随着机器越来越深入人类生活，人类已经而且必将越来越熟悉和随着机器越来越深入人类生活，人类已经而且必将越来越熟悉和随着机器越来越深入人类生活，人类已经而且必将越来越熟悉和随着机器越来越深入人类生活，人类已经而且必将越来越熟悉和习惯机器的习惯机器的习惯机器的习惯机器的“思维方式思维方式思维方式思维方式”（人类语义越来越（人类语义越来越（人类语义越来越（人类语义越来越“接近接近接近接近”人工语义，人工语义，人工语义，人工语义，或者出现某种人类和机器共同的或者出现某种人类和机器共同的或者出现某种人类和机器共同的或者出现某种人类和机器共同的“人机语义人机语义人机语义人机语义”）。）。）。）。l l从而导致人机交互方式正在经历根本性变革从而导致人机交互方式正在经历根本性变革从而导致人机交互方式正在经历根本性变革从而导致人机交互方式正在经历根本性变革从纯语法处理方从纯语法处理方从纯语法处理方从纯语法处理方式向语义处理方式转化；机器系统的式向语义处理方式转化；机器系统的式向语义处理方式转化；机器系统的式向语义处理方式转化；机器系统的“逻辑本性逻辑本性逻辑本性逻辑本性”正在经历重正在经历重正在经历重正在经历重大转变大转变大转变大转变从从从从“同质系统同质系统同质系统同质系统”向向向向“异质系统异质系统异质系统异质系统”变迁。变迁。变迁。变迁。l l“人机语义人机语义人机语义人机语义”的基本特征可以概括为异质性、相对于语义网规则的基本特征可以概括为异质性、相对于语义网规则的基本特征可以概括为异质性、相对于语义网规则的基本特征可以概括为异质性、相对于语义网规则的可证正确性和人机互可理解性。例：的可证正确性和人机互可理解性。例：的可证正确性和人机互可理解性。例：的可证正确性和人机互可理解性。例：winwin中的变色、中的变色、中的变色、中的变色、等等等等l l传统社会的基本结构是以人际关系作为生产和生活的基本连接纽传统社会的基本结构是以人际关系作为生产和生活的基本连接纽传统社会的基本结构是以人际关系作为生产和生活的基本连接纽传统社会的基本结构是以人际关系作为生产和生活的基本连接纽带，机器之间的连接不起实质性作用；带，机器之间的连接不起实质性作用；带，机器之间的连接不起实质性作用；带，机器之间的连接不起实质性作用；l l未来网络社会是以机器网络作为生产和生活的基础平台与连接纽未来网络社会是以机器网络作为生产和生活的基础平台与连接纽未来网络社会是以机器网络作为生产和生活的基础平台与连接纽未来网络社会是以机器网络作为生产和生活的基础平台与连接纽带，人际关系越来越多地借助于机器网络和人机关系得以实现。带，人际关系越来越多地借助于机器网络和人机关系得以实现。带，人际关系越来越多地借助于机器网络和人机关系得以实现。带，人际关系越来越多地借助于机器网络和人机关系得以实现。l l这意味着机与机之间以及人与机之间的相互沟通与这意味着机与机之间以及人与机之间的相互沟通与这意味着机与机之间以及人与机之间的相互沟通与这意味着机与机之间以及人与机之间的相互沟通与“理解理解理解理解”变得变得变得变得越来越重要。越来越重要。越来越重要。越来越重要。2。研究现状与发展趋势2.2人机界面从传统的“刺激/信号界面人机连接关系人机连接关系l传统：通过人与人的联传统：通过人与人的联系构成机与机的联系系构成机与机的联系l现代：通过机与机的联现代：通过机与机的联系构成人与人的联系：系构成人与人的联系：万维网万维网(World Wide Web)人机连接关系2。研究现状与发展趋势。研究现状与发展趋势n n2.22.2人机交互从传统的人机交互从传统的人机交互从传统的人机交互从传统的“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面操作操作操作操作”向向向向“知识知识知识知识/语义界面语义界面语义界面语义界面解解解解题题题题”的发展的发展的发展的发展（1 1）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户）人机交互的特征决定于界面（包括认知界面与操作界面）特征与用户特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程特征及其关系。由于人机界面的知识化，基于界面的人机交互也从操作过程转化为解题过程（知识作业过程转化为解题过程（知识作业过程转化为解题过程（知识作业过程转化为解题过程（知识作业过程/脑力劳动过程、认知过程）。脑力劳动过程、认知过程）。脑力劳动过程、认知过程）。脑力劳动过程、认知过程）。（2 2）基于传统人机界面的人机交互模式：）基于传统人机界面的人机交互模式：）基于传统人机界面的人机交互模式：）基于传统人机界面的人机交互模式：“刺激刺激刺激刺激/信号界面信号界面信号界面信号界面操作操作操作操作”，重在，重在，重在，重在操作技能用认知科学术语可更为简明描述为操作技能用认知科学术语可更为简明描述为操作技能用认知科学术语可更为简明描述为操作技能用认知科学术语可更为简明描述为“刺激刺激刺激刺激反应反应反应反应”模式。在这种人模式。在这种人模式。在这种人模式。在这种人机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常机交互模式下，由于信号简单、明确，而操作复杂、要求高，要使系统正常运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。运行就必然强调操作与操作技能。如驾驶技能、机床操作技能。（3 3）基于知识界面的现代人机交互模式：）基于知识界面的现代人机交互模式：）基于知识界面的现代人机交互模式：）基于知识界面的现代人机交互模式：“知识知识知识知识/语义界面语义界面语义界面语义界面解题解题解题解题”，重在，重在，重在，重在认知技能用认知科学术语可描述为认知技能用认知科学术语可描述为认知技能用认知科学术语可描述为认知技能用认知科学术语可描述为“知识知识知识知识/语义界面语义界面语义界面语义界面认知过程认知过程认知过程认知过程”模式。在模式。在模式。在模式。在这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的这种人机交互模式下，由于信号具有复杂表现形式（自然语言与人工语言的图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、图、符号、字词等）、复杂的语义层次与结构，而操作相对简单（如鼠标、键盘、触摸操作）。键盘、触摸操作）。键盘、触摸操作）。键盘、触摸操作）。要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能要保证系统正常运行、人机交互目标的实现就必然强调认知与认知技能l l例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专例如，专业人员与非专业人员的不同知识背景所导致的人机交互特点的不同：专业人员是在业人员是在业人员是在业人员是在“老师老师老师老师”指导下的解例题过程，重视的是效率、可靠性；指导下的解例题过程，重视的是效率、可靠性；指导下的解例题过程，重视的是效率、可靠性；指导下的解例题过程，重视的是效率、可靠性；l l而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这而非专业人员是自学基础上的解题过程，注重的是可用性、用户特征等问题（这种差异是界面设计必须考虑的问题）。种差异是界面设计必须考虑的问题）。种差异是界面设计必须考虑的问题）。种差异是界面设计必须考虑的问题）。l l人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程人机交互就发展成为知识界面所定义的语义网上的解题过程（问题解决过程/知识知识知识知识作业过程作业过程作业过程作业过程/脑力劳动过程脑力劳动过程脑力劳动过程脑力劳动过程/认知过程认知过程认知过程认知过程/计算过程）。计算过程）。计算过程）。计算过程）。2。研究现状与发展趋势2.2人机交互从传统的“刺激/信号界面2 2。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势 2.32.3人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展人机界面技术向综合化、一体化方向发展 人机系统（航空航天、高铁）的高速化，必然带来信息显示的复杂化人机系统（航空航天、高铁）的高速化，必然带来信息显示的复杂化人机系统（航空航天、高铁）的高速化，必然带来信息显示的复杂化人机系统（航空航天、高铁）的高速化，必然带来信息显示的复杂化以及与此对应的操控复杂化，必然促使越来越多地采用智能化、数字以及与此对应的操控复杂化，必然促使越来越多地采用智能化、数字以及与此对应的操控复杂化，必然促使越来越多地采用智能化、数字以及与此对应的操控复杂化，必然促使越来越多地采用智能化、数字化的显控技术。化的显控技术。化的显控技术。化的显控技术。飞机、航天器驾驶舱的演进反映了显控系统的发展特征飞机、航天器驾驶舱的演进反映了显控系统的发展特征飞机、航天器驾驶舱的演进反映了显控系统的发展特征飞机、航天器驾驶舱的演进反映了显控系统的发展特征l l7070年代前从简单到复杂，驾驶舱内的各类仪表和开关不断增多，且渐趋年代前从简单到复杂，驾驶舱内的各类仪表和开关不断增多，且渐趋年代前从简单到复杂，驾驶舱内的各类仪表和开关不断增多，且渐趋年代前从简单到复杂，驾驶舱内的各类仪表和开关不断增多，且渐趋饱和；饱和；饱和；饱和；l l7070年代末期开始，随着航空电子技术的不断发展，又开始由复杂趋向简年代末期开始，随着航空电子技术的不断发展，又开始由复杂趋向简年代末期开始，随着航空电子技术的不断发展，又开始由复杂趋向简年代末期开始，随着航空电子技术的不断发展，又开始由复杂趋向简明；明；明；明；l l进人进人进人进人9090年代，提出了年代，提出了年代，提出了年代，提出了“大图像大图像大图像大图像”智能化座舱，全景座舱控制与显示系统智能化座舱，全景座舱控制与显示系统智能化座舱，全景座舱控制与显示系统智能化座舱，全景座舱控制与显示系统的概念和超全景座舱和虚拟应用等概念，驾驶舱开始向工作站方式推进。的概念和超全景座舱和虚拟应用等概念，驾驶舱开始向工作站方式推进。的概念和超全景座舱和虚拟应用等概念，驾驶舱开始向工作站方式推进。的概念和超全景座舱和虚拟应用等概念，驾驶舱开始向工作站方式推进。l l进入进入进入进入20002000年后，正在向基于超全景、临境显示技求的虚拟座舱及其合成年后，正在向基于超全景、临境显示技求的虚拟座舱及其合成年后，正在向基于超全景、临境显示技求的虚拟座舱及其合成年后，正在向基于超全景、临境显示技求的虚拟座舱及其合成景象显示系统和多通道智能控制系统方向发展。景象显示系统和多通道智能控制系统方向发展。景象显示系统和多通道智能控制系统方向发展。景象显示系统和多通道智能控制系统方向发展。l l最近几年，随着显示与控制的复杂化，为了节约时空资源，显示与控制最近几年，随着显示与控制的复杂化，为了节约时空资源，显示与控制最近几年，随着显示与控制的复杂化，为了节约时空资源，显示与控制最近几年，随着显示与控制的复杂化，为了节约时空资源，显示与控制集成的综合化发展加剧，认知界面中既有显示的问题，也有控制的问题。集成的综合化发展加剧，认知界面中既有显示的问题，也有控制的问题。集成的综合化发展加剧，认知界面中既有显示的问题，也有控制的问题。集成的综合化发展加剧，认知界面中既有显示的问题，也有控制的问题。其典型就是触摸显示键盘控制器，通过全面电子化使控制器实现时分制其典型就是触摸显示键盘控制器，通过全面电子化使控制器实现时分制其典型就是触摸显示键盘控制器，通过全面电子化使控制器实现时分制其典型就是触摸显示键盘控制器，通过全面电子化使控制器实现时分制多功能多功能多功能多功能,实现控制器和显示器的综合化。实现控制器和显示器的综合化。实现控制器和显示器的综合化。实现控制器和显示器的综合化。l l例如载人航天器最终有可能实现以综合电子显示为主的综合语音控制例如载人航天器最终有可能实现以综合电子显示为主的综合语音控制例如载人航天器最终有可能实现以综合电子显示为主的综合语音控制例如载人航天器最终有可能实现以综合电子显示为主的综合语音控制-电电电电子显示系统子显示系统子显示系统子显示系统,乘员舱内的开关、按钮及部分仪表将有乘员舱内的开关、按钮及部分仪表将有乘员舱内的开关、按钮及部分仪表将有乘员舱内的开关、按钮及部分仪表将有90%90%要被计算机辅要被计算机辅要被计算机辅要被计算机辅助综合控制助综合控制助综合控制助综合控制-显示系统代替，实现系统的集中显示与控制的需求。显示系统代替，实现系统的集中显示与控制的需求。显示系统代替，实现系统的集中显示与控制的需求。显示系统代替，实现系统的集中显示与控制的需求。2。研究现状与发展趋势2.3人机界面技术向综合化、一体化方向2 2。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势。研究现状与发展趋势 2.42.4人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展 一般认为人与计算机交互的发展经历了：一般认为人与计算机交互的发展经历了：一般认为人与计算机交互的发展经历了：一般认为人与计算机交互的发展经历了：第一代，基于键盘和字符显示器的交互阶段第一代，基于键盘和字符显示器的交互阶段第一代，基于键盘和字符显示器的交互阶段第一代，基于键盘和字符显示器的交互阶段l l使用的主要交互工具为键盘及字符显示器，交互的内容主要有字使用的主要交互工具为键盘及字符显示器，交互的内容主要有字使用的主要交互工具为键盘及字符显示器，交互的内容主要有字使用的主要交互工具为键盘及字符显示器，交互的内容主要有字符、文本和命令，交互过程显得呆板和单调符、文本和命令，交互过程显得呆板和单调符、文本和命令，交互过程显得呆板和单调符、文本和命令，交互过程显得呆板和单调 第二代，基于鼠标和图形显示器的交互阶段第二代，基于鼠标和图形显示器的交互阶段第二代，基于鼠标和图形显示器的交互阶段第二代，基于鼠标和图形显示器的交互阶段l l使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字符、图形和图像符、图形和图像符、图形和图像符、图形和图像 第三代，基于多媒体技术的交互阶段第三代，基于多媒体技术的交互阶段第三代，基于多媒体技术的交互阶段第三代，基于多媒体技术的交互阶段l l多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机进行信息交流，从而方便了计算机的使用，扩大了计算机的应用进行信息交流，从而方便了计算机的使用，扩大了计算机的应用进行信息交流，从而方便了计算机的使用，扩大了计算机的应用进行信息交流，从而方便了计算机的使用，扩大了计算机的应用范围，促进了信息处理技术特别是计算机听觉与计算机视觉的发范围，促进了信息处理技术特别是计算机听觉与计算机视觉的发范围，促进了信息处理技术特别是计算机听觉与计算机视觉的发范围，促进了信息处理技术特别是计算机听觉与计算机视觉的发展，从而使人机交互在朝着自然、和谐的方向上向前迈进了一大展，从而使人机交互在朝着自然、和谐的方向上向前迈进了一大展，从而使人机交互在朝着自然、和谐的方向上向前迈进了一大展，从而使人机交互在朝着自然、和谐的方向上向前迈进了一大步步步步.2。研究现状与发展趋势2.4人机交互技术向基于多通道的多模态2。研究现状与发展趋势。研究现状与发展趋势 2.42.4人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展人机交互技术向基于多通道的多模态方向发展 第四代，基于多模态技术的交互阶段第四代，基于多模态技术的交互阶段第四代，基于多模态技术的交互阶段第四代，基于多模态技术的交互阶段l l新一代新一代新一代新一代(第四代第四代第四代第四代)人机交互的概念框架和其四个标志性特征人机交互的概念框架和其四个标志性特征人机交互的概念框架和其四个标志性特征人机交互的概念框架和其四个标志性特征,即即即即:l l(1)(1)具有多模感知具有多模感知具有多模感知具有多模感知(听觉，视觉，手势，笔势等听觉，视觉，手势，笔势等听觉，视觉，手势，笔势等听觉，视觉，手势，笔势等)功能的人机交互功能的人机交互功能的人机交互功能的人机交互方式；方式；方式；方式；l l(2)(2)可进行基于可进行基于可进行基于可进行基于Agent Agent 的听、视觉对话，作为人机交互的界面；的听、视觉对话，作为人机交互的界面；的听、视觉对话，作为人机交互的界面；的听、视觉对话，作为人机交互的界面；l l(3)(3)具有具有具有具有Internet Internet 数据仓库和基于内容检索的知识处理能力，作数据仓库和基于内容检索的知识处理能力，作数据仓库和基于内容检索的知识处理能力，作数据仓库和基于内容检索的知识处理能力，作为人机交互内容；为人机交互内容；为人机交互内容；为人机交互内容；l l(4)(4)可以在二维或虚拟的三维环境中实现人机通信，作为人机交可以在二维或虚拟的三维环境中实现人机通信，作为人机交可以在二维或虚拟的三维环境中实现人机通信，作为人机交可以在二维或虚拟的三维环境中实现人机通信，作为人机交互的环境。互的环境。互的环境。互的环境。l l作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，作为新一代（第四代）人机自然交互系统仿真了人类之间的交互，多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术多通道（视、听、触、嗅等）之间的语义交互是实现多模态技术的基础的基础的基础的基础l l人类在与其环境进行交互时是多模态的人类在与其环境进行交互时是多模态的人类在与其环境进行交互时是多模态的人类在与其环境进行交互时是多模态的.人可以同时说、指和看人可以同时说、指和看人可以同时说、指和看人可以同时说、指和看同一个物体；还可以通过同时听一个人的说话语气和看他的面部同一个物体；还可以通过同时听一个人的说话语气和看他的面部同一个物体；还可以通过同时听一个人的说话语气和看他的面部同一个物体；还可以通过同时听一个人的说话语气和看他的面部表情及手臂动作来判断他的情绪表情及手臂动作来判断他的情绪表情及手臂动作来判断他的情绪表情及手臂动作来判断他的情绪.为了更好地理解周围的环境为了更好地理解周围的环境为了更好地理解周围的环境为了更好地理解周围的环境,人人人人类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类类每时都在使用视觉、听觉、触觉和嗅觉，可以说多模态是人类之间自然交互的体现。之间自然交互的体现。之间自然交互的体现。之间自然交互的体现。2。研究现状与发展趋势2.4人机交互技术向基于多通道的多模态2。研究现状与发展趋势。研究现状与发展趋势n n2.42.4人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展 根据研究的侧重点不同，人机交互模型可分为两个方面的根据研究的侧重点不同，人机交互模型可分为两个方面的根据研究的侧重点不同，人机交互模型可分为两个方面的根据研究的侧重点不同，人机交互模型可分为两个方面的研究（当然这两方面的研究融合、交叉）。研究（当然这两方面的研究融合、交叉）。研究（当然这两方面的研究融合、交叉）。研究（当然这两方面的研究融合、交叉）。第一，从机的角度，主要讨论界面在系统中的地位、功能、第一，从机的角度，主要讨论界面在系统中的地位、功能、第一，从机的角度，主要讨论界面在系统中的地位、功能、第一，从机的角度，主要讨论界面在系统中的地位、功能、关系与分解，被称为关系与分解，被称为关系与分解，被称为关系与分解，被称为“界面结构模型界面结构模型界面结构模型界面结构模型”l l如将界面分成三部分（表示部件、对话控制、应用接口）的如将界面分成三部分（表示部件、对话控制、应用接口）的如将界面分成三部分（表示部件、对话控制、应用接口）的如将界面分成三部分（表示部件、对话控制、应用接口）的SeeheimSeeheim模型模型模型模型(GREEN,1986)(GREEN,1986)l lSeeheimSeeheim模型的一个显著特征是强调对话控制部分的作用。模型的一个显著特征是强调对话控制部分的作用。模型的一个显著特征是强调对话控制部分的作用。模型的一个显著特征是强调对话控制部分的作用。l l然而，在直接操作对话中用户是与个别应用语义对象的图形表示然而，在直接操作对话中用户是与个别应用语义对象的图形表示然而，在直接操作对话中用户是与个别应用语义对象的图形表示然而，在直接操作对话中用户是与个别应用语义对象的图形表示交互，而不是与整个应用系统对话。交互，而不是与整个应用系统对话。交互，而不是与整个应用系统对话。交互，而不是与整个应用系统对话。l lSeeheimSeeheim模型本身并不支持直接操作的语法与语义要求，因而这模型本身并不支持直接操作的语法与语义要求，因而这模型本身并不支持直接操作的语法与语义要求，因而这模型本身并不支持直接操作的语法与语义要求，因而这个模型对直接操作界面不是非常合适的个模型对直接操作界面不是非常合适的个模型对直接操作界面不是非常合适的个模型对直接操作界面不是非常合适的 l l多层结构模型（多层结构模型（多层结构模型（多层结构模型（PACPAC模型、模型、模型、模型、ALVALV模型、模型、模型、模型、C2C2模型、模型、模型、模型、ArchArch模型、基模型、基模型、基模型、基于于于于AgentAgent的多通道用户界面模型的多通道用户界面模型的多通道用户界面模型的多通道用户界面模型PBM_MMPBM_MM、支持多通道交互的、支持多通道交互的、支持多通道交互的、支持多通道交互的智能体的结构模型智能体的结构模型智能体的结构模型智能体的结构模型MAMSMAMS（Multi-agent Architecture with Multi-agent Architecture with Multimodal SupportMultimodal Support）。）。）。）。表现部件对话控制应用接口最终用户应用程序2。研究现状与发展趋势2.4人机交互模型从人适机向机适人发展2。研究现状与发展趋势。研究现状与发展趋势n n2.42.4人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展人机交互模型从人适机向机适人发展 第二，从用户的角度，讨论基于系统、界面的用户特征，被称为第二，从用户的角度，讨论基于系统、界面的用户特征，被称为第二，从用户的角度，讨论基于系统、界面的用户特征，被称为第二，从用户的角度，讨论基于系统、界面的用户特征，被称为“用用用用户特性模型户特性模型户特性模型户特性模型”/“/“行为模型行为模型行为模型行为模型”。l l如如如如NormanNorman执行执行执行执行-评估循环模型。他将人机交互看作是人与系统的互动模评估循环模型。他将人机交互看作是人与系统的互动模评估循环模型。他将人机交互看作是人与系统的互动模评估循环模型。他将人机交互看作是人与系统的互动模式，认为人机交互过程有为两个重要阶段：执行阶段和评估阶段，并进式，认为人机交互过程有为两个重要阶段：执行阶段和评估阶段，并进式，认为人机交互过程有为两个重要阶段：执行阶段和评估阶段，并进式，认为人机交互过程有为两个重要阶段：执行阶段和评估阶段，并进一步划分为七个部分。一步划分为七个部分。一步划分为七个部分。一步划分为七个部分。uu1.1.确立目标；确立目标；确立目标；确立目标；uu2.2.形成意图（比目标更加具体化）；形成意图（比目标更加具体化）；形成意图（比目标更加具体化）；形成意图（比目标更加具体化）；uu3.3.形成基于意图的操作序列；形成基于意图的操作序列；形成基于意图的操作序列；形成基于意图的操作序列；uu4.4.发出相应的操作指令；发出相应的操作指令；发出相应的操作指令；发出相应的操作指令；uu5.5.察觉系统当前的