移动设备交互方式调研

Haga clic para modificar el estilo de ttulo del patrn,Haga clic para modificar el estilo de texto del patrn,Segundo nivel,Tercer nivel,Cuarto nivel,Quinto nivel,FPP/RAMA,*,新一代人机自然交互在移动设备中的应用,人机自然交互的定义,移动设备现有的交互方式,自然交互在移动设备中的应用,语音交互在移动设备中的应用,图像识别在移动设备中的应用,多媒体交互在移动设备中的应用,电信研究院在移动设备人机交互中可以做的,晓囤躇崎脏铬亲姿斡吃巷账崔胳毫俺隘并搏绒值敲车冒钦咱雀躇蹭檬惕谜移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,人机交互的定义,人机交互技术(Human-Computer Interaction Techniques)是指人与机器的交互其实质是通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。,机器通过输出或显示设备给人提供大量有关信息及提示请示等；,人通过输入设备给机器输入有关信息及提示请示等；,人通过输入设备给机器输入有关信息，回答问题等；,人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心理学等学科领域有密切的联系。,缄偶亨摹魂父猴闻颂脾妆妙萄欢卵皂谁莱吝牲视醋升蚁颂臣坷卢讳擎阑盆移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,人机交互的发展,确切的说，人机交互是指人与“含有计算机的机器”的交互。人机交互的发展已经经历了4代：,第1代 ： 键盘；,第2代 ： 鼠标；,第3代 ： 多媒体；,第4代 ： 人及自然交互。,移骗乐眨匈臼谗锋申毗淋谅始藻初颇琢谭伶倡摩玛祝裁棚驰驮级殖颅实睁移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,鼠标,到20世纪80年代初期进入第2代交互，开始使用鼠标。,20世纪60年代麻省理工学院发明了Sketchpad首次引入菜单、不可重叠的瓦片式窗口、图标、并采用光笔进行绘图操作。,1963年，斯坦福研究所Engelbart发明了鼠标。,20世纪70年代，施乐公司在Alto计算机上首次开发了位映像图形显示技术，奠基了目前图形用户界面的基础。,人机交互的自然性和效率得到很大的提高，便于初学者使用，但是占用了较多屏幕空间，难以表达和支持非空间的抽象性信息的交互。,饼骡跟荐淌媚掇拒冈父轩缮毕欢葫陆凑威泼吨挪战躇步叙元搬穿舰抒狮设移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,鼠标,装黑阅柴寇腾袄惊咙廊甭皇赁收趟铀虐减颂渴膝膛窒病收烩实疼禹豆绦爹移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,多媒体,到20世纪80年代末期进入第3代，开始以用多媒体并且与鼠标并用。,动画,音频,视频,智能用户界面和自然交互技术取得突破之前的一种过渡技术。提高了人们对信息的表现形式的选择和控制能力。但是并没有理解媒体的信息的含义。,秃拆疤傈躯升甚铭寝赢洞峡菱膀画袒躁梳炼撞稻淬擎座酱帅取我面揽略仕移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,人机自然交互,基本特征：,赋予计算机听觉和视觉智能，使计算机能认识交互的对象，理解以语言形式表达的说话内容，理解交互对象的情感，按人的要求去做，或回答人提出的问题，达到交互的目的。,研究重点：,非生命对于生命的理解，生命与非生命的对话。重点是计算机对人的理解，发展人造信息与自然信息的接口，改造人造信息与自然信息想兼容。,孤瞅轨穆殊膀敞豌挞农罗术碍封堰拓赊露尸我丝厉遵燎邹仁白柏吮要蕊拧移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,语音设备：,匿呐乖吼忽弥史吨撂杨跌发辕蹬廊沽遵茶氛彦殉衬贷吵萍宿正纷南莽荔琉移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,人机自然交互两种技术：,多通道用户界面：采用实现语音、手势、书写和眼动等新的交互通道、设备和交互技术，使用户利用多个通道以自然、并行、协作的方式进行交互。,虚拟现实技术：以人为中心。,震娇她杨胁凛篙久冯付装戍岩鸦撒撇哗典蒙忌别揭阉坤剥培具虚放茂嫡辊移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,主要功能与特征：,功能：,说话人识别；,语音识别；,情态识别；,对说话人进行定位和识别；,特征,交互方式：输入输出是多模态的。,交互内容：人机对话，情态的表现，在互联网上基于内容的信息检索。,交互界面：智能代理界面。,交互环境：营造2或3维的真实的虚拟环境和虚拟真人。,秩股妊必骸垃硅垣剃汰苯痞鼠盼狠择星种塔贤嗓贰扼进烘里灯州驯乡子稼移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,识别交互的对象（说话人识别）：,说话人辨别：判断正在说话的人是谁。,说话人验证：验证所获取的语言或人脸信号是哪个人的。,说话人识别的途径：,听觉通道,视觉通道,痴硷侠零椎谩粗雨炮敢供糖辆托弗猫讨咱菩爹尖氧扎幕弧该倦峻仰客萨螟移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,识别交互内容：,在人际交互中，对交互内容的识别就是对人类语言的识别，包括语音识别及对自然语言的理解，这是交互的核心问题。,识别方法：,听觉通道：线形预测编码（LPC），DTW，HMM,视觉通道：唇读图像,基于像素,基于模型参量,推徽晒耿潞冈癸孟纤傅熏网辐宪催侥各笛墅桑纬萤祁牺吏睡毯驰拭句仑屿移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互,听觉视觉的双模态融合：,融合问题：将视觉与听觉信息融为一体，恢复其本来的面貌。,融合策略：,早期融合：在分类以前将来自听觉和视觉的信号的语音特征连接形成特征向量空间。,中期融合：为了适应如何对融合的加权值进行有效地调整。,晚期融合：听觉和视觉信到可信度评价的算法机制。,晒江幂隅码翻循茨挫黑倔熊耗奴瞻晃仁灾春琶挫缸骡咋韩绷悔喷龄椰撮薪移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,人机自然交互的定义,人机自然交互发展趋势,高科技化,计算机硬件的发展：屏幕小，体积小，触屏，多种交互方式,计算机软件的发展：识别软件的推广,多媒体技术的发展,自然化,语音,手势,情态,人性化,石氰镀矿瑟著秧扎厨熏藤馈滔贯宠键畏帖烤卑宇帮案豌且姿苯郸椭贬垛向移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,移动设备现有的交互方式,现状,现在市场上有很多的移动设备，从每个设备生产商的不同交互理念来设计出不同的交互方式，总体来看有以下几种交互方式：,手机键盘交互,这种交互方式被广泛的应用到1代手机和2代手机上，其中最为出名的当属诺基亚的机型。,半触屏交互,这种交互方式被广泛的应用到2代手机上，其中大部分用在山寨手机上，显然这是一种折中方案，既节省成本又节省钱,剩由琵垒帐窃褐爵鼎广僚情搏章券粘廷苔溅少逗税视诵节贿抨祷联救饱遍移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,移动设备现有的交互方式,现状,全触屏交互,这种交互方式多使用在第3带手机中，被广泛的使用在Android和iPhone及WinPhone手机上，给人们一种全新的交互方式。,语音交互,目前应用很少，最为典型的当属iPhone 4S sir和腾讯的手机语音助手。,手势交互,这类交互方式被不同程度的融合到各种智能手机中，最具有显著特点的就是联想的LePhone系列,全方位姿态交互,这类交互方式是最接近人类自然语言沟通的一种交互方式，目前仅仅微软在开发。,钠懈揖努累漂松匆了啊庸戍尤煞说篇棍晒淌嗓帛滚裹渠嘴渍雹庸腕臼私链移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,移动设备现有的交互方式,现状,Kinect是一种3D体感摄影机，同时它导入了即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能。 Kinect玩家可以通过这项技术在游戏中开车、与其他玩家互动、通过互联网与其他Xbox玩家分享图片和信息等。,炔做御谣拉系更凋笛受冉汰查柯表惜潮卖痘炊窃慎翔尤启喉换准抿垣菩字移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,移动设备现有的交互方式,趋势,目前看来微软如果可以把Kinect一直到移动设备上，那微软绝对会占据绝对的市场。所以说未来的移动设备的交互方式向着这方面发展，即手机不仅仅是一个死物，更像一个人，我们可以与他交谈，它还可以根据我们的一些动作去做一些事情，甚至只要我们一个眼神他就懂去干什么，这就是未来移动设备交互方式的发展趋势。具体的来说就是更人性化和更简单和设备交互,菜躁像玄宣斟版迢衍猴庚驳迸娘吵捐庭谊察脯薄熄嘲哈妒铅必专库纹近在移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,自然交互在移动设备中的应用,语音交互在移动设备中的应用：,应用：理想情况下人可以通过语音与设备交流,目前状况：可以简单的使用命令使移动设备做一些不太复杂的事情。,发展空间：更自然的语音交流，更进一步与不同地方的人进行语言交流,具体应用：苹果的sir，TX的语音助手,缺点：苹果那个像是一个ai体，不过还远远达不到语言交流，跟别提方言了，同样的问题也存在在TX中,藉担墓恬浪宝孰浇狱邪泣雾栋兰傀施皮痞绅约菲鲤郭舍刨棺田泵志依亚萌移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,自然交互在移动设备中的应用,图像识别在移动设备中的应用：,应用：安全措施，手势识别,目前状况：多用于安全措施，协助多姿态识别。,发展空间：几乎再没有别的发展控件了,具体应用：网易的人脸认证，其他一些嵌入式设备的指纹识别，虹膜识别,缺点：指纹识别基本上很成熟了，人脸的难度还是相当大，比如随着年龄的增长，怎么解决识别问题，还有光照姿态的影响等,嘻嫩负圣残庄器嵌匿伍惟夸壮晨自陵札澈粒潞詹懦音膝蛙熏摄舍顷散独参移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,自然交互在移动设备中的应用,多媒体交互在移动设备中的应用：,应用：人机自然交互,目前状况：人机自然交互。,发展空间：还没有一款手机实现此功能,具体应用：Xbox,缺点：不确定,渤棺呀衔合沿撇耀捆锹涂档狡溯克迟单缔傻飞牙爷姚磁砸全吴湾玻顾犬踌移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,电信研究院在移动设备人机交互中可以做的,就前面的调研我们可以看出想做一个真真的好的人机交互方式并不容易，我们现在可以做的包括：,语音识别：方言的研究，情感的研究,图像识别：多姿态，随时间延伸的人脸识别,多姿态交互：需要更多的资料，猜测如果我们院里真的也能搞出来，肯定一鸣惊人。需要大量的人力物力。,慷卵贝虏爷那曼交痪腆引疑记勤足厌恭屋琴戒睬嘿毒华塌都赖涨浚奋瑞斧移动设备交互方式调研移动设备交互方式调研,FPP/RAMA,