人机交互技术和智能信息处理实验室.ppt

戴国忠人机交互技术和智能信息处理实验室 人机交互技术和实物操作界面 TUI TangibleUserInterface 人机交互技术和用户界面无处不在计算及其用户界面实物操作界面 TUI 提纲 DouglasC Engelbart 什么造就了计算机辉煌历史 NationalMedalofTechnology 2000IEEE JohnVonNeumannMedalAward 1999ACM A M TuringAward 1997影响几代人 创造计算机的历史 PCplusGUImadethehistory ThingsbehindGUIDesktopmetaphorWIMP Windows icons menu andpointer DirectmanipulationandWYSIWYGKillerapplicationWordprocessingElectronicspreadsheet 什么造就了计算机辉煌历史 计算机是什么 无处不在的计算 DesktopPC TabletPC PocketPC PhonePC WristPC 无线连接 计算机是什么 PC手写设备 计算机是什么 Roomware 1950年 大型机计算时代多人一机1975年 PC计算时代信息交流一人一机2000年 普适计算时代服务一人多机 字符用户界面键盘图形用户界面鼠标 GUI WIMP新世纪用户界面 笔 语音 计算机是什么 计算的三次革命 计算空间 角色 界面 计算机是什么 计算的三次革命 一只眼睛十一个指头 计算机能做什么 不能做什么 计算机计算模式 1 2 人 环境 活动 Desktop 无处不在的计算 Mainframe 大型机 台式机 移动环境 三维空间 Postdesktop 键盘 鼠标 文本命令 GUI命令 WIMP PostWIMP NonWIMP NonWIMP 人机环境 虚拟现实VR 无处不在的计算AR 办公自动化 科学计算 用户界面的发展历史 1 3 人机交互和用户界面 计算机应用的主要障碍 硬件 摩尔定律 18个月翻一倍 软件 每五年升一代界面 15 20年换一代60年代一70年代 键盘 字符界面80年代一90年代 鼠标 图形界面21世纪 新一代界面 凡有助于缩小人机隔阂 建立和谐人机环境的理论 方法 技术和产品都具有强大的生命力 什么是今后计算机应用的障碍 计算机硬件技术已不是阻碍人机交互和用户界面 计算机应用的主要障碍人机交互技术一21世纪重大信息技术 计算机研究发展的主干 计算如硬件技术 计算机软件技术 智能接口技术 863计划计算机发战研讨会2002 1 18 一 普适计算的认识 1 UbiquitousComputing ubicopm MarkWeiser1991Avision 人 环境 计算资源基础设施 Net Devicesatvaryingscales任何时间任何地点提供信息和服务Anewparadigmsofinteraction FocusonApplicationsTherealpurposeforubiquitouscomputing ofcourse aretheapplications MarkWeiser 普适计算的认识 2 普适计算的认识 3 UbiquitousComputing多人可以使用的计算 计算环境如交互墙 会议室 电子白板 教室 普遍 到处无处不在的计算PervasiveComputing Computingpervasive 个人所拥有的计算 日用品如可穿戴计算设备扩散 渗透 普适计算的认识 4 人机融合过程 人 计算机 弱智十奇才 人适应计算机 计算机适应人 主机时代 PC时代 普适时代 普适计算中人机交互的三个主题 自然界面 naturalinterfaces 上下文感知应用 context aware 基于物理和计算环境感知到的信息的行为 简单的上下文 重用性 和复杂的上下文自动捕捉及访问 automatedcaptureandaccess 无处不在计算的应用试图自动捕捉生活经历 提供以后对这些经历的灵活访问 普适计算中人机交互的三个特征 自然化多通道模糊非结构连续 人性化显式感知 符号 动作 表象 情感 隐式感知 用户意图捕捉智能化学习能力数据挖掘 自然界面 1 IntegrateintohumanlifePeninputGestureSpeechPerceptualUITangibleUI脱离桌面 自然界面 2 第一类自然数据类型 First ClassNaturalDataTypes 视觉 听觉 笔画 作为基本数据类型 并支持对这类数据类型的操作 基于识别交互的容错技术识别的准确度 纠错的复杂度及有效度1 减少错误2 发现错误3 可修正错误 location identity objects 上下文感知 1 上下文感知 2 上下文定义 为什么 结果 谁使用 用户十环境十它人 做什么 用户行为 何时 何地 上下文表示上下文融合 自动捕捉及访问生活经历 信息获取 听 看 记录 提取听 看 提取 记录目的 计算机擅长十人擅长主要应用 会议室 课堂环境 个人note takingPhoneslaveXcaptureClassroom2000捕捉 源信息流记录十关健信息的捕捉访问 多捕捉流同步重放 普适计算面临的其它挑战 评估人的需求使用的可信度方法 以任务为中心的评估技术是不合适 社会问题安全性 可视性 可控制性 个人隐私 普适计算的理解 1 三个层次 计算为基础层次 提供必要的软硬件技术计算机科学信息交流计算设备之间的交流 计算机网络人机交流 人机界面计算机科学 心理学等学科 服务没有感觉计算的存在 却无处不在的享受着服务 计算主要以服务的形态提供人们 并自然地融入社会计算机科学 社会科学 普适计算的理解 2 三个层次 mobility Interfacetransparency Desktopcomputing MobileComputing WearableComputing UbiquitousComputing 计算信息交流服务 从社会科学的角度出发从根本上彻底改造技术以适应人目标是使人获得真正的效率使得计算机 Invisible 最好的仆人是看不见的仆人 多种多样的服务形式 更为自然信息获取 普适计算的用户界面 普适计算的用户界面 充分利用人们在现实生活中的获得的生活体验 易学习自然直观的用户界面直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程 信息技术的尴尬 TUI的动机 传统的计算工具结绳记事沙漏计时算盘简单 可触摸 易学习触觉和肌肉运动知觉现在的数字技术功能强大 学习门槛高人们必须不断学习适应其发展原因 生活经验毫无用处 界面本身就是新生事物 信息空间和物理空间 Bits Atoms PO PO PO EY PO Physicalobject EY Entity EY EY Mouse 信息空间 Bits 物理空间 Atoms 信息空间和物理空间 Bits Atoms 我们生活在两个世界里 现实的物理世界和虚拟的信息世界两种身份之间却缺少一种无缝的 自然的转换和交互方式人们和信息空间的交互被局限于传统的图形用户界面 GUI 中实际上 正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来 从桌面环境到物理世界GUI到TUI 1991年 MarkWeiser提出了 普适计算 计算是无处不在的 是不可见的物理世界本身就是界面 1981年 施乐公司提出了GUI概念 Star 是第一个采用 WIMP 界面 实物操作界面简介 TUI 定义 TangibleUserInterface 直接将人们在现实生活中和物体 环境的交互动作映射为和信息空间的交互过程的用户界面 特点 充分利用生活体验 易学习 自然目标 尽可能的把生活体验用到人机交互中 降低计算机技术的学习门槛 增加交互的自然性 TUI的目标 实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的 三个关键的概念 交互式表面信息和物体的链接环境反馈 和TUI相关的工作 1 UbiquitousComputing 普适计算 计算无处不在计算之间 设备之间的通讯是 透明 的例子 会议桌 便签条二者差别 普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中的各种交互设备中 GUI的拓展 适应 TUI界面则试图摒弃GUI界面范式 力图使物理环境成为界面本身 更多的借鉴了在计算机出现以前的人们的交互方式 回归 和TUI相关的工作 AugmentedReality 增强现实 研究如何集成现实世界和虚拟世界的问题二者的区别输入手段不同 TUI强调把直接抓取实物作为输入手段 AR是重叠显示现实世界和虚拟信息的投影 TUI的研究现状 MITMediaLabTUIGroup斯坦福大学InteractivityLab华盛顿大学DesignMachineGroup加州大学GroupforUserInterfaceResearch多伦多大学DepartmentofComputerScience TUI的研究原型 ClearBoardHiroshiIshii1994 最早把现实中的表面做为物理空间和信息空间的集成媒介的系统支持CSCW一个背投的显示器充当了物理动作和虚拟信息之间的媒介 LiveWireWeiser1995 一个给用户提供环境反馈的例子塑料绳就会抖动和发声 这样就跟用户提供了声音反馈 Bricks GraspableUserInterfaces 可抓取界面 Fitzmaurice1995 方块 Bricks 和虚拟物体链接并同步动作方块的数目不限 可以同时操纵多个方块TUI界面中借鉴了这个系统的思想 PassiveReal WorldInterfacePropsHINCKLEY1998 用于神经外科手术规划的一个双手交互系统反馈触觉和肌肉运动知觉二者区别 TUI界面不但是实物操作输入 还能输出环境反馈 MITMediaLab的研究工作 三个原型系统metaDESK和transBOARD抓取的实物ambientROOM环境反馈 MetaDESK 有Windows中界面构件 如窗口 菜单 图标 的实物对应 也有嵌入了数字信息的现实生活中的物体 MITMediaLab IPNetworkSimulation 用于网络结构设计基于早期的TUI平台 Sensetable无线跟踪pucks的位置方位 TangibleGeospace 在metaDesk上开发的一个实物操作的三维地图系统用真实的路标模型 phicon 实物图标 就可以直接编辑地图 TransBOARD 支持协同工作的白板系统经过编码的卡片 hyperCARDs phicon 可以记载笔迹单向转换 从物理世界转换到信息世界白板表面作为信息集成媒介 ambientROOM 人们获取信息的两个渠道 前景 注意力集中的动作背景 周围环境信息光效 声音 气流 阴影都是人们可以感知的背景信息 斯坦福的研究工作iStuffRafaelBallagasCHI2003 PhysicalUserInterfaceToolkit主要思想 把GUI中的界面构件用实物来代替 如笔 滑动杆 按钮 玩具狗 铁笔 麦克风 斯坦福的研究工作iStuff 支持多用户 多个设备 多个应用间的协同工作平台无关实时配置各个物理交互设备通过无限网络连接 瑞典Goteborg大学交互实验室开发的Nostalgia 带有传感器的织物消除了老人们对计算机的排斥感点击三角块激活老歌曲和音乐 多伦多大学ShapeTape 自由弯曲的带有弹性的带子每隔6厘米共分布了32个传感器带子 实物 和自由曲线 虚拟对象 的连接 带子的形状直接映射为曲线的形状 华盛顿大学DMG NavigationBlocks 用于数据库查询四个方盒子when who what where小盒子之间还能通过红外发射通讯 日本ATR实验室 筷子 数据手套跟踪手部运动精确操作 中科院软件所人机交互技术和智能信息处理实验室 实物笔 纸习惯 自然 中科院软件所人机交互技术和智能信息处理实验室 Anote专利技术瑞典AnoteAB公司在 年代末开发出了使用数码笔的电脑输入专利技术 Anote数码纸 和 Anote数码笔 中科院软件所人机交互技术和智能信息处理实验室 Anote数码笔 普通的圆珠笔 微型摄相头 读入笔尖高速书写的笔迹和Anote数码纸的微点坐标微处理器 分析处理后通过兰牙无线或USB等方法转送到电脑或携带手机之中 Anote数码纸 一般纸 纸上印刷了Anote专利的核心技术Anote微细点状形坐标 利用这种微细点状形坐标可以定位识别相当于地球表面大小面积的区域 Anote技术必将带来新世纪的 革命人们只需用 Anote数码笔 在 Anote数码纸 上与平常一样书写与记录 就可以将信息简便的输入电脑 这将给办公室自动化及 信息产业带来新一轮的革命 中科院软件所人机交互技术和智能信息处理实验室 VR指挥捧VR导游化身 中科院软件所人机交互技术和智能信息处理实验室 TUI的关键技术 心里学上注意机制环境反馈不应把用户的注意力从实物操作中吸引开来 反馈应该是隐式的注意的平滑转换协同设计和三维交互技术多用户协同工作时 每个用户在自己的小环境中分别操纵自己的实物 但是共享信息空间如果实物在三维空间种运动需要三维交互技术 TUI的关键技术 实物和虚拟对象的链接链接的建立与取消实物和虚拟对象间的映射机制通讯和环境反馈实物和系统无线通讯和定位环境实时 隐式信息反馈 TUI的关键技术 传感和无线通讯目前跟踪实物的两种实现方案 自带传感器和三维位置跟踪实物之间 实物与系统之间的通讯大多数时候无线的 不干扰用户的空间动作多通道交互技术TUI中的输入虽然比较单一 输出却是多样化的允许同时操作多个实物多种感觉通道的输出 关键技术 双手交互方式 双手同时操纵两个Puck典型应用 虚拟装配肌肉运动知觉和本体感受解决复杂任务的有效途径符合认知特点 无需视觉注意 开展TUI研究的关键设备 并没有一种固定的硬件配置从构造原型系统的角度出发 大致需要以下几种设备 位置跟踪器和无线通讯设备投影仪或者背投显示器各种经过定制的实物 是用户直接抓取的各种物体 如metsDesk中的phicon Lens iStuff中的滑动杆 电子狗等 实物的两种类型 GUI扩展型meaDesk中的各种物理菜单 图标 滑动杆都是这种类型 IStuff中的物理界面中的物理界面工具箱也是这种类型自己定制型华盛顿大学的方盒子 瑞典Goteborg大学的点播怀旧歌曲的织物 一般都会安装有传感器甚至还有通讯设备 总结 1 人机交互技术和用户界面是竞争性技术无处不在计算是未来主要的计算模式TUI是无处不在计算的主要的界面范式 实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的 三个关键的概念 交互式表面信息和物体的链接环境反馈 总结 2 总结 3 直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程充分利用人们在现实生活中的获得的生活体验 易学习 自然直观自然直观的用户界面 总结 4 欢迎讨论 总结 2 直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程充分利用人们在现实生活中的获得的生活体验 易学习 自然直观自然直观的用户界面将TUI和VR结合反映了从 模拟现实 向 利用现实 的转变 TUI和VR的结合 现在的VR技术设备特殊 价格昂贵隔离现实世界缺少环境反馈 如气流等 VR TUI实物操作 易学习 自然性从 模拟现实 向 利用现实 转变 TUI和VR的结合 交互设备 认知转换 交互原语 虚拟环境 实物 交互原语 虚拟环境 VR TUI Anote技术在全世界的应用推广进程 2000年11月由全球 多家跨国大企业发起成立了 Anote技术应用推进委员会 2002年01月微软公司与AnoteAB公司达成战略合作协议 微软公司将在第二代WindowsXP电脑操作系统中建立AnotePen的标准接口 2002年03月AnoteAB公司与欧美亚各一家公司达成生产AnotePen的协议 被指定的企业是 爱立信 欧州 三菱 亚州 Logitech 美国 2002年06月爱立信公司研制出第一批5000套AnotePen及专用Anote纸 供世界的各企业研究开发Anote商业及实业模型 2002年09月三菱公司将在亚州的AnotePen生产权利转让给日立集团 2002年11月美国Logitech公司生产出第一批5000套AnotePen及专用Anote纸供系统开发商用于商业模型的开发 并将于2003年初开始批量生产 2002年12月中国联通公司在香港投资2 400万美元成立 爱你多 中国 有限公司 专业开发AnotePen在移动通信系统中的应用 2003年03月日立公司向中国联想 神州数码 中科集团等企业介绍了AnotePen的开发及生产预定情况 2003年06月日立公司研制出第二代AnotePen 并将于2003年09月批量投入市场