综述-普适计算的过去现在和将来

1简介Weiser 提出了普适计算的概念，并提出了人与改进的环境的关系的观点，这样的环境包含了随时随地向人 提供信息和服务的计算资源。在过去的十年里，普适计算的研究者们尝试着以辅助人的生活而不是控制人 的生活为目标对环境的改进作尝试。Weiser的观点说明了各种规模的设备的迅速增长，从手持的英寸级的 个人设备到大型的共享设备。这种设备的增长确实已经发生了，像普遍使用的如PDA、数字平板、膝上型 电脑、电子白板等等。对连续的移动计算提供支持的必要的基础设施的发展和部署已经开始了。Weiser的观点的另外一个方面是新的应用应当出现从而来支持这些设备和基础设施。普适计算的发展不仅 使得基础设施的发展成为可能，而且提供了新的交互方式即分布广泛的对信息和计算能力的访问。在本文 中，我们探究从普适计算项目 Xerox PARC 开始以来的十年这种普适计算应用前景的发展。特别地，我们 在三个主要领域回顾取得的成绩并且概述仍然存在的问题。我们定义了自然接口，自然接口使得人与计算之间的各种交流变得简单。自然接口的目标在于支持 人类表达的共有方式和人在生活中的暗示的动作。以前的工作主要集中在语音输入和手写输入，但 这些接口在处理这些系统中自然发生的错误是仍显得鲁棒性不足，而且这些接口很难被建立。普适计算要求是上下文感知的，普适计算的行为要能够适应物理环境和计算环境的信息。很多应用 已经引进了简单的上下文，如位置、标识，但是要建立可复用的上下文表示、复杂上下文的传感器 融合以及行为识别仍然存在很多问题。最后，很多系统在自动捕获生活经验和对这些经验提供灵活的全局的访问仍然存在问题。如何对普适计算进行评估在普适计算的定义中是含蓄的。Weiser把计算设备的空间作为评估的标准。类似 地，设备在物理空间的分布可以作为评估系统的一个标准，这样使得人脱离桌面计算机束缚的交互方式。 考虑到对临界的确认和相互的合作，把人也作为评估系统的一个方面。最后，时间是评估系统的一个新的 挑战。不间断交互（每周七天、每天二十四小时）的可用性揭露了大量把普适计算推向二十一世纪的尚未 被探究的交互问题。为了用时间来评估系统，我们在第五段介绍一个新的领域日常计算，它解决日常 生活中非格式化、结构不明显的活动。这些活动在时间上是连续的，一种没有明显的起点和终点的活动。 熟悉的例子有组织任务、和家人朋友通信、信息管理。本文的结构是按照过去普适计算演化的路径组织的。演化的第一步是由PARCTab和Liveboard阐述的，计 算机可以封装在新的形状。这种计算用具推动传统的计算机科学领域的发展，如网络和操作系统。当传统 的鼠标键盘等输入设备不能和这种新的计算机很好的工作的时候，发展新的、更自然的输入方式成为了演 化的下一步。例如为了 PARCTab设计的基于笔的速记语言Unistroke。这些基础设施已经为了应用而在部 署设备。例如许多导航系统，类似于Active Bedges，已经被用于实际应用。应用设计者在运用普适计算系统开发新的应用的时候发现，通常注意到用户的隐含输入可以减少技术对日 常生活的干预。这种以应用为中心的研究的目标是理解日常工作怎样才能更好地被支持，普适计算的引进 给他们带来什么改变。例如，在 PARC 公共会议任务中被支持的普适计算应用给会议中材料的记录和组织 提供了新的方法。可穿戴计算机最初强调对传统的个人任务的持续访问，如email。最近很多应用尝试提高 个人的存储量以及在小组之间提供信息共享。普适计算应用研究的方向，即Weiser认为的普适计算最终研 究的目标是普适计算系统可信赖地、广泛的应用。现在我们刚刚开始理解连续计算的含义。未来的普适计算不仅仅是帮助完成传统的基于计算机的任务的可 持续使用的工具。无论是我们身穿可穿戴计算机、还是在环境中嵌入计算设备，计算机将改变我们对现实 世界的理解、提供对远处的人和地点联系的支持、在我们的指尖向我们提供信息、在我们思想和行动上提供帮助。在本文中，我们在探究上述的交互中的三个领域（自然接口、上下文感知、自动捕获和访问经验）的同时 讲述了普适计算的主要历史。在回顾这些研究领域的研究成果的同时还概述了一些仍然存在的研究的难题， 以供人机交互的研究者们在新的千年继续这些工作。我们接下来解释普适计算研究中探究连续日常行为的 必要性。这样的研究使得普适计算的研究更加进入以连续表示的、综合的交互为特征的日常计算领域。与 这三个领域与生俱来的是普适计算的社会效应以及系统评估的难题。我们通过案例的研究和现行的评估策 略来对系统评估做总结。2. 自然接口的计算普适计算使得应用发展到走下桌面的地步。这种说法暗示着人与计算之间的交互不想现在的键盘/鼠标/显示 器，而是与现实世界的交互方式更为接近。人说话、打手势、使用手写器具来和其他的人交流。这些自然 的动作能够也应当作为普适计算系统的外在的或隐含的输入方式。支持更多自然的人交流方式（手写、语音、手势）的计算机接口开始成为传统的图形用户界面交互元素的 补充甚至替代。这些接口以它们的学习功能、易用性和对写作画画等工作的支持（不改变这些工作的方式） 而声名鹊起。此外，这种交互方式还有利于那些对传统的鼠标键盘使用不方便的人使用。语音相关的接口的研究工作已经开始了很多年。新兴的知觉接口的研究在计算机视觉和计算知觉的一个长 期的研究团体支持下迅速的发展。基于笔的或者自由格式的交互在经历了第一次的笔计算的失败后迎来了 第二春。最近，研究者提出运用现实世界的对象来操纵电子产品的技术，实现所谓的易懂的切实的接口。 Harrison st al 在计算设备上附加传感器使得这些设备提供由运行在设备上的应用准确解释的物理操纵。在这 里我们不对自然接口的工作做回顾，而是关注一下使得高效的自然用户接口快速发展成为可能的两个重要 方面。2.1 FirstClass Natural Data Type 为了使得开发更多的自然接口的应用更简单，我们必须能够像处理键盘鼠标输入那样方便地处理其它格式 的输入。作为自然接口（音频、视频、数字墨水、传感器输入）基础的原始数据/信号成为交互系统开发中 的第一类数据。 作为开发者，我们希望所有的用户接口能够提供对原始数据基本操作的底层的支持，并且 对原始的鼠标键盘交互提供支持。类似地，我们需要对操纵语音（提供演讲者停顿暗示、语音段的选择、 演讲者的辨认）提供支持。同样也要对视频、数字墨水以及其它信号提供支持，例如传感器探测的物理设 备的操作。拿自由格式/基于笔的交互为例子。许多基于笔的计算注重由“墨水”转化为文本的识别技术。但是有点应 用不需要把墨水转换为文本，例如个人的笔记。实际上，把手写转换为其它格式的数据可能对用户来说可 能是冒昧的。相关地，对自由格式、笔输入的标准化支持地研究投入是比较少的。有一些为了在平台之间 交换笔输入数据制定的标准，但是很少有为了在程序中操纵自由格式数字墨水而定义的有效的机制。对像数字墨水这样的自然格式的数据，什么样的操作是必须的？ Tivoli系统提供了生成墨水数据、辨认未 翻译的自由格式的墨水数据和特定暗示的结构化手势。自由格式数字墨水另一个特殊的有用的特征是能够 融合独立的笔划从而使它们形成字母、单词以及语言中的其它片段。例如在Class Room 2000中生成基于 网络的笔记，我们希望讲师用笔写的注解能够链接到在演讲中同时听到的音频或看到的视频。注释是带有 时间戳的，但是这并不是总是有用的。因为并不能将在课堂上写的某一个单独的笔划与精确的时间相联系。 我们使用时间和空间的启发来静态地将笔划融合在一起，并赋予它们更有意义的单词级别的时间戳。Chiu 和 Wilcomx 发明了基于分等级的凝聚的更通用的、动态的算法来把音频和墨水相链接。这些正在组织的技 术需要形成标准，对所有希望生成自由格式基于笔的接口的应用开发者都是可利用的。如 Chiu 和 Wilcox 工作中阐述的，有些技术可以应用到不止一种自然数据类型。我们必须还要考虑联合不同自然数据类型的 基本操作。2.2 ErrorProne Interaction for RecognitionBased Interaction 当应用到基于识别的任务时，自然接口遇到一类新的问题：识别产生新的多样的错误。当识别的错误发生 的时候，系统的设计者最初反应都是消除错误，例如提高识别成功率。然而 Van Buskirk 和 LaLomia 发现 要人们发现语音识别系统的差异必须降低至少 510的错误率。更糟糕的是，消除错误几乎是不可能的。即使是人在处理相同类型的交流的时候也会犯错误。以手写输入 识别作例子，即使是最专家的手写识别系统（人）可能达到54之低的识别率。人类的识别成功率在连体 是上升到 88,在打印体上升到 96.8，但是这依然不是完美的。这些证据表明电脑手写识别是不可能完 美的。的确，基于电脑的识别是比人更容易发生错误。它们通常所使用的数据是比人类所觉察到的要少， 它们的处理能力比较差。而且许多因素比如说疲劳会导致用户数据与训练数据有较大差异，一段时间以后 会导致识别的成功率有所下降。另一方面，识别的成功率并不是用户满意的唯一决定因素。错误恢复的对话复杂程度和给定错误的附加价 值都会影响用户的满意程度。例如，Frankish et al发现用户在输入日志条目时出错比输入某个形式的命 令时出错更灰心。这表明在命令中输入一个单词的回报比在日志条目段落中输入一个单词的努力大的多。出错处理并不是一个新问题，实际是这是与要设计一个尝试模仿人的计算机系统同时存在的。识别技术错 误处理的研究必须假定错误肯定会发生，问题是寻找一个最好的处理错误的方法。和多对基于识别的接口 的错误处理领域的研究浮现出来：减少错误：这项研究包括改进识别技术以消除或减少错误。这是一个广泛研究的焦点，很容易成为论文 的主题。证据表明这是一个理想，消除错误时不可能实现的。发现错误：在系统和用户没有对相关的错误进行动作的时候之前，他们中间的一个已经知道错误发生了。 系统可能是通过用户输入被告知错误的发生，系统通过把识别了的输入不确定的解释有效地输出从而帮 助用户查找错误。三种技术被用于这种自动错误发现阈值、历史统计、外在的规则说明。错误纠正的可复用的基础：工具箱提供可复用的组件，这对于一类共同相似的错误发生时特别有用。错 误处理的接口极大的获益于提出基于识别输入错误处理技术库的工具包。这样的工具包当某些原始输入 产生不同的解释时，能够解决这种固有的不明确性。一个原型的工具包已经被Mankoff et al提出用来 支持可复用的错误恢复技术，但是仍然存在很多问题。3. 上下文感知的计算早期两个引人瞩目的普适计算的范例是Olivetti实验室的Active Badge和Xerox PARCTab，都是位置感 知的系统。这些设施提供了简单的上下文（用户的位置）以及有价值的服务（自动更新用户位置办公室地 图）。然而计算设备和物理世界之间的联系不是新的（控制系统和自动导航卫星以及导弹是例子）。这些简 单的位置感知应用可能是第一个将人类活动和计算设备相联系以服务于改进人类活动的范例。位置是应用开发中通用的上下文，最广泛应用的是基于GPS的汽车导航系统和手持导航系统，这些设备随 时变化内容并把用户的物理位置展现出来。另一个重要的上下文是识别单独的对象。早期系统注重识别标 示标签和条形码，而最近的研究工作包含基于视觉的识别。Fitzmaurice示范了利用手持设备透视墙和机 器。 Rekimoto 和 NaviCam 在一个手持视频显示设备上识别包含了对象附加信息颜色条形码。最近的工作 是尝试视觉对象识别策略从而对象不需要各自标识。虽然已经有大量的系统采用人物标识、位置感知，但是这些系统依然是难以实现的。 Salber et al 创作 了上下文工具包使得上下文感知系统的设计、实现和发展简单化。这项工作强调上下文的获取、存储与上 下文信息的不同的应用严格分离。这样的分离使得上下文感知的应用的创建变得简单。很多情况下，我们只是用尚在实验的例子来简单地描述上下文感知的计算。这里我们要讨论上下文信息的 结合、上下文的表示、上下文的获取、上下文的融合，并把上下文与自然交互的融合来实现改进的事实表 示。3.1 什么是上下文？ 上下文并不只是前面所提到的位置、标识。大多数上下文感知的系统都没有涉及到时间、历史信息、除了 用户以外的其他人等环境中其它可用的信息。虽然目前仍然没有明确的上下文的定义了，但是五个“ W” 是上下文中不可缺少的部分：人物(Who)：当前的系统是针对某一个特定的用户标识，很少把环境中其他人的标识混在一起。我们 通常根据在场的其他人来决定我们的行为、回忆往事。事情(What)：当前系统中的交互都要假定用户在干什么。觉察和理解用户在作什么是一件困难的事 情。然而，与上下文驱动的设备交互就必须能解释用户的行为从而提供有意义的信息。位置(Where)：很多情况下，上下文中的位置比其它方面被探究得更多。位置总是和上下文中的其它 信息联系在一起，比如时间。有的导航系统能够通过学习历史中的位置的移动，根据用户的习惯来把 用户所需的信息显示出来。针对这个理论仍然需要更多的研究。时间(When)：除了使用时间作为记录索引或计算用户在特定地点所待的时间，大多数上下文驱动的 应用中对时间是不察觉的。但是引人注意的是时间相关的变化可以作为解释人的一种辅助。例如，对 展览的短暂参观暗示了缺乏相关兴趣。此外，当行为的准线建立起来以后，违背准线的行为也受到注 意。例如，当老人违背每天早晨的习惯时上下文感知的房屋能够觉察到。原因(Why):比一个人在作什么更难以理解的是他为什么在做这件事。通过觉察其它的上下文信息可 以暗示出人的情感状态，如体温、心率和皮肤电反应等。3.2 上下文的表示 与上下文的定义相关的是上下文的表示。如果上下文不能很好的表示，应用开发者只能去转而开发对上下 文信息的存储和操纵。复杂的上下文表示的不断进化使得更多的功能成为可能，并且做到了上下文的获取 与对可编程的上下文应用相隔离。3.3无处不在的上下文上下文融合(Context Fusion)上下文感知的计算的一个明显的难题是使得真正做到计算的普遍存在。在特定的位置，上下文信息是可用 的。但是，很少有真正做到普遍存在的单源的上下文服务。位置是一个很好的例子， GPS 在屋内不能工作， 在城市的某些区域也是不可信的。还有很多和户内限制类似的限制，如成本、范围、间隔和标签等限制， 所以很少有一个解决方法可以解决所有的问题。获得连续的上下文的解决方法是联合相关的上下文服务从而聚集上下文信息。这种上下文的融合类似于已 经被很好的研究的相关传感器的融合。上下文的融合要处理不同上下文服务边界之间的无缝的融合。当同 样的上下文被多个服务并发地提供时要能够从竞争的服务中决定出有用的信息。虽然有了传感器的融合， 上下文的融合仍然是必要的，因为传感器的融合技术不是100可靠的。从多个源的信息相结合能够提高 解释的可信度。并行的服务相结合能够使得上下文融合帮助提供可信赖的普适计算上下文，例如消除噪音、 提供更广的覆盖范围。3.4 Coupling ContextAware and Natural InteractionAugmented Reality 很多上下文感知的系统的目标是使得用户能够在现实动作基础上实时地获取信息。导航系统是一个很好的 例子，用户在展览中的行动触发了附加的上下文敏感的信息的显示。这些应用通常使用分散的可移动的设 备，这就要求它们把注意力从现实世界的不相关部分转移开来。这种交互的最好的比喻是用户用类似于电 子探测器和计量器的工具探测世界。和声音手势等自然输入方式一样，运用视觉和听觉我们可以把上下文感知的交互和现实世界更好的联系在 一起。在这些交互中，系统改进用户感知世界的方法，这种信息的获取应当在更自然、无缝的交互中获得。4. AUTOMATED CAPTURE AND ACCESS TO LIVE EXPERIENCE 我们生活中的很多时间都花在听和记录我们身边发生的事情，然后记住这些信息中重要的部分。利用计算 资源来提高人类记录的效率是有很明显的价值，同时也存在问题。特别是当由多重相关的信息同时发生但 是又无法一起捕获。能够帮助自动捕捉和访问生活经验的工具能够帮助人们去掉不擅长的包袱（如记录） 这样他们能够集中精力关注他们擅长的活动（如隐含的关系、总结、翻译）。关于这种捕获/访问理论已经有很多相关的研究，特别是在会议室/教室环境中和笔记记录。早期Schmandt、 Arons 和 Hindus 的工作已经能够在电话交谈中捕获声音信息并提供了对已经记录的声音信息提供访问。 PhoneSlave 系统和 Xcapture 系统把声音作为没有被翻译的数据并成功地提供了对这种对话信息的概括。 最近很多研究集中在其它类型的输入上，比如数字墨水。Tivoli系统用一套软件提供了会议记录的功能， 类似于某些电子白板技术（LiveBoard系统），从而来支持小组讨论。在会议中电子白板的记录是附有时 间戳的，这些时序信息在会议结束以后被用来作为音频和视频的索引，从而提供更为详尽的会议记录。为 大学讲课设计的 Classroom 2000 系统中提供了对数字墨水注释和音频视频记录相结合的功能。最大的亮 点在于把捕获的材料自动加工成为能够被广大学生访问的接口。其它的捕获系统（ Authoring on fly、 Cornell的Lecture Browser）关注了任意程序交互信息的捕获和多个源信息中符合产品之质量的视频捕 获。上述的这些系统关注的是捕获公共的、集体的经验，也有一些其它的捕获系统（Marquee、Audio Notebook 等）捕获单独的信息。Stupad是第一个提供公共信息与个人信息共同捕获的系统。上述的努力提供了回顾经验捕获的一些多媒体接口。在后期的制作阶段，一些体统提供了多镜头的剪辑、 多种信息表示的整合和基于内容的恢复机制来帮助在庞大的捕获的信息的知识库中的查询。后期制作的结 果可以通过多种接口被访问，典型的就是通过在网络的分布。Abowd提供了对这些研究系统和商业系统的 回顾。在这些例子中，单独的捕获与访问中的普适计算的重点是可以清楚地被看到。传统的捕获设备如键盘逐渐 转向更贴近用户的输入方式，如基于输入笔的接口或者现实的笔和纸。声音和手势形式的输入既可以被作 为原始数据被接受、也可以解释成为更容易被理解的经验被接受。4.1 捕获和访问中存在的挑战 虽然自动捕获系统取得很多有价值的研究和进步，但是依然存在很多问题，我们把它们在这里归纳在这里。 我们把与捕获相关的问题和与访问相关的问题相分开。4.1.1 捕获 我在前面已经提到过很好应用普适计算的技术的重要性。在捕获领域，引人注目的应用是在教育和培训。特别的来说，Classroom 2000从学生的观点中捕获信息。在探究捕获方面还有很多研究的 领域。很多人都能记录我们生活中的特殊的事情（假期、生日聚会、亲戚朋友的来访等）。多少年之后，我 们要花很多时间来通过日记和胶卷来回忆往事。我们希望多少次在生活中非常珍贵的时候我们只是去 摸索记录设备而错过珍贵的一刻？查找特定事件的照片是多么困难的事情？在很多合作设计的活动中关键的决定很多是在不正式的框架下做出的，并没有被很好地记录。技术的 改变通常实在一次机会中比较随意的生成的。即使是在正式的设计会议中，大量的信息交互和讨论并 没有被很好的捕获。我们开始尝试对非正式的集体讨论活动和正式的构思会议都提供支持的信息捕 获。如果我们记录的是建筑的过程，相对于建筑的图纸，更能够对建筑队维护提供帮助。当需要修建的时 候，建筑师可以重放这个记录和相关的维护历史记录来决定正确的维护。除了 Audio Notebook、Notepals、和Lecture Browser系统外，很少有对现实世界的信息捕获并且这些 信息被加工成易于访问的系统。随着低成本捕获硬件的出现，如CrossPad和mimio，这一领域的研究必 然将迅速发展。当前的捕获研究中大多是捕获的以直接回放为目的的原始数据流的捕获，而并没有对这些数据进行深入的 分析。但是，从简单的原始数据中获取额外的信息对理解生活中的事件更有意义。例如 Stifeman 通过对 捕获的演讲音频进行分段分析可以知道什么时候新的主题开始了。类似的，Chiu和Wilcox提出了利用分 段技术通过对停顿的检测来把数字墨水和音频联系起来。还有很多计算技术可以用来分析简单的音频、视 频、墨水信息。信息分析的另外一个应用是改善原始信息的记录。我们怎么才能够把多个镜头的数据整合成单一的、连贯 的、高品质的可供以后查看的视频？单个固定的镜头不足以捕获生活的关键画面。但是像部署Classroom 2000 这样的系统时我们不能在每个教室中布置技师。所以最大的挑战在于我们如何来决定一个组，乃至 所有人的意图。4.1.2 访问。 访问阶段，我们需要提供很多重放功能。最简单的重放就是实时的重放，有点时候这种重 放是不足以满足要求的甚至是不恰当的。比如为了考试温习功课，学生并不需要像上课一样重新看整个课 程重放。他只是想查看讨论中特定的主题并重放这一部分内容。也可能有时候突出重点的对整个捕获信息 的概括是恰当的。多个捕获的信息流在重放中的同步是重要的。商业的流操纵产品，如 RealNetworks 和 MediaPlayer 提出 了强大的利用程序控制媒体流同步的标准。但是这些产品没有提供对流信息预示，这种预示可以使得用户 在回顾时能看到即将发生什么。提供这种预示的系统可以使得用户舍去无关的内容而直接到感兴趣的地 方。很多系统中，捕获的材料直接用于访问使用。当然，有些情况下，修改过的数据可能是更为恰当的。虽然 翻译对计算机科学家来说并不是一个新问题，但是要对捕获的材料的不同含义的译文提供访问接口还是存 在很多问题，特别是像音频、视频这些已经基于时序的信息。时间线是操纵和浏览捕获信息的一个有效的 接口。但是当捕获的信息被分割成很大不连续的时间段的时候，时间线的作用至少是要被置疑的。新的基 于时间的接口技术，如 LifeStreams、Timewarp 和 Timemachine computing 是很好的开始。最后，也可能是最有挑战的，当这些系统由私人的系统变成在公众的场合捕获事件的时候，对信息的捕获 以及以后的访问中隐私的关注与日俱增。虽然这些问题应当在单个系统具体设计中加以考虑，但我们仍然 需要通用的技术对捕获的材料附加标签以及访问权限的鉴别。本文的后面还将继续讨论这个问题。+5. TOWARD EVERYDAY COMPUTING 前面，我们描述了一个交互研究的领域，日常计算，这是基于时间来评估普适计算的结果。把计算由传统 的桌面计算的基础脱离出来改变了人与电脑之间的关系，提供了持续的交互使得计算由局部变为连续的。 日常计算的动机来源于对日常生活中很多非正式的、非结构化的活动的支持。这些活动在时间上是连续的， 没有明显的起点和终点的。熟悉的例子由组织任务、和家人朋友的交流、信息的管理等。日常计算的设计需要这些非正式的日常行为的表示：它们通常没有显著的起点和终点：无论是一个基本的活动，如交流，或者是一个长期的工作，如人与 电脑交互的研究，这些活动都没有起点、终点。过去的信息经常会重复循环。虽然地址簿上可能有新 名字的增加或者要做的事件列表中有新的条目增加，但是交流活动或者信息管理活动中基本的活动没 有改变。人机交互中基本的原则是对中止的设计。给定一个目标，比如文档中的拼写检查，为达到目 标的每一个步骤应当被组织好了，同时还要考虑到合理限度的短期内的记忆。所有的对话应当是受限 的，这样用户在完成这个目标以后才能进行下一个动作。此外当设计这样的一种活动的时候，例如提 供当前状态的可见性，自由的对话以及特征的简单性扮演着重要的角色。中断是需要的：把这些活动看作是时间上连续的（可能它们是后台操作的）是非常有用的。一个副作 用是行为的恢复不是从一贯的点开始，而是取决于中断以前的状态。交互应当被模拟成一系列的步骤， 在某些点上，交互可以被恢复。接口除了表示过去的交互，还可以提醒用户尚未完成的行为。多种行为的并发操作：因为这些行为是连续的，多种行为之间的上下文切换是需要的。应用的接口允 许用户去监控后台的行为，这样帮助用户知道什么时候应当恢复这个行为。这种恢复不是固定的，取 决于其它人的有效性、最近到达的需要的信息。例如，用户想要恢复取决于最近发生相关事件数目的 行为，比如在一定数目的消息发出以后才能在消息组阅读消息。在设计后台敏感的时候，接口需要支 持在传递监控信息（把发生的事件与事件的重要性相联系的信息）时候的不同级别的干扰。当前的桌 面接口只提供了用多窗口表示这个问题的开始。随着最低限度的屏幕的出现，用户必须管理一类问题 的多个窗口的开、关、重叠等。简单的感知暗示在有点桌面图标中包括了，比如暗示收到了一封邮件， 但是很少有控制来建立满足不同感知需求的通知。Rooms的接口为空间组织的文档和多个不变地点分 布的应用提供接口。对它有用的扩展是提供“背景” room的感知以及当用户回到房间时帮助用户回忆 过去发生的事情。时间是重要的鉴别器：时间是基本的人类评估的工具，虽然在计算机接口中很少被表示出来。在解释 某个人的来电时，上次通话的时间是一个星期还是五分钟前，这样的因素是相关的。在桌子上找一张 纸的时候，昨天看到过还是上个月看到的也是可以帮助查找的。有很多办法来把时间和计算机接口联 系起来。如果我们想重新回到我们工作的进展中，接口可以表示出从上次交互以后发生的时间。作为 解释现实世界事件的应用，例如决定怎么处理来电、到达当地百货商店的反应，它们可以利用时间信 息来决定它们的反应。信息的联合模型是需要的：信息的层次模型很好地对应于定义良好的任务。但是，行为信息的模型重 要是联合的，因为信息经常在不同的场合从不同的角度重复使用。例如，你保存很长时间同事、朋友、 家人发到邮件。当处理现在的邮件的时候，你就想把它归类到不同主题的分级的文件夹中。一段时间 以后，这种组织方法就要改变，因为这样不能按照变动的要求查找邮件。类似的，要做的事件的列表 在把这些事件组织在一个定义好的列表中是也会失败。信息的联合的、多内容的模型允许用户从不同的角度、因为不同的原因重新获得信息。例如，用户想根据当前上下文，例如某人什么时候进入办公 室、什么时候某人到底百货商店，来重新获得信息。他们还可以回忆和当前信息相关的其它信息。例 如几个星期前修改的文档、类似主题在四周流传的文档。随着计算变得更加的普遍存在，提供的工具折射出它在长期活动中的角色。虽然普适计算的原理也可以应 用到桌面接口中来，但这些设计的挑战都是和不断改变的环境相关的。在移动的场景中，用户在可用计算 资源不断变化的活动中切换。即使在办公室框架中，不同的工具和对象在不同的活动中扮演多重角色。例 如，改进的电子白板的使用根据不断变化的上下文信息（如出席人数等）变换。不同的对象（如文件、外 界的显示）为活动提供切入点和背景信息。现实世界的交互的分布是日常计算的观点中固有的，这也是和 普适计算的研究高度相关的。5.1 Synergy Among Themes 日常计算的研究仍然在探究前面所提到的交互中的三个领域，但是研究的重点在于设计连续可用的环境。 Eshii 的研究工作利用自然的接口来支持通信和背景的感知。现在的 Roomware 项目的工作目标是创建一 个墙面大小的交互区域来支持更多范围的非正式的人的活动。考虑到上下文感知的交互，Audio Aura系统和前面提到的导航系统是相关的，改变了位置触发的信息在 便携设备之间的传输。Audio Aura的目的是提高用户的听觉范围。通过增加关于同事的行为和通信方式 （如电子邮件等）的动态信息，Audio Aura提高了用户进行日常活动时的可用信息的可觉察范围。类似的，自动捕获和访问应用也转向非结构化的环境。 Remembrance Agent 找寻包括视觉感知基于环境上 下文在内的信息。用户可以指示系统要记忆的内容，系统成为了持续可用的物理位置索引的日常信息的仓 库。作为未完成的目标， Bush 建议设计一个记录持续的日常信息并在以后作为总结和归纳用的个人记忆 容器。5.2 日常计算的研究方向日常计算给人机交互研究带来很多的挑战。在现在和未来的工作中，我们关注以下几点：设计连续的计算机接口表示：有很多描述普适的计算机的模型，但是没有一个模型是完全令人满意的。信息用具通常指的是不知道当前的行为的在后台工作的有特定目的的设备。这些接口通常借用传统的图形 用户界面的概念。在后台连续工作的计算系统从过去的行为和行为时机中学习，表现为赋予了人性的代理。 并不一定每个接口都是基于富于表情的或者面向人类特性的对话。在可穿戴的计算机的研究中，由于现在 的输入和输出设备的限制，通常采用的是基本的基于文本的接口。用户注意力的不同层次的外围信息的表示：尽管在有形媒体和外围的感知，特别是计算机支持的协作以 及可穿戴的计算领域的关注在增加，但是当前的接口通常表示一般的外围的背景而没有用户机制来把外围 的信息转化为不同的注意层次。我们当前的设计的目标是创建外围的信息接口在不同的层次上对用户的外 围信息进行操作。现实世界与虚拟世界的事件联系：用户在两个不相连接的空间操作：电子邮件、电子文档、网页等虚拟 世界和面对面的交流、书脊、文件等现实世界。用户的行为在这两个世界交互。尽管很早就有如数字桌面 之类的研究，但是还有很多工作要做来解决两个空间的信息整合从而达到更好的理解用户如何构思他们的 动作。修改传统的人机交互的方法来支持非正式的、外围的和随机的动作：没有一个用来理解计算机在人们日 常生活中的地位的方法。但是，从像实验和人种调查这样的复杂方法中得到混合信息是一件不容易的事。 在我们的研究和classroom项目中我们通过实践来学习，通过不同的策略评估我们得到的结果。我们有意 识地选择和我们提出的问题相匹配的解决方法。学习不同方法之间如何互相通知以及不同方法的结果如何 混合还是贯穿我们工作中的努力。在后面的章节中我们继续讨论如何评估普适计算系统。6.普适计算的附加挑战普适计算的两个重要的方面是系统的评估和社会效应，这两个方面贯穿普适计算研究的所有领域。6.1 普适计算的评估 为了了解普适计算在日常生活中的作用，我们必须在技术怎样用来服务于人的需求和技术可信的使用以及 人类活动和技术共同发展之间保持平衡。如何格式化的评估普适计算系统由于很多原因是一件很复杂的事 情。由于这样的困难使得我们很少看到对普适计算系统评估以及最终用户的需求分析。有一个例外是 XeroxPARC 的研究者发布的关于应用在会议上下文的 Tivoli 系统。普适计算的研究者力求在满足用户需 求的基础上尽可能减少对人机交互方式的冲击，在这里我们给出对这种挑战的建议：6.1.1找出用户的需求。评估一个普适计算系统的主要的困难是并没有一个可靠的系统用来被评估。用来 建立普适计算系统的技术一般都是边缘技术并没有被开发者很好的理解，所以很难建立一个可靠的鲁棒的 系统来支持连续的日常活动。已经发布的普适计算的工作主要还是停留在这种鲁棒性不高的示范原型系统 的基础上。这种工作通常是以技术为中心的，但是我们在下面要介绍，利用这些新型的技术也是可以进行 用户为中心的可行性研究。研究者从最终用户的角度创建一个引人瞩目的应用，说明建立的系统和基础设施如何投入到使用中。技术 必须要来满足一个现实的或潜在的需求，因为根据Weiser说的，普适计算的目的是为提供一个为用户服 务的应用。一个引人瞩目的应用并不是简单的提供一个研究结果的示例，它应当是为评估系统对未来用户 日常生活的影响提供基础。最好的情形是在连续的基础上建立一个围绕暴露给你的行为的应用。这样你可 以建立一个逼真的实验室，可以持续地激励你支持支持这样的应用并为了更好地理解应用提供反馈。系统的设计者并不是完人，所以错误总是会发生的。因为建立一个鲁棒性的普适计算的系统是一件困难的 事情，所以你不需要花费建立一个复杂系统的造价仅仅发现系统与设计应用时候的目标相差甚远。你应当 在为了更好地评估而花费精力建立一个鲁棒性的系统之前作一部分边缘应用的可行性研究。但是，这些可 行性的评估也应当是由非格式化地、用户为中心的观点驱动的，目标是确定系统是如何被使用、什么样的 行为是系统所包含的、整个系统的反应是积极的还是消极的。回答这些问题对未来的系统设计和系统评估 提供参考。在对系统地作用进行定量的评估前理解新的系统如何被它的潜在用户使用是很重要的。案例研究：Xerox PARC的Flatland系统。普适计算应用系统的设计要求设计者对未来用户如何使用这种 新的技术有足够的理解。设计一个通用的交互方式并不是人机交互研究中的新问题，但是这个问题在普适 计算系统部署到物理世界的时候显得尤其困难。在我们的 Flatland 系统的设计中，我们对办公室中的白板的使用进行了使用人类习惯观察，并做了问卷 调查和采访，通过各种方法了解用户在日常生活中如何使用白板。从观察中得到的大量的数据既是我们设 计中的灵感，也是有用的约束。例如，“焦点场所”，根据日常白板使用的观察得到的用户经常修改的白板 区域。观察的数据是问卷调查和采访等深层次的用户习惯研究的基础。没有这些数据在讨论中可能会简单 地忽略了用户对使用的想法。通过参考两个星期的观察数据，我们可以检查系统设计的细节实现。虽然我们的改进的电子白板还没有到应用的水平，甚至还不能被用于用户测试，但是通过观察和采访我们 收集了大量对我们设计有用的信息。案例研究：Audio Aura系统。当新颖的输入输出技术刚开始被介绍的时候，它们的功能和效用并没有被 很好的了解。通常这些技术并没有被真正被应用到实际的系统中去。然而以用户为中心地评估需要影响到 后继的设计。在Audio Aura系统的设计中，我们探究了如何通过应用外部的声音来提高对办公室行为的 感知能力。我们使用的无线耳机、声音设备对长期使用的用户显得很笨重。因为较大的、黑色的耳机遮住 了耳朵，所以在公众场合是被禁止的。用来控制声音表示的Java语言对创建丰富的语音空间是不足的。 然而，我相信在将来这些技术上的不足在将来都是会被解决的。基于对 Xerox PARC 工作环境的调查，我们研究了交互的方式来指导我们的系统设计和评估。我们汇集了 在 PARC 人们是怎样集体工作的的信息，例如在咖啡馆聚集、即兴到同事办公室谈话、甚至在走廊里和同 事切磋。当我们的系统真正部署使用的时候，用户会思考他们的日常行为。调查还帮助我们理解了另外一 个交互的要素：时间。在一个我们的案例中，在两个技术组件之间的交流方式不能满足交互的速度要求。 虽然速度可以加快，但是这种修改要求平衡速度和系统的规模，两者对于系统的目标都是很重要的。简短 的说，调查帮助我们理解未来开发的设计空间。6.1.2 Evalua ting in the Ccn text f Aut hen tic Use。深层次的评估要求系统的现实的使用以及系统 可靠的设置。评估系统的各个因素（设备、地点、人、时间）作为系统的特征可以用来传统的约束的效用 实验。在高效的评估中，我们要观察用户和系统的日常的交互，这要求系统在环境中现实的部署。案例研究： Classroom 2000 系统。在这个案例研究中，我们示例了从前面的原型和可行性研究中演变来 的更成熟的系统，这个系统现在正在被现实的教学中使用。这个系统是在1995年7月开始的，它的目的 在捕获尽可能多的课堂信息，以便于课后老师和学习的复习。在很多课堂中，学生都是低着头把听到的和 看到的记录下来以便日后的复习。虽然记笔记的过程对学生的学习过程有帮助，但是根据老师和学生的观 点我们给学生机会能够在课堂上抬起头来融入到课堂中去。这样的捕获系统释放了同学记笔记的负担。我们需要建议这个假设的可行性，所以在系统六个月的使用中，我们提供整个课堂的捕获环境，观察假设 是否能够被很好的测试。在这样一个实验中我们获得很多的有价值的信息。初始的实验中包括了笔记功能， 明显对学生分心，所以我们放弃实验的这部分功能。在最近几个月中，当技术成熟了以后这样的功能才重 新被启用。从这个实验中我们知道了要了解这个系统对课堂教学和学习的影响，我们必须从大量的课堂实 践中获取数据。这要求付出大量的努力来部署可靠的鲁棒的支持多课堂模拟的系统。如今，经过30位不 同的老师超过100门课的使用后，我们获取了系统如何被使用、未来如何改进等信息。作为评估系统的直 接的结果，系统使得 60的使用者改变了记笔记的习惯。我们同样了解到并不是所有的这样的改变都是 变的更好的。例如不记笔记并不是一个好的学习的实践。我们可以通过重新向用户介绍笔记功能单元，告 诉他们可以个性化笔记这样可以使得用户更好地使用笔记实践功能。我们同时还认识到还应当简化课程信 息的基于内容的回放功能。这些认识激励了以后的研究努力并可以建立一个长期的研究项目。6.1.3任务为中心地评估策略是不恰当的。假设系统已经被可信地部署,那么用户是否对系统提供的服务 满意？用户是否养成了使用系统的习惯？这就牵涉到如何定性或定量地评估系统的问题。多数的效用评估 是任务为中心的。如果用户的任务是明确的，那么可以通过决定系统的适合程度和完成任务的接口来评估 系统。然而在不规律日常计算的情况下很难用任务为中心的评估方法来评估。6.2普适计算的社会效应 我们努力尝试使得对现实世界的现象的感知、理解、反应更简单并记录这些现象。这些技术同时也带来很 多的危险，例如，过于容易的在没有控制的情形下跟踪一个人。如果普适计算的研究者不能理解这些缺点， 那么他们就是失职的。但是不能因为对可能带来的错误的恐惧停止所有的工作，只不过继续改进技术、设 计来解决这些社会负面效应。对所有储存在计算机中的信息来说最基本的关注是谁有权利来访问及修改这些数据。数据存放在哪里？他 们是否安全?安全和加密机制也是可行的解决方案之一，特别是数据从环境中采集并在网络中传输的过程。 类似的，可穿戴计算也强调设计的策略把数据保留在身边而不是把它通过网络传输。用户恐惧的是缺乏对系统能作什么的了解以及背后系统还做了什么。虽然普适计算的原始观点是把普适计 算无形地融入到现实环境中去，但是这种无形与用户要知道如何被感知相矛盾。要缓和这种矛盾就要求系 统在部署的时候让用户知道信息是如何被感知的。例如感知现实现象和记录现实情景的系统应当明显地提 醒用户这些行为正在发生。当这些感知和记录功能越来越普遍的使用，普适计算的挑战之一就是如何让用 户知道他们是如何被感知的。我们需要把从现实空间的视觉转变到对虚拟空间的视觉。接下来的步骤是让这些感知和记录变成受控的，可以停止这种活动至少可以控制信息的分布和使用。这种 挑战涉及到协作环境的设计，在这种环境中行为和角色都是不断变化的所以很难清晰的描述。信息的捕获、 分布、使用根据不同的设置而决定。关于什么时候捕获什么样的信息不同的系统建立者有不同的反应。在Xerox PARC，关于捕获达成一个共 识就是捕获会议中总结性的部分。在 Classroom 2000 系统中，我们记录所有一节课的信息而不注重捕获 每个人的高品质的音频视频信息，除了讲台上老师的信息。在FX-PAL的Dynomite系统中，笔记控制哪 个部分的音频信息用于以后的参考。最后一种方法可以看作对于高品质的音频信息中减少存储量的方法， 从另外的角度看，完美的捕获系统应当能够合理地忘记一部分以前的信息。协作情景下一个重要的问题是 提供一个策略来擦除或忘记共享存储中的部分内容。关于这个观点的一个更积极的倾向是在忘记部分捕获 历史的情形下提高对捕获信息有价值部分的感知。虽然从人类的交流诞生开始关于信息的恰当使用和传播就被关注，由于普适计算使得信息的获取更为简单 使得这一点更受关注。电脑可以更为简单地跟踪人类的活动，而以前这样的跟踪需要人类付出大量的努力。 为了表示上述提到的安全性、可视性和信息控制，我们的策略是建立对信息恰当的、有使用权的应用示例。 非实时的多粒度的图像是在不违背个人隐私的前提下满足感知和连续的要求。在 Audio Aura 系统的设计 中，我们非常注重关于同事活动的定性信息的传播。此外还有很多与隐私并不直接相连的其他社会效应。例如对会议、课堂进行记录对那些参与者有积极和消 极双重影响。积极的方面，知识的记录减轻他们的笔记负担。消极的方面，参与者害怕说了什么以后遗憾 的话语而拒绝参与讨论。在我们的 Classroom2000 的实验中还注意到另外一个很微妙的问题。有的学生选 择不回答问题，因为等到结束的时候他们还可以回放课程的记录。总的来说，技术和设计的改进的同时伴随着社会和法律的变革。人们在享受普适计算带来好处的同时会比 较花费的代价。例如，滑雪者和徒步旅行的人会选择身穿无线传输的衣服方便救援人员的定位。救火队员 从相互了解对方在哪里做什么中获益。在人们研究出新的、无法预料的这些技术的应用的时候在前面讨论 的这些技术的社会关注还会继续。然而，对安全、可视性、控制性、隐私的关注能够帮助我们积极的使用 这些技术。7结束语本文尝试总结从普适计算开始研究的十年来的研究的历程。我们提出了普适计算研究的三个主要领域，提 供了关于这些领域研究的背景知识，指出了这些领域研究的已经达到的成就和还存在的挑战。我们的目的 是激励普适计算的研究者去解决这些重要的问题。我们肯定遗漏了一些重要的问题，我们期望其他同仁提 出并解决这些问题。Weiser 指出普适计算的关键是建立推动设备和基础设施发展的令人瞩目的应用。我们同意这种精神的同 时提出普适计算与计算资源交互的效用的更广的观点。在人机交互的研究中，任务为中心的研究是很重要 的。然而，我们回首那些成功的计算技术，并不是单个应用推动关键技术的接受和发展。个人电脑的关键 应用是哪个？那是针对于不同的人的很多不同的应用。普适计算的真实目标是联合很多应用从而达到人与 计算机之间连续的无缝的连接。我们完成某项任务并不是单个的交互接口，交互应当是自由而综合的，类 似于现实世界的与人和日常生活中的种种对象的交互。