Augmented Reality Through Wearable Computing

1 Introduction

With the growing acceptance of multimedia and the Internet, desktop computers are becoming all-purpose information appliances, incorporating everyday devices such as the telephone, fax, answering machine, and television.However, these computers are still confined to the desk and are not available to the user during most of the day. By designing a networked, multimedia computer that can be worn as clothing or is built into the userrsquo;s clothes, the power of computing can assist everyday tasks.Following the trend of desktop computing, the networked wearable computer can replace most portable consumer electronics including the wristwatch, cellular phone, fax machine, palmtop, compact disk player, camera, camcorder, and health monitor. Using “heads-up” displays and earphones, wearable computers can provide an improved interface for these features by overlaying graphics, text, and sound on the physical world .In addition, such augmented realities enable a new range of applications that are location and context specific. For example, hypertext interfaces can be extended to the physical world to aid in on-site repair, construction, museum tours, and interactive games.

Wearable computers allow a much closer association with the user. In replacing the consumer electronics listed above the sensors added allow the wearable to see what the user sees, hear what the user hears, sense the userrsquo;s physical state, and analyze what the user is typing. If this information is combined into a user model, an intelligent agent may be able to analyze what the user is doing and try to predict the resources he will need next or in the near future. Using this information, the agent may download files, reserve communications bandwidth, post reminders, or automatically send updates to colleagues to help “smooth” the userrsquo;s daily interactions. To use a metaphor, such an agent would act as a butler/confidant, who always stands behind the userrsquo;s shoulder, knows his employerrsquo;s personal preferences and tastes, and trys to streamline interactions with the rest of the world.

By maintaining a community of wearable computing users we hope to encourage a diversity of applications and styles. Often the physical interfaces are customized to address the variability in physiology between users. Software interfaces are also adapted to work habits and primary applications. In addition, the networked community of users itself offers research opportunities in computer supported cooperative work (CSCW).

2 Extending the Traditional Computer Interface with Wearable Augmented Reality

Augmented and virtual reality often focus on extending the human-computer interface through sophisticated 3D graphics. However, while graphics have had a significant impact on the computing world, the written word still dominates computer use. In general, 95% of human-computer time is spent word processing. Through the augmented environment made available by wearable computers, word processing can occur almost anywhere. With the heads-up display, the computer has the ability to display messages unobtrusively or urgently grab the userrsquo;s attention. In addition, the wearable computer can display text or graphics in physically meaningful locations in the visual field, provided that it is aware of where the user is looking. Using these concepts, word processing can be significantly enhanced with a sort of augmented memory. In the system described below, a one-handed chording keyboard is used for entering text, though the system can be adapted easily for those instances in which speech recognition is appropriate.

2.1Augmented Memory

Computers perform well at storing data and executing repetitive functions quickly. Humans, on the other hand, make intuitive leaps and recognize patterns and structure, even when passive. Thus, an interface in which the wearable computer helps the user remember and access information seems profitable. While word processing may comprise the majority of computer use, it requires only a small fraction of the computerrsquo;s processing power.Instead of wasting the remaining power, an information agent can use the time to search the userrsquo;s personal text database for information relevant to the current task. The names and short excerpts of the closest matching files can then be displayed. If the search engine is fast enough, a continuously changing list of matches can be maintained, increasing the probability that a useful piece of information will be recovered. Thus, the agent can act as a memory aid. Even if the user mostly ignores the agent, he will still tend to glance at it whenever there is a short break in his work. In order to explore such a work environment, the Remembrance Agent (Rhodes and Starner, 1996) was created.

2.2Finger-tracking as a Pointing Device

Many different user interfaces become possible when a video camera is added to the wearable computer. While appropriate wearable video digitizers are just now becoming available, a wireless remote processing system is currently being used to experiment with this modality (see Section 5). A camera system allows the user to have an intuitive and convenient replacement for the mouse. Figure 4 shows tracking of the userrsquo;s finger while he selects an item from a pull-down menu. Here, the computer tracks the color of the userrsquo;s hand, though template matching techniques are also possible at higher computational expense. Thus, the finger can replace the mouse whenever a pointing device is desired. Such a pointing device itself takes no extra room, can not be lost, and can be used almost anywhere there is light.

The systems described above augment the traditional computer interface. However, much more can be done when the context-sensing nature of the Remembrance Agent is extended to the physical world. Much of a userrsquo;s life is s

剩余内容已隐藏，支付完成后下载完整资料

基于可穿戴计算机技术的增强现实

1简介

随着多媒体和互联网的日益普及，台式电脑正在成为通用的信息设备，融合了电话，传真，应答机和电视等日常设备。但是，这些计算机仍然局限于桌面，一天中的大部分时间都不能提供给用户。通过设计一种可以作为衣服穿戴或内置于用户衣服中的网络化多媒体计算机，计算能力可以帮助日常工作。随着桌面计算的发展，联网的可穿戴计算机可以取代大多数便携式消费电子产品，包括手表，手机，传真机，掌上型计算机，光盘播放器，相机，摄像机和健康监视器。通过在物理世界上覆盖图形、文字和声音，为这些功能提供一个改进的界面。另外，这种增强的现实使得一系列新的应用程序具有特定的位置和环境。例如，超文本界面可以扩展到物理世界，以帮助进行现场维修，施工，博物馆参观和互动游戏。

可穿戴计算机允许与用户更密切的关联。在替换上面列出的消费电子产品时，添加的传感器允许穿戴者看到用户看到的内容，听到用户听到的内容，感知用户的身体状态并分析用户正在输入的内容。如果将这些信息组合到用户模型中，智能代理可能能够分析用户正在做什么，并尝试预测他将在下一个或将来需要的资源。使用这些信息，代理可以下载文件，保留通信带宽，发布提醒，或自动向同事发送更新，以帮助“平滑”用户的日常交互。为了使用比喻，这样的代理人将充当管家/知己，他们总是站在用户的肩膀后面，了解他的雇主的个人偏好和品味，并试图简化与世界其他地区的互动。

通过维护一个可穿戴计算用户社区，我们希望鼓励多样化的应用和风格。通常物理接口被定制以解决用户之间的生理变化。软件界面也适用于工作习惯和主要应用程序。 此外，网络社区用户本身也提供计算机支持的协作工作（CSCW）的研究机会。

2用可穿戴增强现实扩展传统计算机接口

增强和虚拟现实通常关注通过复杂的3D图形来扩展人机界面。然而，虽然图形对计算机世界有重大影响，但书面文字仍然主宰着计算机的使用。一般来说，95％的人机时间用于文字处理。通过可穿戴计算机提供的增强环境，文字处理几乎可以在任何地方进行。 使用平视显示器，电脑可以不显眼地显示信息或紧急抓住用户的注意力。 另外，可穿戴计算机可以在视野中具有物理意义的位置上显示文本或图形，只要它知道用户正在看什么。 使用这些概念，字处理可以通过增强内存显着增强。在下面描述的系统中，一个单手键盘和弦用于输入文本，尽管该系统可以很容易地对于其中语音识别是适当的那些情况下进行调整。

2.1增强的内存

计算机在存储数据和快速执行重复功能方面表现良好。 另一方面，人类即使在被动的情况下也可以进行直观的跳跃并识别模式和结构。 因此，可穿戴计算机帮助用户记住和访问信息的界面似乎有利可图。 尽管文字处理可能占用大部分计算机，但它只需要计算机处理能力的一小部分。信息代理可以利用时间来搜索用户的个人文本数据库，以获取与当前任务相关的信息，而不用浪费剩余的权力。 然后可以显示最接近的匹配文件的名称和摘要。 如果搜索引擎足够快，可以保持不断变化的匹配列表，增加了有用信息将被恢复的概率。 因此，代理人可以充当记忆援助。 即使用户大多忽略了代理人，每当他的工作短暂休息时，他仍然倾向于浏览它。 为了探索这样的工作环境，纪念代理人（Rhodes and Starner，1996）被创建。

2.2作为指点设备的指向追踪

将摄像机添加到可穿戴计算机时，可能会有许多不同的用户界面。 虽然适当的可穿戴视频数字化仪刚刚变得可用，但目前正在使用无线远程处理系统来试验这种模式。相机系统使用户能够直观，方便地替换鼠标。显示了当他从下拉菜单中选择一个项目时跟踪用户的手指。 这里，计算机跟踪用户的手，尽管模板匹配技术也可能以更高的计算成本进行。 因此，只要需要定点设备，手指就可以替换鼠标。这样的指示设备本身不占用额外的空间，不会丢失，并且几乎可以在任何有光的地方使用。

上述系统增强了传统的计算机界面。但是，更多可以当纪念代理人的情境感知性扩展到物理世界时完成。用户的大部分生活都是在办公桌前度过的。因此，计算机必须适应用户移动性的优势。

3基于相机的现实

可穿戴相机系统为远程用户提供了一个局部问题的第一手视图（Mann，1994; Kraut等，1996; Baum等，1996）。这种“在肩上”的远程呈现可用于维修和维护，医药，法庭诉讼，安全，会议等诸多领域。 相机系统也可以使用户视觉残疾。 当可穿戴系统可以访问数字化仪和处理图像的CPU电源时，摄像机就变成了可以集成到用户界面中的传感器。 此外，可穿戴计算机为计算机视觉研究人员提供了一个独特的第一人称视角，专注于理解人类的姿态和背景。

3.1基于物理的超文本

博物馆展览设计师经常会面对困难无聊的公众平衡太多文本和感兴趣的访客文本太少的两难困境。使用可穿戴计算机，可以适应利益的巨大变化。每个房间都可以安装一个廉价的电脑，比如在电灯开关或电源插座上。当访客进入房间时，墙上电脑可以无线下载博物馆信息到访客的电脑。然后，当访客探索房间时，图形和文字根据他的兴趣重叠展品。以这个例子为例，这个系统可以用来创建一个基于物理的“Web”扩展。通过增强现实，超文本链接可以与物理对象相关联，详细说明使用说明，修复信息，历史记录或剩下的信息以前的用户。这样的界面可以更有效地利用工作场所资源，引导游客通过历史地标，或者在物理世界上覆盖角色扮演游戏环境。

为了试验这种接口，使用了如图5所示的头戴式摄像机和显示系统。可视“标签”唯一标识每个活动对象。这些标签由两个红色组成正方形限定代表该房间唯一的二进制数的绿色方块图案。 （Nagao and Rekimoto，1995）已经证明了一种类似的识别系统，用于系绳手持系统。这些视觉图案在相似背景颜色的存在下是鲁棒的，并且可以在相同的视野中彼此区分。一旦识别了对象，文本，图形或纹理映射电影就可以呈现在用户的视野之上，、由于视觉标签具有已知的高度和宽度，视觉追踪代码可以恢复方向并距离，为图形处理提供2.5D信息。因此，图形对象可以旋转和缩放以匹配物理世界中的对应物。该系统用于实现实验室空间的小型巡视，主动式LED标签以该顺序显示，但被动式标签也起作用。只要相机检测到标签，它就会在该对象顶部呈现一个小红色箭头，指示超链接。如果用户对该链接感兴趣并转而看到该对象，则该对象将被标记为文本。最后，如果用户接近物体，则会在物体上渲染3D图形或纹理映射电影以演示其功能。使用这种策略，用户在走进房间时不会感到不知所措，但可以在闲暇时探索有趣的物体

4当前的努力：用户感知和建模

增强现实试图为物理世界提供信息性或娱乐性覆盖。然而，跨越有用信息和压倒性混乱之间的边界很容易。复印机修理工不需要图表来替换最常破的皮带。事实上，这种干扰会被认为是令人讨厌的。为了帮助用户不显眼，可穿戴计算机必须模拟用户的知识，行为，目标，甚至情绪。本文提出了一些系统来跟踪用户的位置，视野和目前的兴趣，这些都由正在输入的内容揭示。然而，如果用户的情绪影响能够被感知，则更加个人化和引人注目的界面也是可能的。

情感影响在日常生活中起着重要作用。事实上，有证据表明，即使是理性的智力也不会受到影响（Damasio，1994）。迄今为止，计算机界面大多忽略了人为影响。然而，在许多不同情况下与用户联系的可穿戴计算机为影响传感提供了前所未有的机会。 Picard讨论了计算机可以识别影响的方式（Picard，1995）以及情感可穿戴设备的一些潜在应用。为此，我们已开始将温度，血容量压力，皮肤电流反应，脚压和肌电图生物传感器与我们的可穿戴计算机连接起来。虽然简单地为用户的好处提供身体“状态线”覆盖是一个有趣的应用程序，但我们希望通过结合影响和环境感应以及类似于（Orwant，1993）的模式识别技术来创建用户的复杂模型。

剩余内容已隐藏，支付完成后下载完整资料

资料编号：[22315]，资料为PDF文档或Word文档，PDF文档可免费转换为Word