手持设备上基于增强现实的虚实交互技术的研究与应用-共享资料网
手持设备上基于增强现实的虚实交互技术的研究与应用
摘要增强现实技术（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，简称ＡＲ）是在虚拟现实技术（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ，简称ＶＲ）的基础上发展起来的一个新的研究领域，成为人机界面技术 发展的一个重要方向。增强现实技术将计算机生成的虚拟对象及其相关信息准 确实时的叠加到真实环境中，可以通过显示设备看到一个真实场景中无缝融入 虚拟对象的虚实结合空间，为人们带来一个视觉效果更真实、场景信息更丰富 的新环境。随着移动设备和技术的发展，在这类通用性高、普及率大、便携性 好、能耗低的手持设备设计开发增强现实系统对增强现实技术的推进和发展具 有重要的理论意义和现实意义。 人机交互技术的发展将技术核心由计算机转向用户，而人手动作和手势是人类 最自然、直观、易于掌握的人际交流方式，并含有丰富的交互信息，用户可以直接 将手作为计算机的输入设备，通过手势发布命令，不需要交互媒介实现人机通讯， 因此基于手势识别的交互技术己逐渐成为人机交互领域的研究热点。 因此，研究便携式手持设备上实现增强现实手势交互技术具有很大实用价 值，论文的主要内容有： １、研究了自适应三帧差分运动目标检测算法。运动目标检测是实现虚实交互的 前提条件。论文研究了目前主流的视频检测算法，分析了这些算法的优势和不足， 提出了一种通过运动目标速度自适应调整帧间隔的三帧差分检测方法，实验表明， 与目前主流的视频检测算法相比，本文方法在运动物体方向不改变的条件下，能够 快速准确的定位运动目标区域，有效降低手持设备处理延迟性，适用于计算性能较 低的手持设备。 ２、手持设备上增强现实的虚实交互系统需要利用手持设备内置摄像头实 时采集视频图像，由于使用者生理上无意识的手部抖动或移动手持设备，都可 能导致视频帧背景发生变化。本文研究了Ｓｕｒｅｎｄｒａ背景更新算法，实现能够自 适应更新背景，并与自适应三帧差分和背景差分法相结合，解决了因手持设备 抖动而引起的检测误差问题，提高检测精度和效果。 ３、提出了基于区域相割的指尖检测算法，将交互点的范围缩小到一个特 定的区域，能够确定人手指尖与虚拟物体交互的有效区域，使人手对虚拟物体的 动作更加精确和协调。关键词：增强现实；手持设备；手势识别；帧间差分法；背景差分法
一◆删Ｙ ｉ¨０●Ｉ 舢７ 舢３ 肌３ 舢８ 舢８ 啪４－?―ｏ．’ｌ －ｒ●『 ●Ａｂｓｔｒａｃｔ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，ｒｅｆｅｒｒｅｄ ｄｅｖｅｌｏｐｅｄ◆ｏｎｔｏ ａｓＡＲ）ｉｓ ａ ｎｅｗ ｆｉｅｌｄｏｆ ｒｅｓｅａｒｃｈａｓｔｏ ｔｈｅ ｂａｓｉｓ ｏｆ ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ ｔｅｃｈｎｏｌｏｇｙ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ，ｒｅｆｅｒｒｅｄＶＲ）．Ｉｔａｌｓｏ ｉｓａ１１ｏｆ ｈｕｍａｎ―ｍａｃｈｉｎｅ ｉｎｔｅｒｆａｃｅ ｔｅｃｈｎｏｌｏｇｙ． ｉｍｐｏｒｔａｎｔ ｄｅｖｅｌｏｐｍｅｎｔ ｄｉｒｅｃｔｉｏｎＡｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙｔｅｃｈｎｏｌｏｇｙ ａｃｃｕｒａｔｅｌｙｏｂｊｅｃｔｓａｄｄｓ ｔｈｅ ｃｏｍｐｕｔｅｒ。ｇｅｎｅｒａｔｅｄ ｖｉｒｔｕａｌ ｏｂｊｅｃｔｓ ａｎｄｔｈｅｉｒ ｒｅｌａｔｅｄ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｔｈｅ ｒｅａｌ ｅｎｖｉｒｏｎｍｅｎｔ，ｙｏｕ ｄｉｓｐｌａｙ ｄｅｖｉｃｅ ｗｈｉｃｈ ｖｉｒｔｕａｌＣａｎｓｅｅ ａｒｅａｌｉｔｙ－ｖｉｒｔｕａｌ ｓｐａｃｅ ｂｙＣａｌｌｓｅａｍｌｅｓｓｌｙ ｉｎｔｅｇｒａｔｅｄ ｉｎｔｏａｒｅａｌ ｓｃｅｎｅ?Ｉｔｂｒｉｎｇｓａｍｏｒｅ ｒｅａｌ ａｎｄ ｎｅｗ◆ｅｎｖｉｒｏｎｍｅｎｔ．Ａｓ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ａｎｄｒｅａｌｉｔｙ ｓｙｓｔｅｍｏｎｔｅｃｈｎｏｌｏｇｙ，ｄｅｓｉｇｎａｕｇｍｅｎｔｅｄｓｕｃｈ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅ ｏｆ ｈｉｇｈｗｉｌｌ ｐｒｏｍｏｔｅ ｔｈｅｕｎｉｖｅｒｓａｌｉｔｙ，ｈｉｇｈｄｅｖｅｌｏｐｍｅｎｔ ｏｆｄｉ伍ｌｓｉｏｎ ｒａｔｅ，ｐｏｒｔａｂｌｅ，ｌｏｗ ｅｎｅｒｇｙ ｃｏｎｓｕｍｐｔｉｏｎａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙｔｅｃｈｎｏｌｏｇｙａｎｄ ｂｒｉｎｇ ｉｍｐｏｒｔａｎｔ ｔｈｅｏｒｅｔｉｃａｌ ｓｉｇｎｉｆｉｃａｎｃｅ ａｎｄ ｐｒａｃｔｉｃａｌｓｉｇｎｉｆｉｃａｎｃｅ．Ｈｕｍａｎ．ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ’Ｓ ｔｅｃｈｎｉｃａｌｃｏｒｅｓｈｉｆｔｅｄ ｆｒｏｍ ｃｏｍｐｕｔｅｒｔｏｗｈｉｃｈ ｉｓ ｔｈｅ ｍｏｓｔ ｕｓｅｒｓ．Ｔｈｅ ｇｅｓｔｕｒｅｓ ｏｆ ｈｕｍａｎ ｉｓ ｉｎｔｅｒｐｅｒｓｏｎａｌ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｍｅｔｈｏｄｓ ｎａｔｕｒａｌ．ｉｎｔｕｉｔｉｖｅ ａｎｄ ｅａｓｙＵｓｅｒｓｃａＩｌｔｏｍａｓｔｅｒ ａｎｄ ｃｏｎｔａｉｎｓ ｍｕｃｈ ｍｏｒｅ ｉｎｔｅｒａｃｔｉｖｅａｉｎｆｏｒｍａｔｉｏｎ?ｔｈｒｏｕｇｈｔｈｅｄｉｒｅｃｔｌｙｕｓｅｈａｎｄ ａｓｃｏｍｐｕｔｅｒ ｉｎｐｕｔ ｄｅｖｉｃｅ，ｉｓｓｕｅｄｔｏ ａｃｈｉｅｖｅａｎｏｒｄｅｒｇｅｓｔｕｒｅｓ．ｄｏｅｓｎｏｔ ｒｅｑｕｉｒｅ ｔｈｅｏｎｍｅｄｉａｈｕｍａｎ。ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ?Ｓｏ，ｔｈｅａｉｎｔｅｒａｃｔｉｏｎ ｂａｓｅｄｇｅｓｔｕｒｅ ｒｅｃｏｇｎｉｔｉｏｎｔｅｃｈｎｏｌｏｇｙｈａｓ ｇｒａｄｕａｌｌｙ ｂｅｃｏｍｅｒｅｓｅａｒｃｈ●ｈｉｇｈｌｉｇｈｔ ｉｎｈｕｍａｎ?－ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ ｒｅｓｅａｒｃｈ ｆｉｅｌｄ?Ｔｈｅｒｅｆｏｒｅ．ｔｈｅ ｓｔｕｄｙ ｏｆ ｉｎｔｅｒａｃｔｉｖｅｔｅｃｈｎｏｌｏｇｙｏｆ ＡＲ ｂａｓｅｄａｓｏｎｈａｎｄｈｅｌｄ ｄｅｖｉｃｅｓ ｗｉｌｌｉｎ ｔｈｉｓ ｐａｐｅｒ ｉｓ ｂｒｉｎｇ ｇｒｅａｔ ｐｒａｃｔｉｃａｌ ｖａｌｕｅ．Ｔｈｅ ｍａｉｎ ｗｏｒｋｆｏｌｌｏｗｅｄ：ＩＳｔｈｒｅｅ ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ｍｏｖｉｎｇ ｔａｒｇｅｔ ｄｅｔｅｃｔｉｏｎ Ｆｉｒｓｔｌｙ，ａ ａｌｇｏｒｉｔｈｍ ｏｆ ａｄａｐｔｉｖｅｐｒｏｐｏｓｅｄ．Ｍｏｖｉｎｇ◆ｔａｒｇｅｔ ｄｅｔｅｃｔｉｏｎ ｉｓａｐｒｅｒｅｑｕｉｓｉｔｅｆｏｒ ｉｎｔｅｒａｃｔｉｏｎ．Ｂｙ ａｎａｌｙｚｉｎｇ ｄｅｔｅｃｔｉｏｎ ｍｅｔｈｏｄｓ，ａ ｎｅｗｌＳｔｈｅ ｓｔｒｅｎｇｔｈｓ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄａｎｄ ｗｅａｋｎｅｓｓｅｓ ｏｆ ｍａｉｎｓｔｒｅａｍｏｎｖｉｄｅｏｍｏｖｉｎｇ ｔａｒｇｅｔｒａｔｅｗｈｉｃｈ ｃｏｕｌｄ ａｄａｐｔｉｖｅ ａｄｊｕｓｔ ｆｒａｍｅ ｉｎｔｅｒｖａｌｐｒｏｐｏｓｅｄ．Ｔｈｅｉｓ ｆａｓｔｅｒ ｔｈａｎ ｏｔｈｅｒ ｅｘｉｓｔｅｄ ｍｅｔｈｏｄｓ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｉｓ ａｌｇｏｒｉｔｈｍｕｓｅｄ ａｉｍｅｄ ａｔ ｍｏｖｉｎｇ ｔａｒｇｅｔｄｅｔｅｃｔｉｏｎ．Ｔｈｅｒｅｆｏｒｅｉｔ ｉｓ ｆｅａｓｉｂｌｅ ｆｏｒ ｅｎｄ。ＵＳｅｒＳ’ｄｅｖｉｃｅｓ ｗｉｔｈｌｏｗ ｃｏｍｐｕｔａｔｉｏｎａｌｄｅｖｉｃｅｓ．ｐｅｒｆｏｒｍａｎｃｅ ｅｆｆｅｃｔｉｖｅｌｙ ａｎｄｒｅｄｕｃｅ ｔｈｅ ｐｒｏｃｅｓｓｉｎｇ ｄｅｌａｙｓ ｏｆ ｈａｎｄｈｅｌｄＴｈｅｒｅａｌｉｔｙ ｉｎｔｅｒａｃｔｉｖｅｓｙｓｔｅｍａｒｅｂａｓｅｄｏｎｈａｎｄｈｅｌｄ ｄｅｖｉｃｅｓ ｎｅｅｄｓ ｉｎｔｅｇｒａｔｅｄｃａｍｅｒａｓｏｒｈａｎｄ ｓｈａｋｅ ｃａｐｔｕｒｅ ｒｅａｌ．ｔｉｍｅ ｖｉｄｅｏ ｉｍａｇｅ．Ａｓ ｔｈｅ ｕｓｅｒ ｕｎｃｏｎｓｃｉｏｕｓ ｐｈｙｓｉｏｌｏｇｉｃａｌｍｏｖｅｍｏｂｉｌｅ ｈａｎｄｈｅｌｄ ｄｅｖｉｃｅｓｌｉｋｅｌｙｔｏｒｅｓｕｌｔｔｈｅｂａｃｋｇｒｏｕｎｄ ｃｈａｎｇｅｓ．Ｓｕｒｅｎｄｒａ’Ｓｔｈｅ ｂａｃｋｇｒｏｕｎｄ，ｃｏｍｂｉｎｅｄ ｗｉｔｈ ａｄａｐｔｉｖｅ ａｌｇｏｒｉｔｈｍ ｗｈｉｃｈ ｃｏｕｌｄ ａｃｈｉｅｖｅ ａｄａｐｔｉｖｅ ｕｐｄａｔｅ●◆ｔｈｒｅｅ ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ｄｉｆｆｅｒｅｎｃｅ ｓｏｌｖｅｄ ｄｅｔｅｃｔｉｏｎｅｒｒｏｒｐｒｏｂｌｅｍｓ ｂｅ■ｃａｕｓｅｄｂｙ ｊｉｔｔｅｒｏｎｈａｎｄ．ｈｅｌｄ ｄｅｖｉｃｅ．Ｉｔｃａｎｉｍｐｒｏｖｅ ｔｈｅ ｄｅｔｅｃｔｉｏｎ ａｃｃｕｒａｃｙ ａｎｄｅｆｆｅｃｔｉｖｅｎｅｓｓ．●●●●●Ｋｅｙｗｏｒｄｓ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ；Ｈａｎｄｈｅｉｄ Ｄｅｖｉｃｅ；Ｈａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ； Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ；Ｂａｃｋｇｒｏｕｎｄ Ｓｕｂｔｒａｃｔｉｏｎ◆■◆目录第一章绪论……………………………………………………………………………………１◆１．１课题研究背景与研究意义…………………………………………………………１ １．１．１增强现实技术…………………………………………………………………一ｌ １．１．２增强现实交互技术……………………………………………………………．３ １．２增强现实技术的应用价值…………………………………………………………．４ １．３增强现实技术的国内外研究进展…………………………………………………１ｌ １．３．１国外研究成果…………………………………………………………………１１ １．３．２国内研究成果…………………………………………………………………１４ １．４论文研究内容………………………………………………………………………ｌ ５ １．５论文组织结构……………………………………………………………………．．１６ 第二章增强现实关键技术…………………………………………………………………………．．１７２．１◆ＡＲ显示技术………………………………………………………………………１７２．１．１头盔显示器．：…………………………………………………………………．．１７ ２．１．２手持显示设备…………………………………………………………………１８ ２．１．３其他显示设备…………………………………………………………………１ ８２．２人机交互技术……………………………………………………………………．．１９ ２．３视频检测技术……………………………………………………………………．．２１ ２．３．１光流法（Ｏｐｔｉｃａｌ Ｆｌｏｗ）……………………………………………………。２２ ２．３．２背景差分法（Ｂａｃｋｇｒｏｕｄ Ｓｕｂｔｒａｃｔｉｏｎ）………………………………………２２ ２．３．３帧问差分法（Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ）………………………………………．．２２２．４ＡＲＴＯＯＬＫＩＴ丌发工具包…………………………………………………………．．２３２．５小结…………………………………………………………………………………………………………．．２３第三章常用的动态图像检测技术………………………………………………………………２４ ３．１常用的动态图像检测方法…………………………………………………………２４ ３．１．１背景差分法……………………………………………………………………。２４ ３．１．２帧间差分法……………………………………………………………………２５３．１．３自适应背景更新算法一Ｓｕｒｅｎｄｒａ算法……………………………………２７ ３．１．４三帧差分运动目标检测算法…………………………………………………．２８３．２小结…………………………………………………………………………………………………………．．３０第四章基于手持设备的人手分割与交互技术……………………………………………．３１ ４．１人手的检测与识别………………………………………………………………．．３ｌ ４．１．１改进的自适应三帧差分运动目标检测算法…………………………………３２４．１．２手持设备＋卜人手分割检测技术………………………………………………３３４．２人手与虚拟物体的交互…………………………………………………………．．３６ ４．２．１人手轮廓提取…………………………………………………………………３７４．２．２人手指尖特征区域的定位……………………………………………………３８●●４．２．３虚实交互的判定与反馈………………………………………………………４１４．３小结…………………………………………………………………………………………………………．．４１?第五章基于手持设备的增强现实虚实交互系统整体结构………………………………４２ ５．１系统设计目标……………………………………………………………………．．４２ ５．２系统开发软硬件环境……………………………………………………………．．４２ ５．３系统整体框架……………………………………………………………………一４３ ５．４虚拟物体跟踪注册技术…………………………………………………………．．４４ ５．４．１标记识别和摄像机姿态定位…………………………………………………４４ ５．４．２虚实注册………………………………………………………………………４５ ５．５手持设备上人手分割与交互实现………………………………………………．．４８ ５．６手持设备上基于ＡＲ技术的ＣＨＩＮＥＳＥ ＣＨＥＳＳ游戏………………………………５０５．７卅、结…………………………………………………………………………………………………………．．５ｌ●◆结论……………………．………………………………………………………………．…………………………５２ １、全文工作总结……………………………………………………………………．．５２ ２、存在问题及展望…………………………………………………………………．．５２ 参考文献……………………………………………………………………………………………．５３ 攻读学位期间的研究成果………………………………………………………………………５７ 致谢………………………………………………………………………………………………………………．．５８ 学位论文独创性声明…………………………………………………………………………。５９ 学位论文知识产权权属声明…………………………………………………………………。５９■●●●第一章绪论●第一章绪论 １．１课题研究背景与研究意义●１．１．１增强现实技术随着计算机的普及与应用，用户越来越重视系统的使用性，在系统功能、 使用和接受程度上有个更严格的要求，这就使系统人机交互部分的友好性越来 越重要，许多功能完善的系统因为存在人机交互复杂问题而得不到广泛的应◆用，因此对人机交互接口进行研究具有十分现实和深远的意义。 随着人类与计算机交流方式的发展，出现了更有突破性的媒介，沿着命令 行界面一多媒体界面一增强现实的过程发展。 增强现实技术…（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ，简称ＡＲ），作为在虚拟现实技术（ＶｉｒｔｕａｌＲｅａｌｉｔｙ，简称ＶＲ）的基础上发展起来的一个新的研究领域，是近年来●国内外众多知名大学和研究机构的研究热点之一，成为人机界面技术发展的一个重要方向。ＡＲ技术与传统的、以完全沉浸感、交互性和构想为基础特征的ＶＲ技术 达到的效果有所区别，传统的ＶＲ技术晗１综合运用了计算机仿真技术、计算机 图形学、多媒体技术、计算机网络技术等基础技术，是利用电脑模拟产生一个■三维空间的虚拟世界，借助计算机和立体眼镜、传感手套等第三方传感辅助设 备进行数据交换，提供使用者关于视觉、听觉、触觉甚至嗅觉等感官的模拟， 从而建立起一个三维信息的虚拟人工环境，产生逼真的三维现实感觉，让使用 者如同身历其境一般，享受完全意义的沉浸感，可以及时、没有限制地观察三 度空间内的事物。而ＡＲ技术借助于显示技术、交互技术、计算机图形学技术●及多媒体技术，以通过计算机系统提供的辅助信息来增强用户对现实世界感知 为目的，借助计算机图形技术、界面可视化技术、计算机辅助设计技术、图像 处理技术构造出现实环境中不存在的虚拟对象，并通过传感技术将计算机生成 的虚拟对象及其相关信息准确实时的叠加到真实环境中，在同一个时空中存 在，可以通过显示设备看到一个真实场景中无缝融入虚拟对象的虚实结合空 间，不是用完全虚拟的世界去完全替代现实世界，而是利用虚拟信息去补充和 增强现实世界的内涵，为人们带来一个视觉效果更真实、场景信息更丰富的新 环境，使体验者从感官和心理上确定虚拟对象是真实环境的组成部分，实现两 者的完美结合。同时，ＡＲ比ＶＲ对匹配精度要求更高，由于人眼天生的高分 辨率和完美的人类视觉系统对极小著异的敏感性，导致人眼对虚实融合的误差●●青岛人学硕．１：学位论义要求更高瞄１。六十年代中期，随着计算机图形学、计算机图像处理技术的飞速发展，美国哈佛大学Ｉｖａｎ Ｓｕｔｈｅｒｌａｎｄ教授ｎ１首次接触ＡＲ研究，经过深入的探讨，研制出世界上第一台可以实时显示３Ｄ图像的头盔显示器，这是国外进行有关ＡＲ 研究最早的记录，由于种种原因，直到二十世纪，ＡＲ技术才真『Ｆ成为国内外 科研机构互相追逐的热点技术，并取得了很大成就与进展。 现在，虽然ＡＲ技术已经成为科研领域非常普遍的研究技术之一，但对ＡＲ 的概念还没有一个完全官方的描述，曼洛维奇肺３曾对增强现实做出这样的定义： “将动态的、背景专门化的信息加在用户的视觉域之上”。费尔尼与理查兹则认 同增强现实是虚拟现实的另一种表现形式，通过将图像信息强加于现实世界之 上而形成虚拟与现实的合二为一。ＨＲＬ实验室ＡｚｕｍａＲｏｎａｌｄ Ｔ．曾经用三个词◆ ●对ＡＲ的特征进行了定义，虚实结合、交互技术、三维注册哺１，并得到了广泛的认可。（ １）虚实结合：可以实现计算机显示屏到真实环境的扩展，即将通过计算 机产生的虚拟对象与真实环境进行融合，实现感官上的统一体，用户 享有沉浸感，完全感觉不到真假融合的突兀。例如：通过叠加虚拟景‘◆象到现实目标而产生类似Ｘ光透视的现实应用；将３Ｄ导航地图信息 直接嵌入到现实景观中以引导旅游者的方位Ｈ１等。（ ２）交互技术：即允许人机实时交互，感受系统功能的强大性。它使交互 从方法单一的鼠标、键盘交互精确转向在整个外界环境中自由系数较 大的交互，从使用者只能坐在屏幕前进行局限性交流递进到实现真正 的融入整个环境进行扩张性交流。●（ ３）三维注册：即将通过计算机产生的虚拟对象与用户所处的真实环境进 行全方位的三维信息配准，实现根据使用者在三维空间中的运动轨迹 来调整虚拟对象的方位。●然而，一个完善的ＡＲ系统不仅应该能实现静态理论交互一一虚拟对象与 真实环境的无缝融合，还应该能够实现动态理论交互一一真实对象与虚拟对象的交互为目标，这样才能更深一层的实现真正意义上的虚实融合。因此， Ｍｉｌｇｒａｍ随后提出了混合现实区间表示法晴３，根据计算机生成的虚拟信息量与 真实环境信息量的大小来定义从真实环境到虚拟环境的连续变化区间。如图１．１所示。．－由图中左起，我们可以看到，从真实环境到真实环境中计算机产生信息的 增加，会进入ＡＲ范畴；随着真实环境中计算机产生信息比例的增加，图中向右发展，进入ＶＲ范畴。实际一Ｌ，ＡＲ与ＶＲ的交界没有非常严格的定义。● ２▲，◆●人工智能及机器学习等；从人的角度包括人类心理学、通信原理、语言学、社 会科学、认知学和人类因素评估等方向。科研人员在人机交互技术方面的研究 成果必将影响着计算机的发展。 所谓人机交互（Ｈｕｍａｎ．Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｏｎ）是指：一切有关人类使用的 可交互计算机系统的设计、实现、评估等准则及相关的外围现象研究旧１。主要●研究人与计算机之间相互发出指令并反馈的交互过程，是人与计算机之间传 递、交换信息的方式和接口，是计算机系统的重要组成部分。目前，处于统治 地位的人机交互方式是用户借助于鼠标、键盘等输入设备通过交互界面程序向 计算机发送指令并得到相应的动作反馈。由于这个领域的研究内容很丰富，出 现了多样化的交互技术。 传统．的以计算机为中心的人机交互技术发展到现在以人为中心的人机交互技术经历了五个阶段ｎ们：早期的手工作业阶段一一作业控制语言及交互命令 语言阶段一一图形用户界面阶段一一多通道、多媒体的智能人机交互阶段。目前多通道、多媒体的智能人机交互技术已经成为引领智能媒体的高端技术，与 智能系统结合的越来越紧密，最终实现一个整体的智能环境。●●青岛人学顺Ｉｊ学位论文１．１．２．２ＡＲ系统中的人机交互技术●随着ＡＲ技术的科研成果同趋成熟，从概念性走向实际性，以ＡＲ系统为主 体的计算机应用和以掌上电脑、个人数字助理（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ，简称●ＰＤＡ）、智能手机（Ｓｍａｒｔ Ｐｈｏｎｅ，简称ＳＰ）为代表的微型化、便携化、嵌入化的通 讯媒体成为新型计算机发展的方向。基于ＡＲ的人机交互技术才受到科研领域的 广泛关注，成为ＡＲ的基础技术，也是影ＤｌｆｉＪＡＲ系统实用性、效果的关键技术。 与人机交互技术结合的ＡＲ系统，摆脱了传统ＡＲ系统的冰冷时代，用户 可以通过语音、手写、肢体语言、表情等多样化动作通道与计算机生成的虚拟 信息进行交互式反应，使用户更自然的融入到场景中去，具有更新鲜的体验感。 但随着ＡＲ技术的同新月异的发展、显示设备的多样化和便携化、智能手持 设备的风起云涌，使ＡＲ系统对人机交互技术的需求越来越大，由没有任何人机 交互借口的应用转向充分利用交互技术（如手势识别技术）的应用。同时，移 动技术、手持设备功能越来越强大，便携式手持设备成为实现增强现实人机交 互接口的凭借，具有很大的发展潜力是市场。总之，人机交互技术已成为ＡＲ 系统中必不可少的主体技术，成为增强系统整体影响力的主要手段，也是国内 外科研机构研究的热点问题。●１．２增强现实技术的应用价值ＡＲ技术作为近年来发展迅猛的前沿技术，不仅能够广泛应用与所有ＶＲ 技术应用的领域，而且还以自身所特有的优势，占据了很大的应用市场。ＡＲ 技术以用户真实世界为主体，以计算机产生的虚拟对象为客体，将计算机的虚 拟信息引入到用户的“身边”，通过用户与虚拟对象的交互过程中，体验ＡＲ 系统带给人们的视觉冲击。正是由于ＡＲ技术具有的各种特点和巨大的应用潜 力，决定它能够广泛应用于医疗、军事、商业娱乐、机械制造、装配与维修、 多媒体应用、城市规划、人工智能等各个领域，具有广阔的市场前景。 （１）医学研究领域 在医疗方面，由于成像技术的普遍运用，使ＡＲ技术和ＶＲ技术有了很大 的应用空间，成为辅助诊疗的有效技术，并在医疗领域的各个方面发挥作用， 主要应用有以下几个方面： 基于图像的外科手术导航系统…１（ＩＧＳ：Ｉｍａｇｅｇｕｉｄｅｄ●●ｓｕｒｇｅｒｙ）：借助于ＡＲ技术与ＶＲ技术，充分利用各种医学可视化图像信息辅助实施手术，提高手术的 精确度和成功率。对于复杂性、ｊｘＬ险性较高的手术过程中，ＡＲ技术将病人超声 波、核磁共振成像（ＭＲＩ）或汁算机ｘ线断层摄影（ＣＴ）检查的图像信息叠加４●●到病人手术的相关部位，如图１．２所示，将病情诊断的结果与实际手术过程紧密 联系起来，使医生具有“透视眼”，更加明确病人体内病症情况准确定位手术 位置，协助外科医生精确完成手术，避开重要的组织、神经及血管等功能区， 实现手术过程的可视化功能，降低手术风险，减少手术创伤，提高手术质量。 目前，ＩＧＳ主要应用于神经外科，如颅内手术、脊椎手术中，在整形外科、耳 鼻咽喉科等也有应用。 美国北卡罗莱纳大学口羽（ＵＮＣ）图形及可视化科学技术中心（ＳＴＣ）一直 对ＡＲ系统在医学方面的应用做着大量的研究，主要成果有超声波和腹腔镜检查 可视化技术。如图１．２所示。 科罗拉多矿业大学研究小组将增强现实技术应用到妇产医学中，利用超声 波传感器扫描孕妇子宫内的胎儿图像，并通过佩戴在医生头上的头盔显示器显 示出动态的婴儿图像。●图１．２外科手术过程中显示的虚拟手术切口基于ＡＲ的心理疾病治疗系统：针对现在心理疾病没有很好的治疗方法的问 题，巴伦西亚大学的Ｊｕａｎ，Ｍ．Ｃ．等人设计丌发了一套基于ＡＲ技术的心理疾病治 疗系统，通过计算机系统在真实环境中生成虚拟的恐惧物，让病人尝试去接触、 感觉、适应，克服心理障碍。这就是所谓的情景治疗方法，让患者在一个现实 空间中，能够看到又计算机生成的虚拟恐惧体，并尝试身临其境的去克服狭隘 的心里障碍。图１．３所示的是用于治疗昆虫恐惧症的心理治疗系统。●●●青岛人学颂｝：学位论文图１．３昆虫恐惧症心理治疗系统（２）机械装配、制造与维修 ＡＲ技术同时被广泛应用于工业领域中并有很大的发展空间。目前，全球化 市场竞争的日趋加剧，科技日趋发达，工业制造、装配、维修的复杂性也随之 大幅度提高，工业企业一直在寻找可以减少产品加工时间和成本的方法，尤其 是工业产品在设计过程中的装配、拆卸与维护等复杂过程中。根据技术人员对 于新型技术设备的组装、维修需要长时间查看大量技术手册和指南，影响工作 效率和速度，而ＡＲ技术恰恰能够弥补这方面的缺陷，将大量详细的技术手册和 指南通过计算机用３Ｄ图像显示出来，在真实的机械上匹配的显示虚拟注释注解 信息，这些虚拟的３Ｄ图像和附加信息将细节的步骤显示到机械的具体位置，现 场指导技术人员进行操作。通过３Ｄ的增强现实体验，让技术人员都能随时随地 掌握产品结构与实际运用的落差、并可以将所有产品组件紧密无缝的集成在一 起，涵盖了组装和维护中所有可能的情况，让制造的专业知识逐步被汲取出来， 组装、维修和制造经验将得以重复利用。与安装技术手册和说明相比，具有更 直观、更简单、更高效的特点，大大提高技术人员的组装效率和完成质量。 ２００９年４月１６Ｒ．１７日，上海科技馆，爱迪斯通携完整的３Ｄ工业仿真解决方 案。参加由上海交通大学、德国帕得博恩大学等共同主办的第二届中德“虚拟 现实与增强现实技术及其工业应用，，研讨会。 目前，这一领域的许多应用都成功运用了ＡＲ技术。例如：美国波音公司计 算机服务研究和技术组将飞机制造中的电力线缆和接线器的装配与ＡＲ技术相 结合，取得了极大的成功。通过ＡＲ技术，将复杂的线路装配简单化，使任何没 有受过训练的普通工人都可以轻松、正确的完成装配过程，减少公司培训新员 工的时间和经费，节省大量用于存储布线板的空问和花费。哥伦比亚大学Ｓｔｅｖｅ Ｆｅｉｎｅｒ、ＭａｃＩｎｔｙｒｅ研究组研制的激光打印机维修跟踪系统也是成功运用ＡＲ技术的实例。如图１．４所示。ｎ本Ｃｈｕｏ大学工业和系统Ｔ程系研究的ＰＡＲＴＮＥＲ系统６ ● ■ ●第一章绪论●ｎ３１就是利用ＡＲ技术，通过在投影机上显示出拆卸步骤和器件，成功指导未经培训的员工完成任务。Ｐｅｉｎｅｒｒ的研究小组设计实现了应用于汽车门锁安装的ＡＲ辅助系统，系统利 用ＡＲ技术与语音识别系统帮助无经验用户成功完成汽车门锁安装任务。●图１．４激光打印机上显示的虚拟放纸托盘■（３）注释及注解的可视化 注释及注解的可视化应用是ＡＲ技术得以广泛推广的另一大领域。ＡＲ技术 可以对任何场景和事物进行实时注释说明，提供给用户直观的信息库。 例如：在国外的大型图书馆，读者可以借助于手持设备在馆内查阅图书资◆料的同时，方便的定位所需图书资料的位置、信息等，大大减轻了图书管理员 的工作量，方便图书馆管理员的管理工作，同时给读者留有更大、更自由的查 阅空间。欧洲计算机工业研究中心（ＥＣＲＣ）也做了大量关于ＡＲ注释技术的应用 实验，主要用于对复杂机械模型的注释讲解作用，当用户想要了解机械模型某一部 件的名称、功能、特征时，只需要用手指向这个部件，通过头盔显示器的屏幕将会 显示出用户想要了解的相关信息。 很多应用程序允许一个人“注释”生活世界的生活。 的数字和现实世界一致。 它实际上是模糊了这些数字说明可以看出当我们看通过取景器或在智 在内能手机液晶显示器，而着眼于任何户外（或室内）位置的设备摄像头。置数字罗盘，ＧＰＳ并Ｈ加速度计，帮助准确位置和方向提供的数据呈现在正确的●观点的ＣＧＩ，以便最终输出的ＣＧＩ是对现实世界的视觉无缝结合。 Ｊｕｎａｉｏ程序就是这类的应用。允许使用者用手机摄像头对准实际生活景点 时，将会显示出虚拟的３Ｄ图像，这些３Ｄ图像是关于曾在这罩发生过的古代战 争、事件及固家历史，带来了全新的感受，通过边走边看，实现不断学习和让 历史活着。在世界上任何地方都可以注明“地理标签”，这将推动景点旅游与历●青岛人学顺．１：学位论文史并行访问的双重影响。如图１．５所示。●图１．５ Ｊｕｎａｉｏ关于景点注释的应用程序法国一家应用软件开发工作室ＰｒｅｓｓｅＬｉｔｅ在ｉＴｕｎｅｓ商店中推出了首款支持 增强现实技术（ＡＲ）的ｉＰｈｏｎｅ应用程序，这款应用程序被称为ＭｅｔｒｏＰａｒｉｓ－Ｓｕｂｗａｙ，当你通过ｉＰｈｏｎｅ摄像头观看周围巴黎城市环境时，应用程序会显示附 近店铺的信息。如图１．６所示。一●图１．６ ｉＰｈｏｎｅ应用程序关于城市注释的应用８ ●●第一章绪论●（４）教育目前，最大问题和挑战，教师和教育工作者似乎今天所面临的一项，就是 小工具和技术正对在校学生和儿童很分心的效果。如果我们可以利用科技，教 育来激励青年一代重视和珍视教育成果，以一个非教科书的方式，实现传道授 业解惑，帮助教育他们。实际上，是借助一种有趣的方式在这些设备，以打破 学生进入“数字化个人空间”。 ＡＲ技术充分发挥了它在专业教育方面的优势，例如，历史课上，可以通 过ＡＲ技术，将古代皇帝的登基仪式、战乱时期各国的烽火战争以及圆明园曾 经的瑰丽模样再现在学生的眼前。如图１．７所示。不仅可以将课堂转向户外，●激发学生的兴趣，还能生动真实的还原历史原貌，加深学生对历史知识的印象， 保持历史活着。●◆图１．７手持设备上显示出实际场景中曾发生的历史事件■（５）军事领域 在军事领域，ＡＲ技术也有突出的应用价值。已经尝试应用于军事教育训练、作 战模拟、作战分析研究、作战任务保障与评估、武器装备研制等方面，成为军事高 科技发展的重要领域。目前，美国军方从事了大量关于ＡＲ技术的目标跟踪研究， 主要用于给军用飞机上装载的武器装备提供瞄准路径方面的增强信息以及瞄准射击 坏境的特征信息，给飞行员提供更完善的模拟训练和真实战争信息，达到开阔飞行●员视野和提供导航信息的目的，军用飞机飞行员使用平视显示器和头盔瞄准具，把 向量图形叠加在实际世界的飞行图上（即飞行员的视野中），提供基本的导航与飞行 信息…１。这些图形可以对环境中的目标进行定位，或者与武器系统接口来进行瞄准、攻击。如图１．８所示。９青岛人学硕ｌ：学位论文美国海军新一代的潜艇成像系统――“环视”系统就利用了ＡＲ技术，通过计算机把半透明的叠加信息图像加入到真实场景中去，信息图像中标识出技术人员和 视头的方位、艇的方向、标记目标的位置和当前的视频来源，并把增强的图像传送 到现实器。 目前，战场上的比斗也转向科技竞争，战场上，士兵佩戴头盔显示器进行战斗， 可以显示关于战场环境、地理位置等辅助信息，例如，近距离攻占一座碉堡，士兵 需要了解碉堡周围环境、碉堡名称及内部结构、自身方位等相关信息，ＡＲ技术可以 很容易的提供这些信息，并实时指导士兵进行作战。提供了导航、测距、目标搜索 等功能，提高作战成功率。◆一ｏ图１．８应用于军用飞机的瞄准定位系统●（６）商业应用 随着ＡＲ技术的日益强大，大多数公司也看到了ＡＲ系统的应用前景和用 户的强大需求，由于ＡＲ技术具有多样化的性能，能够应用于各个领域实现意 想不到的创意，因此受到了广泛的亲赖，很多公司都在挖掘ＡＲ系统巨大的市 场潜力。 通用电气（ＧＥ）公司推出三维奇境网络广告游戏诠释风能科技，这一中国 首个针对大众的增强现实游戏受到了极大关注。三维奇境风能游戏依靠创新的 增强现实（ＡＲ）技术，以逼真的三维影像提供非凡的游戏体验。同时ＧＥ三维 奇境的互动性让用户的细微操作通过电脑摄像头被感知，并反映在三维影像 中。在游戏中，普通用户利用双手操纵三维影像里的风车，捕捉源源不竭的风， 把风能传化为电能。 阿迪达斯使用增强现实技术创建了一个三维的虚拟世界，用户购买的阿迪 达斯鞋子中嵌入有集成电路板，只要用户登录阿迪达斯网站，通过验证后就能 看到这个建立在真实世界基础上的虚拟世界。用户可以使用鞋子控制角度或者●● ■１０●第一章绪论◆移动镜头进行浏览，并且能和朋友一块进行游戏。１．３增强现实技术的国内外研究进展●１．３．１国外研究成果国外对ＡＲ技术的研究比国内起步较早，成功的范例也带动了全世界ＡＲ技术的发展。１９６８年，美国ＡＲＰＡ信息处理技术办公室主任Ｉｖａｎ Ｓｕｔｈｅｒｌａｎｄ建立了“达 摩克里斯之剑”光学穿透式头盔显示器（Ｓｅｅ．ｔｈｒｏｕｇｈ●ＨｅａｄＭｏｕｎｔｅｄ Ｄｉｓｐｌａｙ），它被认为是世界上第一个头盔显示器。由于技术还不成熟，这个世界第一个头 盔显示器只能显示二维线框图像，简单的叠加效果，没有完全浸沉感，用户只 能看到线框图叠加在真实环境之上，头盔显示器根据传统的轴对称光学系统原 理，外观笨重，体积和重量都很大。１９７５年，Ｊ．Ｈ．Ｃｌａｒｋ利用ＩｖａｎＳｕｔｈｅｒｌａｎｄ设计的头盔显示设备和Ｕｔａｈ大学开发的机械Ｗａｎｄ建立了一个曲面设计的交互●环境ｎ ５１。之所以没有广泛引起重视，是由于当时的相关技术还不成熟，但这为 ３Ｄ交互技术的发展奠定了基础。九十年代以来，是ＡＲ技术迅猛发展的时代，出现了大量的科研机构致力于 ＡＲ技术的研究，例如：美国麻省理工学院的图像导航外科手术实验室、哥伦比 亚大学的图形和用户交互实验室、日本的混合现实实验室、德国的Ａｒｖｉｋａ组织、◆新加坡的混合现实实验室等，并取得了很大的成绩。 １９９２年，美国北卡大学（ＵＮＣａｔＣｈａｐｅｌＨｉｌｌ）研究用于医学领域的ＡＲ技术，成功将超声波数据与病人的腹部集合显示，实现医学手术可视化。１９９３年， 哥伦比亚大学管理学院（ＣｏｌｕｍｂｉａＧｒａｄｕａｔｅ ＳｃｈｏｏｌｏｆＭａｎａｇｅｍｅｎｔ）教授迈克尔?费纳（Ｍｉｃｈａｅｌ Ｆｅｉｎｅｒ）教授等人设计一个基于知识的ＡＲ系统ｎ翻（Ｋｎｏｗｌｅｄｇｅ―ｂａｓｅｄｔＡｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ ｆｏｒ ＭａｉｎｔｅｎａｎｃｅＡｓｓｉｓｔａｎｃｅ．ＫＡＥＭＡ），能够实现激光打印机上显示维修步骤，方便技术人员快速维修。１９９６年，美国科罗拉多矿业学院（Ｃｏｌｏｒａｄｏ ＳｃｈｏｏｌｏｆＭｉｎｅｓ）的Ｗｉｌｌｉａｍ Ａ．Ｈｏｆ．ｆ肿人，通过实验研制了一个具有基本功能的增强现实系统，用于计算机硬件结构的培训，培训学员通过显示的 注释说明，就可以轻松的掌握计算机硬件的各个组成部分及功能。美国卡内基●梅隆大学（Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ）的计算机研究所从１９９３年起，就开始了 虚拟现实方面的研究，建立了包括三维重建等实验室。通过长时间的研究和重 视，在三维重建、机器视觉、视频跟踪、注册等方面具有丰富的实验经验和成果。随着增强现实系统附属硬件配置的提高和改良，人们不再满足于局部增强●青岛人学硕Ｉｊ学位论文的效果体验，因此，可移动的ＡＲ．系统随之发展起来。以哥伦比亚大学研究团队所发展出来的佩带式ＡＲ系统一一Ｔｏｕｒｉｎｇ Ｍａｃｈｉｎｅｎ７１为代表，其配置了微型计算机、追踪器和头戴式显示器与互动装置的接口盒，重１ ０公斤左右，并配有一个辅助增强的手持式显示器。佩带Ｔｏｕｒｉｎｇ Ｍａｃｈｉｎｅ可以透过头戴显示器随时的观察校园，在显示器中出现虚拟旗帜的位置，表示有内附信息。当选中旗标，就 可以在原来的位置显示出早己拆除的古老建筑三维模型，重现校园历史遗迹。ＡＲＱｕａｋｅｎ踟是在视频游戏Ｑｕａｋｅ的基础上结合增强现实技术开发的场景游戏。这位澳大利亚的一位设计者将大学校园的特定标志融入到游戏中，当用户佩戴 者ＨＭＤ在校园走动时，可以看到生成的虚拟怪兽并支持射击动作。Ｈｕｍａｎ Ｐａｃｍａｎ（真人吃豆子）是新加波国立大学的研究人员设计开发的ＡＲ户外游戏， 将复杂的街道变成游戏中的迷宫，用户是游戏中角色人，允许多用户同时进行 游戏，最终以用户吃到的虚拟豆子数量决定胜负。最近，美国宾夕凡尼亚州匹 兹堡卡内基梅隆大学的研究人员推出了一款透视增强现实系统，系统使用两个 摄像机，～个摄像机直接采集真实场景，另一个摄像机扫描捕获障碍物后的物 体图像，再有系统输出显示在直观看到的图像上，实现透视功能。如图１．９（ｄ） 所示。尽管移动式ＡＲ技术促进了ＡＲ系统的发展，但由于硬件设备的复杂性，不便于携带，仍有一定的局限。●●为了打破这种局限，便携性成为增强现实系统发展的主要内容，在手持式设备 上结合增强现实技术有了进一步的推广。华盛顿大学人机交互实验室（ＨＩＴ Ｌａｂ）研 究设计的ＭａｇｉｃＢ００ｋｎ们通过手持设备浏览纸质图书，根据内容在图书平面上显示三 维虚拟图像及动画，在书本的特定单元显示，在增强图书内容的同时，扩增知识体 系。通过手持设备，用户可以根据喜好选择增强现实模式还是完全虚拟模式。除了 可以在真实环境中体验虚拟资讯外，还可以完全沉浸在虚拟世界取得不同的浏览体验。●随着ＰＤＡ和智能手机功能的完善和性能的提高，科研人员开始乐衷于以这类通 用性高、普及率大的手持设备作为ＡＲ系统平台。２００２年，Ｗａｎｇｅｒ将ＡＲＴｏｏｌＫｉｔ工具 包移植至ＩＪＰＤＡ上实现了独立完成所有ＡＲ处理任务的系统。在充分考虑ＰＤＡ不能解决 浮点运算的问题上，找到替代浮点运算的方法，将ＡＲＴｏｏｌＫｉｔ平台应用到ＰＤＡ中。随 后，Ｗａｎｇｅｒ与自己的大学奥地禾ｌＪＶｉｅｎｎａ Ｕｎｉｖｅｒｓｉｔｙ和ＧｒａｚＵｎｉｖｅｒｓｉｔｙ ｏｆＴｅｃｈｎｏｌｏｇｙ开■发了Ｓｔｕｄｉｅｒｓｔｕｂｅ ＥＳ软件框架，可以直接用于各种手持设备上。当应用于通用手持设备上技术逐渐成熟，多样化的系统应用也随之出现。 Ｖａｓｓｉｌｉｏｓ通过ＰＤＡ或掌上电脑将已损毁的古迹建筑在原址上重新建立起来，通过ＰＤＡ的显示屏显示，提供更为真实的临场感受。ＡＲ ｋａｎｊｉ㈨通过ＰＤＡ实现汉字卡片的 识别，在～张张汉字卡片一卜叠加用以解释汉字的虚拟三维图像，方便理解记忆，具１２■■●有很大的趣味性，可以用 ＰＤＡ显示器看到生成的虚拟火车，通过ＰＤＡ操作命令控制火车前进、倒退、转弯。如图１．９（ａ）。随着智能手机的普及，Ｈｅｎｒｙｓｓｏｎ将ＡＲＴ００ｌＫｉｔ工具包移植到Ｓｙｍｂｉａｎ手机上，具●有了能够实现增强现实技术的平台。为了适应智能手机处理能力的要求，Ｈｅｎｒｙｓｓｏｎ 将ＡＲＴｏｏｌＫｉｔＩ具包中占用大量计算时间的代码重新整理，用定点库代替浮点运算， 提高现实帧率，使显示画面清晰流畅。 目前，ＡＲ技术取得了前所未有的推进，其所具有的巨大功能性和市场前景也被 商家看好，纷纷增加对手持设备增强现实游戏的推广，主要原因有：①具有很大的’支持人群，容易宣传推广；②很多玩家都是骨灰级级别，对于游戏的优点与缺陷， 通过推广过程中的玩家测试，可以推进ＡＲ技术的改进。ＰｅｎａｌｔｙＫｉｃｋ游戏设计主题是足球中的罚点球，将虚拟的足球射入海报上的球门，即可得分。控制足球方向由移动、旋转手机实现。系统生成一个虚拟守门员进 行扑守。●Ｍｏｚｚｉｅｓ Ｇａｍｅ（Ｍｏｓｑｕｉｔｏ Ｈｕｎｔ）游戏是增强现实游戏中比较经典的一款，荣获最佳游戏奖。游戏采用像素流检测算法将采集的真实场景视频流作为游戏场景，当看 到虚拟的蚊子出现在场景中，通过移动手机来射击蚊子。如图１．９（ｂ）。Ｋｉｃｋ‘Ｒｅａｌ游戏是西门子公司德国世界杯丌幕之前设计的一款增强现实手机游戏，手机屏幕的上半部分显示虚拟的球门和守门员，下半部分显示通过手机摄像头●采集到的视频图像，使用者通过手机上的摄像头瞄准脚部位置，通过显示屏看到自 己的脚，就可以对虚拟的球进行投射，根据脚部的射门动作和方向，决定虚拟的球 的动作，最后，显示射门得分结果。这款游戏具有非常稳定的视频采集效果，风靡 一时。如图１．９（ｃ）。Ｓｏｎｙ公司的最新ＰＳ３游戏《审判之眼》（Ｅｙｅ ｏｆＪｕｄｇｅｍｅｎｔ）利用标记识别的增●强现实技术，在玩家所处的真实环境中逼真的渲染出３Ｄ怪兽等游戏角色，反响很大。●青岛人学硕Ｉ？学位论文（ｃ） 图１．９ＡＲ游戏：（ｄ）（ａ）ＭｏｚｚｉｅｓＧａｍｅ；（ｂ）Ｉｎｖｉｓｉｂｌｅ Ｔｒａｉｎ；（ｃ）ＫｉｃｋＲｅａｌ；（ｄ）ＰｅｒｓｐｅｃｔｉｖｅＡＲ●１．３．２国内研究成果 随着国外ＡＲ技术的研究热度持续上升，国内一些大学、科研单位、研究机构 也逐渐看到ＡＲ技术的发展潜力和应用市场，开始对增强现实技术引起重视，虽然 起步比国外晚，但在总体的发展水平上仍取得了极大的进步。 浙江大学ＣＡＤ国家重点实验室的虚拟现实和多媒体研究室现在也致力于 ＡＲ技术的算法研究，在三色立体基准注册技术和高精度视频目标跟踪算法等 方面取得了很大的进展。北京理工大学信息工程学院光电工程系在ＡＲ技术方 面已经发表了多篇三维跟踪注册技术的论文，主要是基于光流、投影方面的方 法。并自主研制了视频、光学穿透式两类头盔显示器，并在硬件的基础上，进 行了光照模型、深度检测方法等研究。还开发的增强现实海底漫游系统让用户 得以使用交互体验设备和虚拟场景中的海洋生物互动、嬉戏。由王涌天教授领 导的研究项目致力于通过增强现实技术完成对于圆明园的虚拟重建，让在园中 散步时戴上特殊三维眼镜的用户可以观览当年争家园林原貌【２ｌ】。在该校光电信● ■１４●第一章绪论息技术与颜色工程研究所等科研单位的协作下，中国军事博物馆利用增强现实 技术以红四方面军一个真实故事为原型再现《雪山忠魂》这一感人场面，让观 众感受长征的震撼。华中科技大学的明德烈等提出了全局放射变换的注册方 法，能够简单而高效的实现注册中的坐标转换。上海交通大学在研究ＰＤＡ上的◆彩色可视标志码的设计和跟踪注册算法上进行了大量的实验和测试，对算法进行了 很大的改进。清华大学正在国家自然科学基金的支持下进行“用于内窥镜手术模拟及 操作的增强现实系统”的研究。 在国内，ＡＲ技术仍有很多亟待解决和改进的算法方法，可发展空间很大， 仍需要国内的研究学者能够继续在ＡＲ技术方面进行坚持不懈的研究。■１．４论文研究内容随着移动设备和技术的发展，在这类通用性高、普及率大、便携性好、能 耗低的手持设备上设计开发增强现实系统对增强现实技术的推进和发展具有 重要的理论意义和现实意义。人机交互技术的发展将技术核心由计算机转向用户，■而人手动作和手势是人类最自然、直观、易于掌握的人际交流方式，并含有丰富的 交互信息，用户可以直接将手作为计算机的输入设备，通过手势发布命令，不需要 交互媒介实现人机通讯，因此基于手势识别的交互技术已逐渐成为人机交互领域的 研究热点。◆。本文的研究对象是手持设备上ＡＲ系统的虚实交互技术，目前占市场份额 比较大的手持设备主要是基于Ｓｙｍｂｉａｎ ＯＳ的智能手机，虽然智能手机的计算 处理能力已经有了极大的提高，但相对于通用型计算机仍有不足，因此，在研 究基于手持设备的ＡＲ虚实交互系统具有很大的挑战和意义。 论文的创新成果有： １、研究自适应三帧差分运动目标检测算法。运动目标检测是实现虚实交互的前■提条件。论文研究了目前主流的视频检测算法，分析了这些算法的优势和不足，提 出了一种通过运动目标速度自适应调整帧间隔的三帧差分检测方法，实验表明，与 目前主流的视频检测算法相比，本文方法能够快速准确的定位运动目标区域，有效降低手持设备处理延迟性，适合计算性能较低的手持设备。２、手持设备上增强现实的虚实交互系统需要利用手持设备内置摄像头实●时采集视频图像，由于使用者生理上无意识的手部抖动或移动手持设备，都可 能导致视频帧中背景发生变化。本文研究了Ｓｕｒｅｎｄｒａ背景更新算法，实现能够 自适应更新背景，并与自适应三帧差分和背景差分法相结合，解决了因手持设 备抖动而引起的检测误差问题，提高检测精度和效果。 ３、提出了基于区域相割的指尖检测算法，将交互点的范围缩小到一个特● １５青岛人学硕｝：学位论文定的区域，能够确定人手指尖与虚拟物体交互的有效区域，使人手对虚拟物体的 动作更加精确和协调。１．５论文组织结构第一章：绪论，本章主要对增强现实的研究背景与意义、增强现实和人机 交互技术的基本概念、应用价值、国内外研究进展等做了概括性的介绍。 第二章：介绍了增强现实关键技术，主要包括显示技术、交互技术和目前 主流的三种视频检测技术以及ＡＲ开发工具包。 第三章：通过对增强现实虚实交互系统的总体设计目标进行了总述，根据 系统整体框架图将整个系统划分了五大功能模块，并分别对各模块功能和作用 进行了描述，系统开发的软硬件环境作了详细的介绍。 第四章：研究增强现实系统基于视觉标记的跟踪注册技术，分析了跟踪注 册的基本流程，采用适用于手持设备的快速角点检测算法和基于窗口的摄像机 姿态估计算法，提高算法性能。●第五章：研究了目前主流的两种视频检测方法一一背景差分法和帧间差分法的基本原理与不足，提出了改进的自适应三帧差分运动目标检测算法。设计并 实现一种通过运动目标速度自适应调整帧间隔的三帧差分检测方法，并对算法性能 进行分析，能够快速准确的定位运动目标区域，有效降低手持设备处理延迟性，适 合计算性能较低的手持设备。提出了基于区域相割的指尖检测算法，将交互点的 范围缩小到一个特定的区域，能够确定人手指尖与虚拟物体交互的有效区域，使 人手对虚拟物体的动作更加精确和协调。 结论：对全文进行总结与展望。●■●●１６●第二章增强现实关键技术●第二章增强现实关键技术２．１●ＡＲ显示技术增强现实是一个典型的交叉式学科，它的研究内容和涉及专业领域十分广泛，主要有计算机图形学、图像处理、计算机视觉技术、人机交互技术、人工智能、计 算机网络、信息可视化，以及显示设备的设计等各个领域。其中，计算机显示技术 是ＡＲ技术中的关键部分，因为虚实融合的最终效果是通过视觉通道（用户与真实 场景之间的交互借口）实现的，几乎一半以上的信息是通过人眼获得的。作为ＡＲ●系统设计的最基本问题――信息和现实场景的融合，能够实现它的显示技术也成为研究领域的重要方向，．有了很大的变化和发展。随着增强现实系统的发展，采用的 显示设备也多种多样，由复杂笨重的大型显示器到集成轻便的手持显示设备朝着便 携式的方向发展。目前显示设备主要有头盔显示器、投影显示设备、３Ｄ显示设备、普通显示器、手持式显示设备。 ２．１．１头盔显示器１９６８年，美国ＡＲＰＡ信息处理技术办公室主任Ｉｖａｎ Ｓｕｔｈｅｒｌａｎｄ建立了“达 摩克里斯之剑”光学穿透式头盔显示器（Ｓｅｅ．ｔｈｒｏｕｇｈ 它被认为是世界上第一个头盔显示器瞳引。●ＨｅａｄＭｏｕｎｔｅｄ Ｄｉｓｐｌａｙ），该设备能够实现最基本的虚实结合，满足Ａｚｕｍａ增强现实定义的三大特点：虚 实结合、交互技术、三维注册。 由于头盔显示器在显示技术中具有较强的显示效果和沉浸感，所以被广泛 的应用于增强现实系统设计中。通过增强现实系统的头盔显示器能够看到所处 的周围环境，所以被称为透视式（Ｓｅｅ．ｔｈｒｏｕｇｈ）头盔显示器。根据对真实环境■表现方式的不同，一般把透视式头盔显示器分为基于摄像原理的视频透视式（Ｖｉｄｅｏ 和基于光学原理的光学透视式（Ｏｐｔｉｃａｌｓｅｅ．ｔｈｒｏｕｇｈ）。ｓｅｅ．ｔｈｒｏｕｇｈ）视频透视式头盔显示器是将视频摄像机与视频显示器相结合集中成头盔实现跟 随人的视野进行实时调整显示，视频摄像机采集真实场景，通过视频合成器，与虚 拟场景生成器生成的虚拟信息进行融合，在头盔显示器上显示输出，呈现给用户。 光学透视式头盔显示器是利用光学原理，在使用者眼前架设一个具有半透半反镜的 光学混合器，既能看到外界的真实场景，又能部分反射出计算机生成的虚拟物体， 形成融合。光学透视式头盔显示器能够显示几乎完整的真实场景，但在虚实融合的 精确度上不如视频透视式头盔显示器。１７●青岛人学硕Ｉ：学位论义头盔显示器的光学技术设计和制造技术日趋完善，不仅作为个人应用显示器， 它还是紧凑型大屏幕投影系统设计的基础，除了在现代先进军事电子技术中得到普 遍应用成为单兵作战系统的必备装备外，还拓展到民用电子技术中。但是，在肯定 具有比较好的沉浸式效果的同时，不可否认头盔显示器具有一定的局限性，例如体积重量较大、佩戴移动不方便，用户不能轻松方便的使用，更不容说长时问使用，给使用者造成负担。 ２．１．２手持显示设备 随着电子产品近年来正处于加速发展的阶段，高清画面、高处理速度以及 各种新兴应用的涌现使得中小尺寸显示设备的消费者获得前所未有的感官享受。手持设备（Ｈａｎｄｈｅｌｄ ｄｉｓｐｌａｙ，ＨＨＤ）显示器随之发展起来，它不仅弥补了●头盔显示器的缺点，还发挥了轻便灵巧的特点，使用者能够随身携带，大大提 高了便携性。但是需要用户用一只手把持这个设备，限制了用户的行动。美国 华盛顿大学人机界面技术实验室（ＨＩＴ Ｌａｂ）开发研制了名为Ｍａｇｉｅｂｏｏｋ的便 携式手持现实设备，利用ＡＲ技术将虚拟的模型叠加在真实的书籍上，辅助使 用者理解、记忆，增加了趣味性，允许多用户的协作工作。 随着移动数据通信技术的发展和移动终端设备的广泛应用，一些组合了处 理器、存储器、显示器和交互技术的移动设备如ＰＤＡ、掌上电脑、智能手机已 经渗入到社会生活的各个领域，其所具有的移动性、集成化、普及化和个性化 等特征可以带动ＡＲ技术的普及和发展，对于未来ＡＲ系统平台的发展将会向 智能手机等手持设备上的方向前进。 ２．１．３其他显示设备 １、投影式显示投影式显示（Ｐｒｏｊｅｃｔｉｏｎ Ｄｉｓｐｌａｙｓ）属于空间增强现实，是现在ＡＲ技术发■ ●展的热点问题，它利用前向投影仪将虚拟图像直接投影到要增强的场景中，实 现增强效果。投影显示具有较高的分辨率，可以对整个物理环境进行信息增强， 而不是只能将用户看到的视场信息增强，失真度低，稳定性高，用户从各个角 度都可以看到整个效果，视场范围大，不会出现眼位移现象。美国伊利诺斯洲 立大学和密歇根洲立大学科研实验室的研究人员研究出一种原型系统，借助于 放在头上的投影机（Ｈｅａｄ．Ｍｏｕｎｔｅｄ Ｐｒｏｊｅｃｔｉｖｅ Ｄｉｓｐｌａｙｓ，ＨＭＰＤ）［２３１来进行投影。该系统由一个微型投影镜头，一个戴在用户头上的显示器和一个双面自反射屏 幕组成。 ２、视网膜显示●第二章增强现实关键技术◆Ｍｉｃｒｏｖｉｓｉｏｎ公司设计了牧游者显示系统（ＮｏｍａｄＤｉｓｐｌａｙＳｙｓｔｅｍ），是便携式的头戴式显示装置，工人可以用它来免手控地访问数字信息，这种与腰戴式 计算机通信的无线设备由军事组织和其它组织使用。该投影器基于Ｍｉｃｒｏｖｉｓｉｏｎ 的集成光子学模块（ＩＰＭ），允许便携式设备屏幕上的虚拟图像被投影到特定的●场景中，从而提高观看体验和效果。这种显示装置为移动设备提供“大屏幕”观 看体验。该技术生成的图像具有较高亮度和对比度，低能耗和移动性可以为用 户提供一个与朋友和业务伙伴共享电影、个人视频、移动电视、照片和演示等 多媒体应用的简便方法。Ｍｉｃｒｏｏｐｔｉｃａｌ公司设计了一款微型电脑显示器 Ｅｙｅｇｌａｓｓ心４Ｊ，能够夹在普通眼睛上或直接和普通眼镜融为一体。Ｍｉｃｒｏｏｐｔｉｃａｌ把◆它成为第一个真正具有使用价值的头戴式电脑显示器。具有体积小巧、亮度高、 重量轻和“最小遮断＂的特点，人眼可以在显示器现实的图像和现实世界自由 转换，使虚实差异感完全消失。 ３、普通显示设备 普通显示器显示（ＭｏｎｉｔｏｒＢａｓｅｄＤｉｓｐｌａｙｓ）是比较普通的显示设备，虚实融合后直接在显示器输出。其具有的配置便宜轻便性是今后发展的一大趋势。２．２人机交互技术目前，ＡＲ系统能够实现在真实场景中加入用以丰富内容的虚拟信息，并 实现无缝融合，给用户一个自然、炫动的超现实画面享受，如果能够与场景中●的虚拟物体进行交互，用户对虚拟对象发出的行为指令，虚拟对象做出反馈， 能够发挥ＡＲ系统增强场景的优势，给用户带来更真实、全新的体验与感受。 因此，人机交互技术与ＡＲ技术走到了～起。 人机交互技术（Ｈｕｍａｎ．ＣｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎＴｅｃｈｎｉｑｕｅｓ）是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。整个过程包括来两 个方向：①用户到机器：用户通过键盘、鼠标、文字输入器等外界输入设备传 输给机器信息和命令；当机器响应并给予反馈回答时，用户输入应答结果。② 机器到用户：机器通过显示设备将运行后的结果信息显示在屏幕上，反馈给用户。在传统的人机交互系统中，人是操作者，机器只是被动的反应；在一般的 计算机系统中，人是用户，人与计算机之间以一种对话方式工作；在增强现实 中，人是主动参与者，能够以自己的想法为中心，让计算机生成的虚拟信息做 出反馈。作为一种新型人机交互形式，ＡＲ技术比以日ｉ『任何人机交互形式都有 希望彻底实现和谐的、“以人为中心”的人机界面。 自汁算机诞生以来，人机交互技术经历了穿孔纸带、批处理、联机终端、多媒１９青岛人学硕ｊ：学位论文体用户界面等阶段。随着人工智能的大发展，用于交互的媒介也不断提高、改进， 在不久的未来，１００％的语音识别也会成为可能。科学家们也正在听觉、视觉、触觉、 语音和动作等方面打开更好的局面，与增强现实相结合，形成完全和谐、自然、以 人为中心的人机交互方式。 总结人机交互媒介的发展，主要有以下几种方式： （１）命令行 命令行是人机交互的始祖，早在２０世纪５０年代，就借助命令行控制计算机发 送指令获得反馈。这也是最初计算机用户与计算机之间可以利用的交互方式。但大 量复杂的命令语言需要惊人的记忆和熟练，而且容易出错，有一定的局限性。（２）■◆鼠标 从美国斯坦福研究所的道格拉斯?恩格巴特发明了鼠标。鼠标的出现，就与现代●计算机的发展息息相关，并起到了举足轻重的作用。但鼠标的功能一直是没有太大 的改进，随着其他技术的推进，更直观的界面将使鼠标得到解放。 （３）触摸板 触摸板是通过探测手指的自然电容对电场的干扰进行感应，成为笔记本电脑最 流行的借口。许多触摸板都具有多点触摸功能，世界上第一个多点触摸板由加拿大 多伦多大学的计算机设计教授比尔?巴克斯顿设计展出。 （４）多点触摸屏 触摸屏是在触摸板的基础上发展起来的，在触摸屏广泛应用于电脑台式机之前 就已经ＡＴＭ机上使用，方便未经电脑培训的用户方便使用。目前，智能手机的普及， 使多点触摸屏技术真正的发挥出来，使用户尝试到了更全新、更简便的处理数据和 调用命令的方式。 （５）姿态感应 最初的姿态识别主要是通过用户在空间中实施物理操纵来控制和发出命令，如 任天堂Ｗｉｉ和苹果ｉＰｈｏｎｅ等；现在，姿态识别主要研究方向是识别用户手和身体的 姿态或运动，如索尼的摄像头Ｅｙｅ可以识别简单的手势动作，美国洛杉矶的椭 圆公司开发的“空中操作系统”，用户带着特制手套发出不同手势命令，系统 即可识别，做出反应。（６）语音识别语音识别采用有限的、狭隘的语言子集，需要经过长时问反复的训练系统， 才能识别自己的语音。容易出现反应迟钝、笨拙、出错等现象。目前这项技术 已经得到了很大的改进，语音识别硬件更先进，算法更有效。 （７）增强现实 增强现实技术是科研人员发现的具有更好融合性的接口技术，能将虚拟信２０●在ＡＲ应用系统中，实现人在真实场景中与虚拟对象进行交互经常受到技术、硬件设备及外界环境的影响，总结采用的交互方式，主要有以下三种：●（１）空间点交互方式ＡＲ系统应用中生成的虚拟信息都会产生一个三维坐标，系统可以根据这 个空问坐标确定虚拟对象的位置，这种通过空间点位置选择场景中虚拟对象的 方法称为空间点选定法。通常，空间点需要用二维或三维坐标来确定，可以用 鼠标确定选取位置坐标，并通过投影确定三维坐标位置，选择空间目标；很多 情况下会采用特殊标记法获取坐标，即在交互物体上设定一个或多个定位标 记，依靠视频检测方法进行模板匹配，特殊标记法比专用空间点坐标输入硬件 更简单。 （２）命令交互方式 ＡＲ系统中的命令交互方式是将一个或多个三维空间点构成特定组合或状■态，由这些命令组合和状态触发虚拟对象的接触、选择、触发、删除、移动、 拖拽等操作动作。例如：华盛顿大学的数字桌面系统，将木板固定上标记，利 用识别标记对虚拟对象进行特定操作，同时当木板与虚拟对象接触时发出声音 提高用户真实感。命令也可以通过二维空间点输入实现，如手势识别，对各种 手势的特征进行预定义，对应不同的命令。■（３）采用特殊工具的交互方式 特殊工具一般具有简单的外形、易于识别、可操作性强等特征，通过三维 空间点输入工具和系统软件实现具体的操作功能。系统软件利用虚拟控制面板 的形式，通过设置按钮、滑块、选项或文本输入框等对象定义一组功能集合， 实现对特定虚拟对象的交互应用。Ｓｔｕｄｉｅｒｓｔｕｂｅ项目中的很多应用就是利用半镶嵌●头盔显示器通过个人交互面板（ＰＩＰ）与生成的虚拟物体交互。面板可以定位虚拟对 象，还可以叠加虚拟的交互按钮，与面板相连接的定位笔可以控制模拟对象，共同 检测流动可视化共享数据集。Ｓｔｕｄｉｅｒｓｔｕｂｅ允许多用户同时进行并行交互，多个人可 以同时看到共享的虚拟图像，并进行交互。●２．３视频检测技术在ＡＲ系统中实现人机交互功能可以借助很多外在硬件设备，但通常适用于大 型的ＡＲ系统应用。对于智能手机等手持设备的应用，则必须充分考虑到便携性、 方便性和手持设备等硬性局限条件。通常手持设备上都具备摄像机功能，所以我们 主要研究应用于手持设备的手势识别技术，这就涉及到运动视频检测技术的领域。◆２ｌ青岛人学硕．Ｉｊ学位论义目前，国内外提出的运动检测方法很多， 根据应用的方向和领域，每种方法都 有其优点和弊端，根据国内外的研究现状看， 比较主流的运动检测方法有光流法、 背景差分法和帧问差分法。２．３．１光流法（Ｏｐｔｉｃａｌ Ｆｌｏｗ） 光流法是利用位移矢量场（即光流场）的变化来进行运动目标检测的。能够得◆到丰富的运动数据信息，反映图像上每一点狄度的变化趋势，给图像中的每一个像 素点赋予一个速度矢量，形成一个光流场，实现对真实运动目标的识别晗５。。目前基 于光流的计算方法主要有微分法、能量法、块匹配法、相位法和小波法等。光流法 能够在摄像机运动的条件下，检测出独立的运动目标，但是这种方法算法相当复杂， 计算量大，易受噪声影响，抗噪声性能差，必须有高性能的特殊硬件支持才能实现 实时监测，不适用于有较高实时性要求的应用。目前光流法已在航天、航海、医学、 交通等领域得到了初步的应用。 ２．３．２背景差分法（ＢａｃｋｇｒｏｕｄＳｕｂｔｒａｃｔ ｉｏｎ）▲背景差分法首先构造一个背景模型来替代真实的背景场景，通过将视频帧与背 景模型进行比较，识别出运动目标与背景之间的差别来实现运动目标的识别比引。背 景差分法适用于静态或准静态背景下面积不大的运动目标检测，实现简单、计算量 小、对嗓声敏感度低，能够很容易从视频图像序列中分割出运动目标，如果在背景 已知的前提下，能够实现最完整的特征点数据的提取，并完整的检测出运动目标， 所以背景差法得到了广泛的使用。背景建模是背景差分法的中心步骤，目前已有的 背景构造算法包括：基于背景的时间差分法，基于混合高斯模型的方法、基于熵的方 法、中值滤波法、Ｗ４方法、基于偏微分方程的方法、线性预测法、非参数模型法 （内核密度估计法）乜＂、混合Ｇａｕｓｓ法、基于像素灰度归类的方法、隐马尔科夫模 型（ＨＭＭ）㈨、本征法、基于均值替换的背景估计法、码本方法幽】等等。但是，背 景差分法的关键是如何自动获得场景的静态背景模型，而在自然场景中，背景往往 受到自然因素等较多的干扰，不是固定不变的，它会随着光线变化、运动、抖动、 背景物体的变化等动态变化，所以实现背景模型的适应性变化的解决还需要研究人 员不懈的努力。 ２．３．３帧问差分法（ＴｅｍｐｏｒａｌＤｉｆｆｅｒｅｎｃｅ）帧间差分法是最早被提出，也是最简单的运动检测方法，它是模式识别传统算 法中ＲＬ算法的一部分，俗称Ｑ学习ｂ０。。帧间差分法即图像序列差分法，主要原理 是利用两帧或三帧图像序列中亮度差的绝对值来实现运动目标的定位检测，如果亮 度差的绝对值小于一定的阈值，则可以判断没有运动目标进入，反之，如果亮度差２２ ●第一二章增强现实关键技术大于一定的阈值，就可以判断在像素点对应位置有运动目标的存在，并提取该运动 目标。帧问差分法对动态变化环境中的运动目标检测有较强的自适应性，算法简单 易用，虽然不能保证完全提取所有相关的特征像素点，但还是在最大程度上保持了检测结果的完整性，对于运动目标运动时引起图像发生明显变化的像素容易检测，◆甚至对于微小物体的运动也能进行检侧，但对于像素变化不明显的像素点检测有所 困难。因此帧间差分法更多的适用于背景变化不大，干扰较小的条件下。２．４ＡＲＴｏｏＩＫｊｔ开发工具包ＡＲＴｏｏｌＫｉｔ是一个用Ｃ／Ｃ＋＋语言编写的函数库，与ＯｐｅｎＧＬ相结合成为ＡＲ系统丌发应用的工具包，集成ＡＲ系统开发中涉及到的摄像头校准、模式识别、 坐标转换及视频捕捉、合成、输出等功能，降低了开发复杂度。ＡＲＴｏｏｌＫｉｔ工具包最初由Ｈｉｒｏｋａｚｕ Ｋａｔｏ博士设计口¨，１９９９年在华盛顿大学人机接口实验室（ＨＩＴＬａｂ）年Ｎ新西兰的坎特伯雷大学人机接口实验室（ＨＩＴＬａｂＮＺ）协同开发。目前，ＡＲＴｏｏｌＫｉｔ工具包可以应用在Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ及ＭａｃＯＳ等多种操作系统下，更新 了很多版本。目前，大多数ＡＲ应用都是基于ＡＲＴｏｏｌＫｉｔ工具包开发实现的，采用 基于标记的视频检测技术进行跟踪注册定位，ＯｐｅｎＧＬ图形库将三维虚拟对象进行 渲染生成，显示在标定的范围内，实现融合显示。２．５小结●本章主要介绍了ＡＲ系统中的显示技术，对头盔显示器、手持显示设备等 进行了比较说明，然后分析了人机交互技术媒介的发展以及与ＡＲ系统相结合的三种交互方式进行了介绍，并对交互技术中姿态检测的主要方法一一视频检测技术三种主流方法原理进行解释和比较，最后介绍了最常用的增强现实系统●开发包ＡＲＴｏｏｌＫｉｔ平台。●◆●●＇●◆第三章常用的动态图像榆测技术第三章常用的动态图像检测技术３．１常用的动态图像检测方法目前，国内外提出的动态图像检测方法很多，根据应用的方向和领域，每 种方法都有其优点和弊端，根据国内外的研究现状看，比较主流的运动检测方 法有光流法、背景差分法和帧间差分法。开发增强现实虚实交互系统主要运用 了背景差分法和帧间差分法两种，在这里重点介绍这两种方法。３．１．１背景差分法●背景差分法是运动目标分割方法中最常用、最简单的一种方法，在人机交 互、低速率视频通信飞速发展的今天，通常首先采用的是背景差分法，基本运 算过程如图３．１所示：五Ｉ’一］ｒ――――――――］ 判别一连通性分析｝一一，【．．．．．．．．．．．．．．．．．．．．．．．．一Ｉ．．．．．．．．．．．．．．．．．一●图３．１背景差分法原理图背景差分法的基本原理是在背景静止的条件下，通过对背景图像进行建模 或直接将完整背景图像采集存储作为参考对象，将视频序列中的各帧图像与背 景图像进行差分运算，判定灰度等特征值变化或直方图等统计信息来分割运动 目标。珏３，若参考图像选取适当，则能够比较精确的分离背景与运动目标，确定 运动区域。 通过背景差分法得到的差分二值图像口（ｘ，ｙ）由下面的公式得出，当差分后 的灰度值大于阈值丁时，即为运动目标区域，当差分后的灰度值小于阈值丁时，●即为背景图像。。，ｃｘ，少，＝｛：）Ｉ ＩＪｇ，（。ｘ ，，ｙ少），－一ＢＥｇ（。ｘ ，，ｙ少），１Ｉ＞＜Ｔｒ◆２４３．（１）青岛人学硕Ｊ：学位论文其中‘（ｘ，Ｙ）表示当前帧像素灰度值，Ｅ（ｘ，Ｙ）表示背景帧像素灰度值， Ｉ‘（ｘ，ｙ）一层（ｘ，Ｙ）Ｉ表示差值图像像素狄度值，Ｅ（ｘ，ｙ）表示差值图像二值化处理后的●像素从度值，丁为设定的二值化阈值。若差值图像中的像素狄度值大于设定的阈值ｒ，则为１，表示是所检测到的运动目标。这种方法能够较完整的提取运动目标的特征数据，但对于动态场景的变化，如 光照、阴影、雨雪天气变化等影响不能很好的克服。所以，背景差分法的有效性必 须基于两个基本的条件口３ｌ： 条件一：在背景静止的情况下，若不受外界光照、阴影条件影响下，且不考虑 噪声干扰的情况下，视频序列中的完整背景图像保持不变。 条件二：在目标运动肉眼可视的情况下，运动目标区域与背景图像的灰度值之 间一定存在着较大的差异。 背景差分法最重要的一环就是如何将图像序列中的前景与背景分离，确定完整 背景参考图像，对背景模型进行维持和更新则成为重点。获取背景图像的方法主要 有：①预先存储背景图片ｍ３，这种方法事先拍摄无干扰背景图片，存储在计算机内， 以备做差分运算使用，在实验环境下，很容易获得无干扰的背景图片，但是应用与 实践有一定的困难，因为很难能够拍摄到没有任何前景图像的背景图片，这种方法 对于背景不变的情况下是有效的，但如果背景易受外界因素影响发生变化，就很难 得到满意的检测效果。②直接抽取或初始时间平均法∞引，直接抽取通过直接抽取视 频序列中没有运动目标出现的一帧图像作为参考图像，初始时间平均法是在一段时 间内取背景图像的平均值，这种方法要求在初始化时间阶段不能有运动目标出现， 如果在初始时间段内运动目标静止或初始时间后背景物体发生变动，都会误认为对 应区域有运动目标出现。而且不能解决光照能外界条件的影响。 因此，针对背景差分法的不足，利用背景自适应更新的方法来弥补动态场景中 的光线变化等因素带来的不利影响成为背景差分法改进的关键。３．１．２帧间差分法■ ■帧间差分法是根据动态图像序列中相邻两帧图像间具有强相关性而提出的检测 方法。相邻帧差法的基本原理是将视频图像序列中连续的两帧或几帧图像进行逐像 素比较，差分运算后灰度值不为零区域表示像素发生移动，来确定运动目标区域。蚓原理如图３．３所示。●●■ｊ秽～臣｝銎巨堕艇第三章常用的动态图像榆测技’、、、。，．，．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．，，７Ｉ．．．．．．．．．．．．．．．．．．．．一一ｊ｝。。。一――ｊ１． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． ． 一Ｉ一．．．．．．．．．．．．．．．．．．．．．一ｆ－‘，ｋ－Ｉ◆延迟图３．２帧问差分法原理图设连续两帧的图像序列为／Ａｘ，Ｙ）、ｌｉ一．（ｘ，Ｙ），通过两帧差分法得到的运动区域 表示如下，当差分图像中某一像素值的差大于某一给定的阈值时，则认为该像素是 运动目标，否则认为是背景图像，其中ｒ为阈值。口（ｚ，ｙ）＝Ｉｔ（ｚ，ｙ）一／／－１（ｚ，Ｊ，）Ｉｒ１■３－（２）Ｄ．ｆｘ．１，１＜丁兵（五．ｙ）。｛ｏ方二：．：，；≥丁３－ｏ’阈值可以分为全局阈值和局部阈值口７１，当背景的灰度值恒定时，选择全局阈值 效果较好；当背景受到光照引起的噪音影响时，宜采用局部阂值抑制干扰。所以， 帧间差分法中阈值的选择非常关键，过低不能有效抑制图像中的干扰，过高将缩减 图像中的有效信息范围。针对这个问题，出现了一些调整阈值精确度的方法。●如在判定阈值中加入对整体光照敏感的添加项，判定阈值如下：Ｄ（ｘ，ｙ）＞Ｔ＋元÷≥：Ｄ（ｘ，少）』Ｖ（巧畏一１一３一（４）即在阈值丁的基础上增加一个光照的变化方程，其中，九为抑制系数，Ⅳ为检测●区域么内像素点的数目。添加项表示了光线的整体变化。当光线变化大时，该添加 项增大，相当于判断阂值增大，有效抑制了光照变化带来的影响。 帧间差分法算法具有实现简单，检测效率高，稳定性较好，可以很好地适用于 存在多个运动目标和摄像机移动的情况，适用于对实时性要求较高的应用中，受光 照、阴影等外界环境变化影响不大，能够很好的适应动态图像的检测等优点，但仍 然存在着一些缺陷：①速度局限性㈣，帧问差分法不能检测出运动目标进入场景中●后，静止不动或运动速度过慢的情况，造成“漏检”㈨；如果运动速度过快又会使 检测到得运动区域远大于实际区域，因此具有较严重的速度局限性。②有运动目标 出现的区域灰度值比较均匀，利用相邻帧做差将会把运动目标重叠区域内容丢失， 造成“空洞＂Ｈ０１。严重时造成枪测区域ｆＨＪ断，影响进一步的检测。◆２６青岛人学硕．１：学位论文因此，针对帧问差分法的不足，出现了利用多帧差分代替多帧差分的方法，能 够快速有效地从背景中检测出运动着的目标。３．１．３自适应背景更新算法――Ｓｕｒｅｎｄｒａ算法为了应对动态场景中存在的背景复杂、外界干扰、背景变化等问题，Ｓｕｒｅｎｄｒａ 算法ｎ¨提出了背景自适应更新算法，通过当自订帧帧差图像找到物体的运动区域，对 运动区域内的背景保持不变，而非运动区域的背景用当前帧替换以更新背景，经过 一段时间的运行，即可提取出背景图像。 算法过程如下： ①将第ｌ帧的图像厶作为背景图像或； ②选取合适的阈值丁，迭代次数ｉｒｎ＝１，最大迭代次数ｍ＝ＭＡＸ―ＳＴＥＰＳ，迭代速度系数口；●③求连续两帧的帧间差分图像，并根据阈值丁对图像进行二值化处理，灰度值 差的绝对值大于阈值的为运动目标，灰度值差的绝对值小于闽值的为背景图像；啪，＝∞Ｉｉ心（ｘ，朋ｙ）－４Ｉｉ＿１。曷ｌ嚣口（五ｙ）＝上（ｚ，ｙ）一‘一。（ｘ，Ｙ）’３－（５）３．（６）④用二值图像口更新背景图像‰，即；啪，＝协跺”慨ｋｙ，云嬲蠹３－（７）?其中，Ｅ（ｘ，ｙ）和口（ｘ，ｙ）表示背景图像和差分二值图像在像素点（ｘ，ｙ）的次度 值，‘（ｘ，ｊ，）表示输入的第ｆ帧图像，ａ为权重系数，直接影响背景更新的速度；当ｔ２＇ 值较大时，当前帧图像序列ｔ（ｘ，ｙ）在背景估计中所占权重大，背景更新速度快，反 之则相反。一方面为了使背景自适应更新的效率高，发现变化立即响应，一方面有 可能出现由摄像头噪音引起图像的短暂性变化，所以口不能太小也不能太大。●摹第三章常用的动态图像榆测技术⑤迭代次数ｍ＝ｍ＋ｌ，返回③，递归执行，当ｍ＝ＭＡＸ―ＳＴＥＰＳ时，结束输出， Ｅ（ｘ，Ｙ）即为自适应更新的背景图像。 结果证明，Ｓｕｒｅｎｄｒａ背景自适应更新算法能够有效解决背景随时间的缓慢变化、●背景物体的变化、背景中存在扰动等问题。 ３．１．４三帧差分运动目标检测算法图３．３帧问差分法示意图（二帧差分）图３．３两帧差分法能够快速检测出运动图像的位置，但易产生“重影”ｎ引，即 检测到的区域既包括后一帧运动目标的全部区域，还包括前一帧没有被覆盖的区域。●图３．４三帧差分法原理示意图■将一定时Ｉ、口ＪＩ＇ＨＪ隔、选定的三帧图像序列分别记为第ｋ―ｌ、ｋ、ｋ＋ｌ帧，根据帧问差分法原理对第ｋ一１和第ｋ帧、第ｋ和ｋ＋１帧分别进行差分，将处理后的两幅差分图像进行二值化、去噪、狄度变换等处理后，做相与运算，得到运动目标在第ｋ帧 的三帧交叉区域，得到桐对完整的运动目标区域¨３１。青岛人学顾｝：学位论文Ｉ第ｋ．１帧图像第ｋ帧图像第ｋ＋１帧图像第ｋ．１，第ｋ帧图像做若分第ｋ，第ｋ＋ｌ帧图像做筹分●’ｒ１ ｒ差分图像Ｄ１二值化处理１ｒ差分图像Ｄ２’ｒ二值图像Ｇ１二值图像Ｇ２ｉ二值图像Ｆ．●图３．５三帧差分目标检测算法原理图具体步骤如下： 设‘一。（ｘ，Ｊ，）、ｌ（工，ｙ）、‘＋。（ｚ，ｙ）表示图像序列中第ｋ、ｋ、ｋ＋ｌ帧图像，其中（ｘ，Ｙ）●表示图像中像素点位置坐标， ①分别计算第ｋ一１和第ｋ帧、第ｋ和ｋ＋１帧的差值图像，公式如下：Ｊ ｄ（ｉ，ｔ－ｘ）（ｘ，ｙ）＝ｌ‘（ｘ，ｙ）一五一－（ｘ，Ｊ，）ｌ【暖“。＇ｊ）（五ｙ）＝ｌ‘＋，（ｘ，ｙ）一‘（石，Ｙ）Ｉ３．（８）●②对得到的两幅差分图像进行二值化处理，选取阈值为丁，结果如下：ｇ―Ｉ）Ｚｆ１嘎ｉｊ－１）（ｘ，ｙ）≥Ｔｙ【０ｄｃ¨－Ｉ）（ｘ，ｙ）＜Ｔ３．（９）ｆ１吐叫）（五ｙ）≥Ｔｇ＋ｋ）／Ｌ，Ｌ 石 ｙ，● ，、● 【１０吐叫）（ｘ，Ｊ，）＜ｒ③对处理后的两个差分二值图像进行逻辑或运算，得到二值图像ｆ（ｘ，ｙ）；ｎＴ：２９◆●第三章常用的动态图像检测技术●驰川＝比：：嬲麓∞三声干扰，获得精确的运动区域。３＜１０’④对获得到的图像ｆ（ｚ，Ｊ，）进行去噪、开、闭运算等处理，以消去图像中的噪由图３．４算法示意图可以看出，三帧差分的目标检测方法能够更准确的获取运 动目标的区域，克服“重影＂与“空洞”的不足，获得更准确、更完整的检测结果。３．２小结本章讨论了常用的动态图像检测方法一背景差分法和帧间差分法的基本原理和特点，详细介绍了自适应背景更新算法Ｓｕｒｅｎｄｒａ算法和三帧差分运动目标检测算 法的思想原理与流程。通过本章的研究，为本论文研究手持设备上的人手分割检测 技术奠定了理论基础。●●●３０■露●●■第口ｑ章基于于持设备的人手分割１ｊ交互技术●第四章基于手持设备的人手分割与交互技术目前，虚实交互技术已经成为人机交互技术发展中具有特殊发展前景和内 涵的技术，本文针对手持设备的特点，采用人手虚实交互技术，主要交互流程●如４．１所示，主要分为人手分割识别和虚实交互两部分。●图４．１基于手持设备的人手虚实交互流程图４．１人手的检测与识别人手的检测与识别是虚实交互系统中的关键技术，也是进行人手分析的第 一步，是对人手动作理解的重要组成部分，是人手动作处理到人手动作分析的 关键步骤，它的识别效果直接影响着整个虚实交互系统对人手的识别率和反馈 效果。涉及了计算机图像处理技术、视频检测技术等多个领域。目前，很多人 手检测识别技术的实现，都是对一些影响因素增加约束条件实现的，例如设置●内容简单或纯色的背景、摄像头静止不动以使背景不变、佩戴特殊颜色的手套 等，这显然有悖于人机交互技术发展要求高效、自然、和谐的特征，而且通过设定摄像头静止不动来保持不变的背景将阻碍交互系统在手持设备上的应用。近年来，图像识别技术成为数字图像处理技术中一个重要的研究方向，在 理论研究和实际应用中都得了人们广泛的重视。根据分割图像的特征，可以分 为两类：①静态图像的分割，分割方法有基于区域生成的分割方法，基于边界检测的分割方法和区域生成与边界检测的混合方法Ｈ钔等；②动态图像的分割，检测方法包括光流法、背景差分法和帧间差分法等。●■青岛人学颁‘Ｉ：学位论文４．１．１改进的自适应三帧差分运动目标检测算法 问题分析：三帧差分检测方法具有很强的自适应性，但是对做差分的连续帧选 择要求很高，需要选择适当的帧时间间隔，才能达到最佳检测效果，这与运动目标 的速度也有很大关系。如果运动速度过快，需要选择较小时问间隔的两帧，若选择●●不当，则会出现选择做差分的前后两帧中没有相重叠的运动目标，而检测出两个分 离的运动目标区域；如果运动速度过慢，需要选择较大时间问隔的两帧，若选择不 当，会造成过度覆盖，即运动目标区域几乎完全重叠，默认为没有发生变化，造成 检测不到运动目标而“漏检”。这是帧间差分法检测的瓶颈。 因此，本论文针对上述问题，对三帧差分检测算法进行了改进，提出了一种自 适应三帧差分检测算法，即能够根据运动目标的速度自适应的测算选取下面的哪一 帧进行差分运算，既适用于运动目标匀速运动检测也适用于变速运动检测。 具体算法流程如下： ①取连续的五帧图像第ｋ一４帧、第ｋ一３帧、第ｋ一２帧、第ｋ一１帧、第ｋ帧， 对应的图像序列分别为‘一。（ｘ，ｙ）、‘一，（ｘ，Ｊ，）、‘一：（ｘ，ｙ）、‘一。（ｘ，Ｙ）、‘（ｘ，ｙ）。根据 三帧差分法原理，每三帧为一组做差分，得Ｎ－．值图像序列鼻一，（ｘ，Ｙ）、Ｆｉ一：（ｘ，Ｙ）、ｆ一。∽ｙ）。 ②通过二值图像序列（一，（ｘ，ｙ）和Ｅ一：（ｘ，ｙ）确定两图像序列中运动目标之间的距离，同理也确定Ｆｉ一：（而ｙ）和Ｚ一。（石，Ｙ）中运动目标之间距离公式如下：ｊ％＇ｆ－２）２ｄ（Ｈ，Ｈ）Ｉ Ｄ（ｆ一２，ｆ＿Ｉ）＝ｄＯ一２，ｆ一１）４．（１）●其中，Ｄ（Ｈ坤）表示由巧一，（ｘ，ｙ）和鼻一：（ｘ，ｙ）二值图像序列确定的运动目标之间的距离，ｄ（ｉ一３，ｉ一２）表示两帧图像序列中运动目标重心间距离。 ③由于帧速确定，每帧图像的时间确定，根据如下公式可以得到运动目 标的平均速度矿，Ｉ ｙ（嗍ｑ＝ｑ吲埘／ｔｔ＝ｌ／％ ｔ＝ｌ／ｖｏ陬－２ｔＨ）＿Ｄ（ｍ卜１）／ｔ４√２’●●第ｐｑ章基于予持设备的人手分割‘ｊ交互技术；其中，％表示帧速，ｆ表示每一帧运行时间。 ④根据运动物体加速度计算公式，可以得到运动目标的平均加速度，公式如下：口＝（矿（ｉ－３，ｉ－２）一玩ｚ卜－）／ｔｙ（ｆ―Ｉ，ｆ）２ ｙ（ｆ一２，ｆ―Ｉ）＋ａｔ４－（３）４－（４）⑤设定一个变量ｄ代表帧间隔参数，表示下一个要取的第ｋ＋ｄ帧，ｄ与根 据运动目标平均加速度测算的下帧平均速度成线性关系，公式如下：一?ｄ＝８?矿（川）＋ｃ４．（５）其中，万为系数，Ｃ为常数。 ⑥迭代运用３．１．４节提到的三帧差分法的运动目标提取算法，对第后一ｄ帧、●第ｋ帧、第尼＋ｄ帧进行三帧差分法。 ４．１．２手持设备上人手分割检测技术 ４．１．２．１手持设备上人手分割检测技术的难点●本论文研究的人手识别检测技术主要是针对动态人手进行分割并识别，并 应用于手持设备上，要精确地识别出动态人手的位置，与基于计算机系统和外 置静止摄像头的人手识别技术相比，有一定的技术难点，如下： （１）尽管手持设备的硬件环境逐渐增强，内部嵌入了操作系统，具有较 强的计算和处理能力，但是与通用计算机的运行效率仍有很大差距，例如ＣＰＵ 处理能力与ＰＣ比极其有限，存储空问与ＰＣ比是很小的，键盘与屏幕是受限制 的，电池是有限量的，存储和计算能力是手持设备最大的不足之处。目前，基 于计算机系统的动态图像检测算法种类繁多，且具有很好的检测分割效果。如何在手持设备一一处理能力有限的条件下，实现动态图像的精确检测，成为系统丌发的一个重要部分。（２）手持设备能够迅速发展的一个重要原因就是其移动性，移动性可以增加使用者对手持设备的驾驭，能够随时随地的沉浸在手持设备提供的环境 中。本文中增强现实的虚实交互系统需要利用手持设备内置摄像头实时采集视 频图像，由于使用者生理上无意谚｛的手部抖动或移动手持设备，都可能导致背■青岛人学颀ｌ：学位论文景帧与帧之间发生变化。因此，实现能够自适应更新背景的视频检测技术能够 有效的适应背景发生变化的条件，提高检测精度和效果。（３）目前，手势分割的一般方法已经出现很多，例如：轮廓跟踪方法Ｈ”，以基于Ｓｎａｋｅ模型的手势分割ｎ刚为典型，分割效果好，但效率不高，费时多， 不宜在实时系统中应用；建立手势形状数据库方法，将所能涉及到得各类手型 图像进行汇总，构建成一个数据库，通过模式匹配的方式实现手势的分割。不 仅占用大量的存储空问，而且运行效率不高。这些方法都不适用于存储空问有 限的手持设备，因此，需要针对这个问题对人手分割方法进行考虑。 因此，本文将针对手持设备上实现动态人手检测识别技术的三大难点内容 进行研究，在５．１．２．２节中提出自适应三帧差分检测算法，并与背景差分法相结 合，提高系统的检测效率。 ４．１．２．２自适应三帧差分与背景差分相结合的目标检测算法（Ａｄａｐｔｉｖｅａｎｄ Ｂａｃｋｇｒｏｕｄ Ｄｉｆｆｅｒｅｎｃｅ，ＡＴＢＤ）■Ｔｈｒｅｅ Ｆｒａｍｅ考虑到手持设备处理能力有限、存储有限等局限性，本文设计一种自适应三帧 差分与背景差分相结合的目标检测算法（ＡｄａｐｔｉｖｅＴｈｒｅｅ Ｆｒａｍｅ ａｎｄ ＢａｃｋｇｒｏｕｄＤｉｆｆｅｒｅｎｃｅ，ＡＴＢＤ）。其基本原理是：首先运用Ｓｕｒｅｎｄｒａ背景更新算法建立运动区域 的背景模型，通过背景差分法确定运动目标区域，然后与４．１．１节中改进的自适应三 帧差分法得到的差分图像相结合，最终得到更加精确的运动目标区域。 其基本算法流程如下图所示：∈赢忑画图４．２手持设备上ＡＴＢＤ算法流程图●第四章基于于持设备的人手分割ｊｊ交互技术‘具体算法流程如下： 第＿步：通过摄像头采集运动视频图像，根据Ｓｕｒｅｎｄｒａ算法提取背景模型，得到背景图像序列Ｅ（ｚ，Ｙ），并实时更新；第二步：在图像处理过程中，调用背景差分检测算法，得到差分后检测到运动 目标的图像序列口（工，Ｙ）； 第三步：在图像处理过程中，调用４．１．１节中的自适应三帧差分检测算法，根据 运动目标运动速度决定选择哪三帧进行差分运算，能够更快速的检测出图像中运动 目标的运动范围。一第四步：将通过背景差分法得到的二值差分图像ｐ（ｘ，Ｙ）与自适应三帧差分法得 到的二值差分图像Ｆ（ｘ，Ｙ）进行逻辑与运算，获得最终精确的运动检测结果。伽，＝忙盖＆：：叠＆