SlideShare a Scribd company logo
1 of 4
Download to read offline
基于ARToolkit立体视觉成像增强现实系统的研究
第六图书馆
沉浸性是虚拟现实系统最为吸引人的特点,也是研究的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境
的景象叠加显示到用户所佩带的辅助显示设备来获得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发
工具.本文介绍了一个使用ARToolkit实现具有立体视觉成像的人机交互系统。沉浸性是虚拟现实系统最为吸引人的特点,也是研究
的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境的景象叠加显示到用户所佩带的辅助显示设备来获
得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发工具.本文介绍了一个使用ARToolkit实现具有立体
视觉成像的人机交互系统。增强现实 计算机视觉 立体视觉 沉浸微计算机信息易俊 李自力华中科技大学电子与信息工
程系,武汉4300742007第六图书馆
www.6lib.com
第六图书馆
软 件 天 地 
文 章 编 号 :1008-0570(2007)1o一1—0255-03 
基于 ARToo l kit立体视觉成像增强现实系统的研究 
Stereovision Im aging Augm ented Reality System Based on ARToolKit 
(华中科技大学)易 俊 李 自力 
Yl JUN Ll ZIL 
摘要:沉浸性 是虚 拟现 实系统 最为吸 引人 的特 点 .也 是研 究 的重 点和 热点 。而增强现 实技 术 是将 计 算机 生成的 虚拟 环境 的 图 
像 和 真 实 环 境 的 景 象 叠 加 显 示 到 用 户 所 佩 带 的 辅 助 显 示 设 备 来 获 得 真 实 的 沉 浸 感 。 ARToolkit为 增 强 现 实技 术 的 应 用 提 
供 了 一 种 方 便 快 捷 的 开 发 工 具 .本 文 介 绍 了 一 个 使 用 ARToolkit实现 具 有 立 体 视 觉 成 像 的 人 机 交 互 系 统 。 
关键词:增强现实;计 算机视 觉;立体视觉;沉浸 
中 图分 类 号 :TP391.9  文 献 标 识 码 :A 
Abstract:Immersive is the most attractive part of virtual reality system ,and also is focal point and hot spot studied. Augmented Reality 
(AR) is a technology that overlays virtual world image generated by computer on real world scene and it is showed on the supportive e— 
quipment user wears to obtain real immersion.ARToolKit provides a convenient and quick tool to develop AR application;this paper per- 
forms a man-machine system of stereovision imaging with ARToolKit. 
Key words:augmented reality,computer vision,stereovision,im mersion 
1 引 言 
增强现实(Augm ented Reality,简称 AR1就是将计算机生成 的 
虚拟对象与真实世界进行融合,构造 出具有虚 实结 合的虚拟空 
间.与传统虚拟现实技术所要达到 的完全沉浸 的效果不 同,增强 
现实技术 致力于将计 算机生 成的虚拟 图像 或其它信 息叠加 到 
用户所看 到的真实世界上。体验者通过佩戴头盔或 者立体 眼镜 , 
可以清晰的看到虚拟物体叠加 到真 实场景上 ,同时通过多种 方 
式与虚拟物体进行交互 。 
因此 增 强 现 实 技 术 在 工 业 设 计 、机 械 制 造 、建 筑 、教 育 和 娱 
乐等领域都有着广泛 的应用前景.而且它不仅提供 了一种更 容 
易实现 的虚拟现实的方法,更代表了下一代更易使用 的人机界 
面 的发 展 趋 势 。AR技 术 也渐 成 为 近 年 来 虚 拟 现 实 范 畴 的 一 个 
热点研究领域 。 
开发增强现实 系统 的难 点在于如何 实时、精确 的计算观察 
者视点相对真实世界 的位 置和姿态 ,使得虚拟场景 能够与真实 
世界无缝融合f即三维 注册)。当前 流行 的基 于计算机 视觉的三 
维 注 册 方 法 主要 有 两种 :基 于标 识 的 三 维 注 册 和 基 于 自然 特 征 
的三 维 注 册 。ARToolkit采 用 基 于 标识 的视 频 检 测 方 法 进 行 三 维 
注册的,其工具包 中包含 了摄像 头校准和标记 制作 的工具,它支 
持将 Direct3D、OpenGL图形 和 VRML场景 合并 到视频 流 中,同 
时支持显示器 和头盔等多种显示设备。ARToolkit是一套基于 C 
语 言的增 强现实系统二次开发包 ,同时由于其开放源代码 已成 
为在 AR领域 使用 最广泛 的开 发包 。许多 AR 的应 用 都使 用 
ARrr0olkit或在其基础 上改进 的版本来进行开发的。 
2 基 于 ARToolkit的计算机 视觉原 理 
ARToolkit利用计算 机视觉技 术来计算 摄像机相 对于黑 白 
标识f带黑色方框的正方形)的距 离与位置 。首先 根据用户设定 
的阈值将采集 到的一帧彩 色图像转换 成一幅二 值f黑 白)图像 , 
然后对该二值 图像进行 连通 域分析 。找 出其 中所 有的 四边形 区 
易 俊 :硕 士 
域作为候选匹配区域 ,将每一候选 区域与模板库中的模板进行 
匹配 ,如果 产生 匹配 ,则 ARToolkit认 为找 到了一个 标识 ,利用 
该标 识区域 的变形来计算 摄像 机相对 于已知标识 的位 置和姿 
态 .最后根据 得到的坐标变换矩阵实现虚拟场景与真实世界之 
间 的 三 维 注册 。 
通过计算标识点 的图像坐标与其空间三维坐标间的变换关 
系.可 以求 出摄像机 的内部 参数 f焦距 、像平 面中心坐标 、像素的 
水平 和垂 直间距1以及摄 像机相对于标识点的旋转矩阵和平移 
矩阵。其计算公式如下: 
1 
㈤ = ff 0 f 0 f 
1 0  0 
l 0  0 
r1/ 
0 
0 
) 
1 
0 
1/Ay 
0 
式 中,e为摄像 机坐标 系;w为世界坐 标系:R为 3x3的正交 
单位矩阵;t为三维平移 向量;fx,y)为空间中任 意一点 P的图像物 
理坐标 ,fu,v)表示 以象素为单位的图像坐标 系下的坐标 ,f为摄 
像机焦距;fu。,vn1为像平面 中心坐标;Ax、AY为像素 的水平 间 
距 和 垂 直 间距 。 
式f11表示 的是摄像 机坐标系与真 实世 界坐标系 的关 系 ,式 
f2)表示 了图像坐标 系下 与摄 像机坐标下 的投影 关系 ,式(3)表示 
了空间一点 p在 以象素为单位的图像坐标系下 与以物理长度为 
单位的图像 坐标 系下 的关系 。式f1)~式f3)共包括 l1个未知参数, 
因此只要 已知 6个 以上 的图像点坐 标就 可解 算 出全部未 知参 
数 .而其中标识 点 P在真实世界 中的坐标位置是 已知 的,进而可 
以确定摄像 机相对 于图像标识点 的位置和姿态 ,从 而完成整个 
@圄自控 局订阅号.82-946 36。元/年_255一 
、J  
p  
\、 ●●● ●●● ●  /  
y   l  
V  八  
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆
软 件 天 地  中文核心期刊 《微计算机信息》(测控自动化)2007年第 23卷第 1O-1期 
场 景 的 三 维注 册 。 
3 海 底冒险室 内增 强现 实 系统 的实现 
利用 三维 建模 软件完成对海底场景及生物进行 建模 ,利用 
ARrr0olkit的 基 于 视 觉 的 注 册 方 法 完 成 了 海 底 冒 险 室 内增 强 现 
实 的 系统 。最 终 运行 环 境 为 :Windows XP操 作 系统 ;采 用 的 CCD 
摄 像 头 刷 新 率 为 30Hz,USB接 口 、主 机 CPU 为 P4 3.0G.、RAM 
为 2G。开发环境使用 VC++6.0,3dsmax软件进行建立模 型 ,使 
用 VRML编 写脚 本 。 
以 下是 真 人 参 与 的 系统 的实 际 显 示 效果 : 
图 1(a)海底 冒险室内增强现实系统 的外观示意 图 
图 1(h)头盔显示器(HMD)中的混合场景 
3.1系 统 框架 
以下 是 整个 海 底 冒险 系统 的结 构 功 能框 图 
虹  
设备 l  I控制 
海底 场景模型 l  背景声音 
鱼类几何模 型 I交互揭 月 声音 
鱼 类行为模 型 l摄像 机  标系 
感 知行为模 型 l 显示器 举标 系 
虚 拟 音 
视 频 流 
立 体 成 
像 处 理 
视 觉 
定 标 
摄 像 头 
真 丈 税 
颚 流 
色 键 
抠 像 
共盔硅  I  l屏幕显示  l  l  音箱 
图 2海底 冒险的系统框 图 
3.2系统 的主要硬 件构成 
表 中罗 列 的 是 整个 系统 所 用 到 的 最 主要 的 硬 件 构成 以及 简 
单 的功 用 介 绍 。 
表 1系统所用主要硬件及功用 
设 备  具 体 规 格  功  能 
主 机  双 核 CPU P4 630 3 0G ,内存 DDR533 2G  流 畅 运 行 按 个 海底 冒险 系 统 程 序 
显 卡  L曲  ou小 Fx34o0 4Buff ̄ 显存 256M  实时渲染绘制虚实混台的立体视频 流 
摄像头  Logitech PR05000最 大分辨率 640X480  3O  捕获真实视频流 
头 盔  GVD510-3D  40荽 亨  萃 、 g2 可 传 拳 60fps  交 瞽 帧 显 示 按 个场 景 的 立 体 视 频 画 面 
空中鼠标  Gyration 2.4 GHz自跳频适应 USB无线接收器  用来替代墩光枪的无线交互设备 
3-3系 统 的创 新 点 : 
3_3.1场 景 中 的鱼 类 逼 真 且 具 有一 定 的智 能 。 
除 了建立逼真的虚拟鱼类三维几何模 型,为了更真实 的表现鱼 
类 的运动 ,本系统建立 了鱼类 的运动学模型 :鱼的骨架控制器 、 
躯体形变运算器以及运动控制器。其 中鱼的骨架控制器用于控 
制鱼骨架中的每一个关节的位置与姿态 :躯体形变运算器用于 
计算 由于鱼骨架摆动状态的改变而导致鱼身软组织表面 的变形 
度 :运动控制器则是通过鱼的骨架控制器与躯 体形变运算器来 
实现某一具体运动 。 
而交互动作的实现 ,则有赖 于虚拟鱼的感 知行为模型的建 
立 。藉此鱼类 能够 主动获取到虚拟世 界的环境信息 。并能根据 
这 些 信 息 作 出相 应 的反 应 。 
兰竺竺卜——  感 息  知  输 选  行  出 
择  为  制 
缓  控  裁 
制 冲 
图 3 感知行为模 型 
由图三可知,虚拟鱼的感 知行为模型在整体框架上分为以 
下几个组成部分: 
① 传感器群 :主要 负责收集各种环境信息 。 
② 信息选择 、缓存 :对不同传感器的信息进行选择 、缓存 。 
③感 知行 为控制 :将输入信息映射到相应的行 为上 。 
④ 输出 仲裁 :对 多个行 为输 出进行 仲裁 ,选择最 合适 的动 
作 输 出 。 
因而场景是具备交互性 以及智能性的 ,而不是一般系统那 
种 简单 的三 维 场 景 叠 加 。 系统 已经 具 备 有 一定 的人 工 智 能 了 。 
3.3-2场景是立体视觉 而不是三维视觉 的 
区别 于一 般 系 统 的 三维 视 觉 显 示 ,本 系统 采 用 更 逼 真 的基 
于人 眼立 体 视 觉 成 像 的 显示 。 
左右眼分 
离视角 
左眼  一 
图 4立体成像原理图 
基于 以上立体成像 的原理 ,利用程序对虚景的每一帧图像 
同时进行模拟人眼的双 目绘制 ,并通过一定时延的交替帧显示 , 
通过光照 的配合 ,以及体验者观察过程 中视角的不 断变换 ,通过 
一
256—36O元 ,年 邮局 订 阅号 :82.946 
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆
软 件 天 地 
佩戴 头盔可以看到海底场 景以及鱼类具有显著的深度感 和逼真 
的立体感 。为此特别的我们设 置了 4个 buffer,左 右眼前后通道 
各 占 1个 buffer,前 后 的 buffer形 成 屏 幕 闪 烁 ,左 右 的 buffer生 
成视差 。其立体绘制流程如下 : 
设 置 左 眼 投 影矩 阵一>设 置 模 型 视 点 矩 阵一>选 择 左 buffer绘 
制虚 拟物体一>设置右眼投影 矩阵一>设置模 型视点矩 阵一>选择 
右 buffer绘 制虚拟物体一>左右 buffer绘 制完后 ,前后 buffer交 
换一>生成立体视差 图像 
3-3-3场景结合 了多种音效 
为了再现真实 的海底场 景 。本系统添加 了模拟海底 背景的 
声 音 ,还 对 交 互 过 程 中所 产 生 的声 响 进 行 了 模 拟 ,在 一 定 的 状 
况 触 发 下 实 时 调用 相 应 的 声 音 。其 控 制 函数 类 的实 现 如 下 : 
class Sound{ public:  Sound(void); 
void playBackGround(bool looptrue); 
void stopSong0; 
void setBackGroundSong(char*name); 
void setHitSong(char*name); 
void palyHitSong0; 
 ̄
Sound(void); 
private:  char  _
backgroundsongname; 
char  一
hitsongname; 
}; 
3.4系统 的其它特点 : 
通过色键抠像 ,实现景致的层 次叠加 ;采用了标识 阵列定位 
的改进方案 ,不仅提高 了定标 的稳定性也增大了体验者活动范 
围;虚拟场景 中的打光与实景 中的光源吻合获得 了良好的光照融 
合效果 ;根据良好的脚本控制 ,体验者与系统有多种交互方式等。 
基于以上特点,结合立体显示技术 .以及 头盔对增强现实的 
混合音视频 的逼真显示 ,体验者 叉能在一个较大范 围内活动并 
与海底生物进行一定 的交互 ,因而体验者获得 了一般简单 AR. 
Toolkit系统 难 以达 到 的沉 浸 感 。 
结 论 
增强现实系统的开发是一项十分复杂 的工作.但 ARToolkit 
为增强现实技术 的应用提供了一种可行的开发工具.在本系统应 
用中还是很成功 的.但 由于它对模 型渲染特效的支持有限 ,此外 
基于摄像头的定位也不够稳定。为了获得更真实的体验效果 ,基 
于 ART0olkit的增强现实系统开发还有很多工作等待我们去做。 
本 文作者创 新点 :创 造性地赋予 了虚拟物 一定的人工智 能 
以及借 助立体显示技 术同时辅 以逼 真的音效 .体验 者在简单 的 
增强现实系统 中获得 了良好 的沉浸感。 
本项 目为广东科技 中心数码艺术馆重点子项 目,项 目规模 
为 500万 。 
参考文献 
『t]ARToolkit.http://www.hit1.washington.edu/artoolkit 
f2]Inside ARToolkit.http://ar.in.rum.de/twiki/pub/. 
【3]Jan Fischer,Dirk Bartz,Wolfgang StraRer.Stylized Augmented 
Reality for Improved Immersion.Proceedings Visual Reality 2005 
IEEE .12—16 March 2005 :195—202 
【4】唐 晶磊,蔡勇,林茂松等.基于 VR与 Agent技术的室 内漫游 系 
统lJ]微计算机 信息.2006,7一l:258—260 
【5】朱淼 良,姚 远,蒋云 良.增 强现 实综述 .中国 图象 图形学 报 , 
2004(07):767—774 
【61陈靖 ,王涌天,施琦 ,等 .基 于视觉 的增 强现 实运动 跟踪算 法. 
2002(02):15-17、21 
作 者简 介:易 俊(1981一),男 ,汉 ,硕士 ,专业 :通信 与 信息 系统 , 
主 研 方 向 :计 算 机 图 形 学 、虚 拟 现 实;李 自力 (1965一),男 ,汉 ,副 
教授 ,主研方 向 :计算 机图形 、虚 拟现实 、数码艺 术。 
Biography:Yi Jun  f198 1一),male,the Han nationality, Hubei, 
Huazhong University of Science& Technology.Speciahy:communi— 
cation and information Systems, mostly enaged in Visual Reality 
and Computer Graphics。 
(430074 武 汉 华 中 科 技 大 学 电 子 与 信 息 工 程 系)易 俊 李 自力 
通 讯 地 址 :(430074 湖 北 湖 北 武 汉 华 中 科 技 大 学 东 12舍 
124室)易 俊 
f收稿 日期:2007.7.23)(修稿 日期:2007.8.25) 
(上接第 42页1 
图 5给 出了在第 2秒时有规 律的改变系统参数时的系统斜 
坡 响应 曲线 。由图可以看出 ,在系统参数发生大范 围摄动时 ,神 
经 网络滑模控 制器构成的 系统仍 能够很好的跟踪给定 目标 ,动 
态 性 能 快 .稳 态性 能 好 。 
7 小 结 
上述仿真结果表明 .本 章针对交流伺服系统所提 出的神经 
网络调节变结构控制器 参数 的控制策略是有效的。它具有传统 
PID控 制 和 滑 模 变 结 构 控 制 不 可 比拟 的优 越 性 能 .对 系 统 参 数 
摄动和外在扰动有很强 的鲁棒性 ,在削弱变结 构控制 中存在抖 
振 问题方面具有显著的效果 。同时 ,也改善了交流伺服系统的 
动 、静 态性 能。该控制策略 的设计 方法简单 ,算法也不复杂 ,便 
于 实 际 应 用 。 
本文作者创新点:采用带有偏差单元的递归神经网络和滑 
模变结构控制器相结合 ,依靠 神经 网络来调节变结构控制器参 
数 ,很好 的改善 了交流伺 服系统 的动 、静态性能 。 
参考 文献 
【11李军红等.交流 永磁同步电机伺服系统 的变 结构控制.微特 电 
机 。2004(1):26~28。 
【21李永东.交流 电机数字控制系统.机械工业 出版社,2002.4:339。 
【31姚琼荟 ,黄继起等.变结构控制系统.重庆大学 出版社 ,1995.8 
I41黎学远 ,刘庆敖.柔性臂仿人智能变 结构控制.微 计算机信 息 , 
2002/03:25—26。 
作者简 介:应根 旺(1966.4),男,浙江 缙 云人 ,淮 阴工 学 院 电子 
信息 工程 系,讲 师 ,主要 从事 交 流 电机调 速 及控 制策 略研 究 ; 
刘 保连 (1979.11),男 ,安 徽 霍邱人 ,淮 阴 工学 院 电子信 息 工程 
系 讲师 ,硕 士 ,主要 从事 电力 电 子与 电力传 动方 面 的研究 。 
Biography:Ying Genw(1966.4),Male,JinYun,ZheJiang Province, 
WorkingCompany:Department of Electronic&Inform ation, HuaiYin 
Institute&Technology.Maior in AC motor speed control and it’ 
s tragic.;Liu Baolian(1979.11),Male,HuoQiu,AnHui Province, 
WorkingCompany:Department of Electronic&Inform ation, HuaiYin 
Institute&Technology.Master degree,Major in Power Electronics 
and Electric Drives. 
(223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺 刘 保 连 
通 讯 地 址 :(223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺 
(收稿 日期:2007.7.23)(修稿 日期:2007.8.25) 
鼬 控搠 邮局 订 阅号 :82-946 360 ̄ /-q--257— 
http://www.6lib.com 第六图书馆
www.6lib.com
第六图书馆

More Related Content

Viewers also liked

CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTING
CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTINGCASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTING
CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTINGDerga Consulting
 
Arte De Ensayar Con El Soplete Cualitat
Arte De Ensayar Con El Soplete  CualitatArte De Ensayar Con El Soplete  Cualitat
Arte De Ensayar Con El Soplete CualitatElena Ahumada
 
luan van thac si kinh te (3).pdf
luan van thac si kinh te (3).pdfluan van thac si kinh te (3).pdf
luan van thac si kinh te (3).pdfNguyễn Công Huy
 
Presentación power qui ets tu
Presentación power qui ets tuPresentación power qui ets tu
Presentación power qui ets tuSandrags5
 
프레젠테이션1
프레젠테이션1프레젠테이션1
프레젠테이션1슬희 이
 
Diagnostico#7 Los Mejores Jugadores de Futbol
Diagnostico#7 Los Mejores Jugadores de FutbolDiagnostico#7 Los Mejores Jugadores de Futbol
Diagnostico#7 Los Mejores Jugadores de FutbolEsteban Garcia Atehortua
 
Leveraging Tax Refunds to Encourage Saving
Leveraging Tax Refunds to Encourage SavingLeveraging Tax Refunds to Encourage Saving
Leveraging Tax Refunds to Encourage SavingBonds Make It Easy
 
Seminar pio muh muamar
Seminar pio muh muamarSeminar pio muh muamar
Seminar pio muh muamarBukik Setiawan
 
Academic Champion Club
Academic Champion ClubAcademic Champion Club
Academic Champion ClubCesar37
 
Octombrie parizian sub emblema interculturalitatii - articol scris de Nicole...
Octombrie parizian sub emblema interculturalitatii  - articol scris de Nicole...Octombrie parizian sub emblema interculturalitatii  - articol scris de Nicole...
Octombrie parizian sub emblema interculturalitatii - articol scris de Nicole...deleanului
 
Irakasle baten ibilbidea
Irakasle baten ibilbideaIrakasle baten ibilbidea
Irakasle baten ibilbideaasijoan
 

Viewers also liked (16)

CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTING
CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTINGCASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTING
CASE HISTORY GASTALDELLO SISTEMI-DERGA CONSULTING
 
Arte De Ensayar Con El Soplete Cualitat
Arte De Ensayar Con El Soplete  CualitatArte De Ensayar Con El Soplete  Cualitat
Arte De Ensayar Con El Soplete Cualitat
 
Mobility Services
Mobility ServicesMobility Services
Mobility Services
 
luan van thac si kinh te (3).pdf
luan van thac si kinh te (3).pdfluan van thac si kinh te (3).pdf
luan van thac si kinh te (3).pdf
 
Presentación power qui ets tu
Presentación power qui ets tuPresentación power qui ets tu
Presentación power qui ets tu
 
Nba powerpont
Nba powerpontNba powerpont
Nba powerpont
 
프레젠테이션1
프레젠테이션1프레젠테이션1
프레젠테이션1
 
Diagnostico#7 Los Mejores Jugadores de Futbol
Diagnostico#7 Los Mejores Jugadores de FutbolDiagnostico#7 Los Mejores Jugadores de Futbol
Diagnostico#7 Los Mejores Jugadores de Futbol
 
Leveraging Tax Refunds to Encourage Saving
Leveraging Tax Refunds to Encourage SavingLeveraging Tax Refunds to Encourage Saving
Leveraging Tax Refunds to Encourage Saving
 
Seminar pio muh muamar
Seminar pio muh muamarSeminar pio muh muamar
Seminar pio muh muamar
 
Academic Champion Club
Academic Champion ClubAcademic Champion Club
Academic Champion Club
 
Octombrie parizian sub emblema interculturalitatii - articol scris de Nicole...
Octombrie parizian sub emblema interculturalitatii  - articol scris de Nicole...Octombrie parizian sub emblema interculturalitatii  - articol scris de Nicole...
Octombrie parizian sub emblema interculturalitatii - articol scris de Nicole...
 
Chapa 1
Chapa 1Chapa 1
Chapa 1
 
Biblioteka veza
Biblioteka vezaBiblioteka veza
Biblioteka veza
 
Irakasle baten ibilbidea
Irakasle baten ibilbideaIrakasle baten ibilbidea
Irakasle baten ibilbidea
 
Consideracions
ConsideracionsConsideracions
Consideracions
 

More from axiuluo

099 rs-01
099 rs-01099 rs-01
099 rs-01axiuluo
 
Ar smartphones
Ar smartphonesAr smartphones
Ar smartphonesaxiuluo
 
无标记扩增实境实验平台建置与视觉追踪技术分析
无标记扩增实境实验平台建置与视觉追踪技术分析无标记扩增实境实验平台建置与视觉追踪技术分析
无标记扩增实境实验平台建置与视觉追踪技术分析axiuluo
 
201012 687
201012 687201012 687
201012 687axiuluo
 
200911037
200911037200911037
200911037axiuluo
 
1000 1832(2007)03-0032-05
1000 1832(2007)03-0032-051000 1832(2007)03-0032-05
1000 1832(2007)03-0032-05axiuluo
 

More from axiuluo (9)

099 rs-01
099 rs-01099 rs-01
099 rs-01
 
Ar smartphones
Ar smartphonesAr smartphones
Ar smartphones
 
无标记扩增实境实验平台建置与视觉追踪技术分析
无标记扩增实境实验平台建置与视觉追踪技术分析无标记扩增实境实验平台建置与视觉追踪技术分析
无标记扩增实境实验平台建置与视觉追踪技术分析
 
Ft 002
Ft 002Ft 002
Ft 002
 
201012 687
201012 687201012 687
201012 687
 
200911037
200911037200911037
200911037
 
Eli7007
Eli7007Eli7007
Eli7007
 
1000 1832(2007)03-0032-05
1000 1832(2007)03-0032-051000 1832(2007)03-0032-05
1000 1832(2007)03-0032-05
 
ARTag
ARTagARTag
ARTag
 

025244 fc1822312847

  • 1. 基于ARToolkit立体视觉成像增强现实系统的研究 第六图书馆 沉浸性是虚拟现实系统最为吸引人的特点,也是研究的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境 的景象叠加显示到用户所佩带的辅助显示设备来获得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发 工具.本文介绍了一个使用ARToolkit实现具有立体视觉成像的人机交互系统。沉浸性是虚拟现实系统最为吸引人的特点,也是研究 的重点和热点。而增强现实技术是将计算机生成的虚拟环境的图像和真实环境的景象叠加显示到用户所佩带的辅助显示设备来获 得真实的沉浸感。ARToolkit为增强现实技术的应用提供了一种方便快捷的开发工具.本文介绍了一个使用ARToolkit实现具有立体 视觉成像的人机交互系统。增强现实 计算机视觉 立体视觉 沉浸微计算机信息易俊 李自力华中科技大学电子与信息工 程系,武汉4300742007第六图书馆 www.6lib.com 第六图书馆
  • 2. 软 件 天 地  文 章 编 号 :1008-0570(2007)1o一1—0255-03  基于 ARToo l kit立体视觉成像增强现实系统的研究  Stereovision Im aging Augm ented Reality System Based on ARToolKit  (华中科技大学)易 俊 李 自力  Yl JUN Ll ZIL  摘要:沉浸性 是虚 拟现 实系统 最为吸 引人 的特 点 .也 是研 究 的重 点和 热点 。而增强现 实技 术 是将 计 算机 生成的 虚拟 环境 的 图  像 和 真 实 环 境 的 景 象 叠 加 显 示 到 用 户 所 佩 带 的 辅 助 显 示 设 备 来 获 得 真 实 的 沉 浸 感 。 ARToolkit为 增 强 现 实技 术 的 应 用 提  供 了 一 种 方 便 快 捷 的 开 发 工 具 .本 文 介 绍 了 一 个 使 用 ARToolkit实现 具 有 立 体 视 觉 成 像 的 人 机 交 互 系 统 。  关键词:增强现实;计 算机视 觉;立体视觉;沉浸  中 图分 类 号 :TP391.9  文 献 标 识 码 :A  Abstract:Immersive is the most attractive part of virtual reality system ,and also is focal point and hot spot studied. Augmented Reality  (AR) is a technology that overlays virtual world image generated by computer on real world scene and it is showed on the supportive e—  quipment user wears to obtain real immersion.ARToolKit provides a convenient and quick tool to develop AR application;this paper per-  forms a man-machine system of stereovision imaging with ARToolKit.  Key words:augmented reality,computer vision,stereovision,im mersion  1 引 言  增强现实(Augm ented Reality,简称 AR1就是将计算机生成 的  虚拟对象与真实世界进行融合,构造 出具有虚 实结 合的虚拟空  间.与传统虚拟现实技术所要达到 的完全沉浸 的效果不 同,增强  现实技术 致力于将计 算机生 成的虚拟 图像 或其它信 息叠加 到  用户所看 到的真实世界上。体验者通过佩戴头盔或 者立体 眼镜 ,  可以清晰的看到虚拟物体叠加 到真 实场景上 ,同时通过多种 方  式与虚拟物体进行交互 。  因此 增 强 现 实 技 术 在 工 业 设 计 、机 械 制 造 、建 筑 、教 育 和 娱  乐等领域都有着广泛 的应用前景.而且它不仅提供 了一种更 容  易实现 的虚拟现实的方法,更代表了下一代更易使用 的人机界  面 的发 展 趋 势 。AR技 术 也渐 成 为 近 年 来 虚 拟 现 实 范 畴 的 一 个  热点研究领域 。  开发增强现实 系统 的难 点在于如何 实时、精确 的计算观察  者视点相对真实世界 的位 置和姿态 ,使得虚拟场景 能够与真实  世界无缝融合f即三维 注册)。当前 流行 的基 于计算机 视觉的三  维 注 册 方 法 主要 有 两种 :基 于标 识 的 三 维 注 册 和 基 于 自然 特 征  的三 维 注 册 。ARToolkit采 用 基 于 标识 的视 频 检 测 方 法 进 行 三 维  注册的,其工具包 中包含 了摄像 头校准和标记 制作 的工具,它支  持将 Direct3D、OpenGL图形 和 VRML场景 合并 到视频 流 中,同  时支持显示器 和头盔等多种显示设备。ARToolkit是一套基于 C  语 言的增 强现实系统二次开发包 ,同时由于其开放源代码 已成  为在 AR领域 使用 最广泛 的开 发包 。许多 AR 的应 用 都使 用  ARrr0olkit或在其基础 上改进 的版本来进行开发的。  2 基 于 ARToolkit的计算机 视觉原 理  ARToolkit利用计算 机视觉技 术来计算 摄像机相 对于黑 白  标识f带黑色方框的正方形)的距 离与位置 。首先 根据用户设定  的阈值将采集 到的一帧彩 色图像转换 成一幅二 值f黑 白)图像 ,  然后对该二值 图像进行 连通 域分析 。找 出其 中所 有的 四边形 区  易 俊 :硕 士  域作为候选匹配区域 ,将每一候选 区域与模板库中的模板进行  匹配 ,如果 产生 匹配 ,则 ARToolkit认 为找 到了一个 标识 ,利用  该标 识区域 的变形来计算 摄像 机相对 于已知标识 的位 置和姿  态 .最后根据 得到的坐标变换矩阵实现虚拟场景与真实世界之  间 的 三 维 注册 。  通过计算标识点 的图像坐标与其空间三维坐标间的变换关  系.可 以求 出摄像机 的内部 参数 f焦距 、像平 面中心坐标 、像素的  水平 和垂 直间距1以及摄 像机相对于标识点的旋转矩阵和平移  矩阵。其计算公式如下:  1  ㈤ = ff 0 f 0 f  1 0  0  l 0  0  r1/  0  0  )  1  0  1/Ay  0  式 中,e为摄像 机坐标 系;w为世界坐 标系:R为 3x3的正交  单位矩阵;t为三维平移 向量;fx,y)为空间中任 意一点 P的图像物  理坐标 ,fu,v)表示 以象素为单位的图像坐标 系下的坐标 ,f为摄  像机焦距;fu。,vn1为像平面 中心坐标;Ax、AY为像素 的水平 间  距 和 垂 直 间距 。  式f11表示 的是摄像 机坐标系与真 实世 界坐标系 的关 系 ,式  f2)表示 了图像坐标 系下 与摄 像机坐标下 的投影 关系 ,式(3)表示  了空间一点 p在 以象素为单位的图像坐标系下 与以物理长度为  单位的图像 坐标 系下 的关系 。式f1)~式f3)共包括 l1个未知参数,  因此只要 已知 6个 以上 的图像点坐 标就 可解 算 出全部未 知参  数 .而其中标识 点 P在真实世界 中的坐标位置是 已知 的,进而可  以确定摄像 机相对 于图像标识点 的位置和姿态 ,从 而完成整个  @圄自控 局订阅号.82-946 36。元/年_255一  、J   p   \、 ●●● ●●● ●  /   y   l   V  八   http://www.6lib.com 第六图书馆 www.6lib.com 第六图书馆
  • 3. 软 件 天 地  中文核心期刊 《微计算机信息》(测控自动化)2007年第 23卷第 1O-1期  场 景 的 三 维注 册 。  3 海 底冒险室 内增 强现 实 系统 的实现  利用 三维 建模 软件完成对海底场景及生物进行 建模 ,利用  ARrr0olkit的 基 于 视 觉 的 注 册 方 法 完 成 了 海 底 冒 险 室 内增 强 现  实 的 系统 。最 终 运行 环 境 为 :Windows XP操 作 系统 ;采 用 的 CCD  摄 像 头 刷 新 率 为 30Hz,USB接 口 、主 机 CPU 为 P4 3.0G.、RAM  为 2G。开发环境使用 VC++6.0,3dsmax软件进行建立模 型 ,使  用 VRML编 写脚 本 。  以 下是 真 人 参 与 的 系统 的实 际 显 示 效果 :  图 1(a)海底 冒险室内增强现实系统 的外观示意 图  图 1(h)头盔显示器(HMD)中的混合场景  3.1系 统 框架  以下 是 整个 海 底 冒险 系统 的结 构 功 能框 图  虹   设备 l  I控制  海底 场景模型 l  背景声音  鱼类几何模 型 I交互揭 月 声音  鱼 类行为模 型 l摄像 机  标系  感 知行为模 型 l 显示器 举标 系  虚 拟 音  视 频 流  立 体 成  像 处 理  视 觉  定 标  摄 像 头  真 丈 税  颚 流  色 键  抠 像  共盔硅  I  l屏幕显示  l  l  音箱  图 2海底 冒险的系统框 图  3.2系统 的主要硬 件构成  表 中罗 列 的 是 整个 系统 所 用 到 的 最 主要 的 硬 件 构成 以及 简  单 的功 用 介 绍 。  表 1系统所用主要硬件及功用  设 备  具 体 规 格  功  能  主 机  双 核 CPU P4 630 3 0G ,内存 DDR533 2G  流 畅 运 行 按 个 海底 冒险 系 统 程 序  显 卡  L曲  ou小 Fx34o0 4Buff ̄ 显存 256M  实时渲染绘制虚实混台的立体视频 流  摄像头  Logitech PR05000最 大分辨率 640X480  3O  捕获真实视频流  头 盔  GVD510-3D  40荽 亨  萃 、 g2 可 传 拳 60fps  交 瞽 帧 显 示 按 个场 景 的 立 体 视 频 画 面  空中鼠标  Gyration 2.4 GHz自跳频适应 USB无线接收器  用来替代墩光枪的无线交互设备  3-3系 统 的创 新 点 :  3_3.1场 景 中 的鱼 类 逼 真 且 具 有一 定 的智 能 。  除 了建立逼真的虚拟鱼类三维几何模 型,为了更真实 的表现鱼  类 的运动 ,本系统建立 了鱼类 的运动学模型 :鱼的骨架控制器 、  躯体形变运算器以及运动控制器。其 中鱼的骨架控制器用于控  制鱼骨架中的每一个关节的位置与姿态 :躯体形变运算器用于  计算 由于鱼骨架摆动状态的改变而导致鱼身软组织表面 的变形  度 :运动控制器则是通过鱼的骨架控制器与躯 体形变运算器来  实现某一具体运动 。  而交互动作的实现 ,则有赖 于虚拟鱼的感 知行为模型的建  立 。藉此鱼类 能够 主动获取到虚拟世 界的环境信息 。并能根据  这 些 信 息 作 出相 应 的反 应 。  兰竺竺卜——  感 息  知  输 选  行  出  择  为  制  缓  控  裁  制 冲  图 3 感知行为模 型  由图三可知,虚拟鱼的感 知行为模型在整体框架上分为以  下几个组成部分:  ① 传感器群 :主要 负责收集各种环境信息 。  ② 信息选择 、缓存 :对不同传感器的信息进行选择 、缓存 。  ③感 知行 为控制 :将输入信息映射到相应的行 为上 。  ④ 输出 仲裁 :对 多个行 为输 出进行 仲裁 ,选择最 合适 的动  作 输 出 。  因而场景是具备交互性 以及智能性的 ,而不是一般系统那  种 简单 的三 维 场 景 叠 加 。 系统 已经 具 备 有 一定 的人 工 智 能 了 。  3.3-2场景是立体视觉 而不是三维视觉 的  区别 于一 般 系 统 的 三维 视 觉 显 示 ,本 系统 采 用 更 逼 真 的基  于人 眼立 体 视 觉 成 像 的 显示 。  左右眼分  离视角  左眼  一  图 4立体成像原理图  基于 以上立体成像 的原理 ,利用程序对虚景的每一帧图像  同时进行模拟人眼的双 目绘制 ,并通过一定时延的交替帧显示 ,  通过光照 的配合 ,以及体验者观察过程 中视角的不 断变换 ,通过  一 256—36O元 ,年 邮局 订 阅号 :82.946  http://www.6lib.com 第六图书馆 www.6lib.com 第六图书馆
  • 4. 软 件 天 地  佩戴 头盔可以看到海底场 景以及鱼类具有显著的深度感 和逼真  的立体感 。为此特别的我们设 置了 4个 buffer,左 右眼前后通道  各 占 1个 buffer,前 后 的 buffer形 成 屏 幕 闪 烁 ,左 右 的 buffer生  成视差 。其立体绘制流程如下 :  设 置 左 眼 投 影矩 阵一>设 置 模 型 视 点 矩 阵一>选 择 左 buffer绘  制虚 拟物体一>设置右眼投影 矩阵一>设置模 型视点矩 阵一>选择  右 buffer绘 制虚拟物体一>左右 buffer绘 制完后 ,前后 buffer交  换一>生成立体视差 图像  3-3-3场景结合 了多种音效  为了再现真实 的海底场 景 。本系统添加 了模拟海底 背景的  声 音 ,还 对 交 互 过 程 中所 产 生 的声 响 进 行 了 模 拟 ,在 一 定 的 状  况 触 发 下 实 时 调用 相 应 的 声 音 。其 控 制 函数 类 的实 现 如 下 :  class Sound{ public:  Sound(void);  void playBackGround(bool looptrue);  void stopSong0;  void setBackGroundSong(char*name);  void setHitSong(char*name);  void palyHitSong0;   ̄ Sound(void);  private:  char  _ backgroundsongname;  char  一 hitsongname;  };  3.4系统 的其它特点 :  通过色键抠像 ,实现景致的层 次叠加 ;采用了标识 阵列定位  的改进方案 ,不仅提高 了定标 的稳定性也增大了体验者活动范  围;虚拟场景 中的打光与实景 中的光源吻合获得 了良好的光照融  合效果 ;根据良好的脚本控制 ,体验者与系统有多种交互方式等。  基于以上特点,结合立体显示技术 .以及 头盔对增强现实的  混合音视频 的逼真显示 ,体验者 叉能在一个较大范 围内活动并  与海底生物进行一定 的交互 ,因而体验者获得 了一般简单 AR.  Toolkit系统 难 以达 到 的沉 浸 感 。  结 论  增强现实系统的开发是一项十分复杂 的工作.但 ARToolkit  为增强现实技术 的应用提供了一种可行的开发工具.在本系统应  用中还是很成功 的.但 由于它对模 型渲染特效的支持有限 ,此外  基于摄像头的定位也不够稳定。为了获得更真实的体验效果 ,基  于 ART0olkit的增强现实系统开发还有很多工作等待我们去做。  本 文作者创 新点 :创 造性地赋予 了虚拟物 一定的人工智 能  以及借 助立体显示技 术同时辅 以逼 真的音效 .体验 者在简单 的  增强现实系统 中获得 了良好 的沉浸感。  本项 目为广东科技 中心数码艺术馆重点子项 目,项 目规模  为 500万 。  参考文献  『t]ARToolkit.http://www.hit1.washington.edu/artoolkit  f2]Inside ARToolkit.http://ar.in.rum.de/twiki/pub/.  【3]Jan Fischer,Dirk Bartz,Wolfgang StraRer.Stylized Augmented  Reality for Improved Immersion.Proceedings Visual Reality 2005  IEEE .12—16 March 2005 :195—202  【4】唐 晶磊,蔡勇,林茂松等.基于 VR与 Agent技术的室 内漫游 系  统lJ]微计算机 信息.2006,7一l:258—260  【5】朱淼 良,姚 远,蒋云 良.增 强现 实综述 .中国 图象 图形学 报 ,  2004(07):767—774  【61陈靖 ,王涌天,施琦 ,等 .基 于视觉 的增 强现 实运动 跟踪算 法.  2002(02):15-17、21  作 者简 介:易 俊(1981一),男 ,汉 ,硕士 ,专业 :通信 与 信息 系统 ,  主 研 方 向 :计 算 机 图 形 学 、虚 拟 现 实;李 自力 (1965一),男 ,汉 ,副  教授 ,主研方 向 :计算 机图形 、虚 拟现实 、数码艺 术。  Biography:Yi Jun  f198 1一),male,the Han nationality, Hubei,  Huazhong University of Science& Technology.Speciahy:communi—  cation and information Systems, mostly enaged in Visual Reality  and Computer Graphics。  (430074 武 汉 华 中 科 技 大 学 电 子 与 信 息 工 程 系)易 俊 李 自力  通 讯 地 址 :(430074 湖 北 湖 北 武 汉 华 中 科 技 大 学 东 12舍  124室)易 俊  f收稿 日期:2007.7.23)(修稿 日期:2007.8.25)  (上接第 42页1  图 5给 出了在第 2秒时有规 律的改变系统参数时的系统斜  坡 响应 曲线 。由图可以看出 ,在系统参数发生大范 围摄动时 ,神  经 网络滑模控 制器构成的 系统仍 能够很好的跟踪给定 目标 ,动  态 性 能 快 .稳 态性 能 好 。  7 小 结  上述仿真结果表明 .本 章针对交流伺服系统所提 出的神经  网络调节变结构控制器 参数 的控制策略是有效的。它具有传统  PID控 制 和 滑 模 变 结 构 控 制 不 可 比拟 的优 越 性 能 .对 系 统 参 数  摄动和外在扰动有很强 的鲁棒性 ,在削弱变结 构控制 中存在抖  振 问题方面具有显著的效果 。同时 ,也改善了交流伺服系统的  动 、静 态性 能。该控制策略 的设计 方法简单 ,算法也不复杂 ,便  于 实 际 应 用 。  本文作者创新点:采用带有偏差单元的递归神经网络和滑  模变结构控制器相结合 ,依靠 神经 网络来调节变结构控制器参  数 ,很好 的改善 了交流伺 服系统 的动 、静态性能 。  参考 文献  【11李军红等.交流 永磁同步电机伺服系统 的变 结构控制.微特 电  机 。2004(1):26~28。  【21李永东.交流 电机数字控制系统.机械工业 出版社,2002.4:339。  【31姚琼荟 ,黄继起等.变结构控制系统.重庆大学 出版社 ,1995.8  I41黎学远 ,刘庆敖.柔性臂仿人智能变 结构控制.微 计算机信 息 ,  2002/03:25—26。  作者简 介:应根 旺(1966.4),男,浙江 缙 云人 ,淮 阴工 学 院 电子  信息 工程 系,讲 师 ,主要 从事 交 流 电机调 速 及控 制策 略研 究 ;  刘 保连 (1979.11),男 ,安 徽 霍邱人 ,淮 阴 工学 院 电子信 息 工程  系 讲师 ,硕 士 ,主要 从事 电力 电 子与 电力传 动方 面 的研究 。  Biography:Ying Genw(1966.4),Male,JinYun,ZheJiang Province,  WorkingCompany:Department of Electronic&Inform ation, HuaiYin  Institute&Technology.Maior in AC motor speed control and it’  s tragic.;Liu Baolian(1979.11),Male,HuoQiu,AnHui Province,  WorkingCompany:Department of Electronic&Inform ation, HuaiYin  Institute&Technology.Master degree,Major in Power Electronics  and Electric Drives.  (223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺 刘 保 连  通 讯 地 址 :(223001 淮 阴 淮 阴 工学 院 电 子信 息 工 程 系)应 根 旺  (收稿 日期:2007.7.23)(修稿 日期:2007.8.25)  鼬 控搠 邮局 订 阅号 :82-946 360 ̄ /-q--257—  http://www.6lib.com 第六图书馆 www.6lib.com 第六图书馆