1. 第 39 卷第 3 期 东 北 师 大 学 报 ( 自 然 科 学 版 ) Vol .39 No .
3
2007 年 9 月 Journal of Northeast Normal University (Natural Science Edition) September 2007
[文章编号]1000-1832(2007)03-0032-05
两种基于标识的增强现实注册方法的比较
王维廉1 ,王北星2 ,黄 岚3
(1 .上海大学计算机工程与科学学院 ,上海 200072 ;
2. 长春税务学院经济信息管理系 ,吉林 长春 130117 ;
3. 吉林大学计算机科学与技术学院 ,吉林 长春 130012)
[摘 要] 介绍了两种基于标识的增强现实开发包 ARToolKit 和 ARTag .从标识 定位错误 发
生率、标识混淆错误发生率和系统运行速度等方 面 ,通过试 验对 两个系 统的 表现 进行了 比较 ,
并从算法和原理上阐述了表现差异的原因 ,给出了试验结果 .对基于标识的增强现实系统应用
进行了展望 .
[关键词] 增强现实 ;模式识别 ;三维注册 ;标识
[中图分类号] TP 391 .41 [学科代码 ] 520·60 [文献标识码 ] A
0 引言 1 增强现实三 维注册的原 理和标识物 的
识别
增强现实技术可以让真实世界与虚拟世界产
生互动 ,其 理念 在于 :用虚 拟世 界增 强真实 世界 . 1.1 三维注册技术
通过增强现实 技术 ,由计 算机 生成 的 虚拟 场景 或 三维注册的目的是得到真实世界和摄像机之
物体可以叠加 在由 摄 像机 拍摄 的真 实世 界 中 .增 间的位置关系 .摄像 机和 真实 世界 分 别产 生两 个
强现实技术已 经被 人 们广 泛应 用于 很多 领 域 ,特 坐标系 ,两个坐标系的转换关系由转换矩阵描述 .
别是各类演示平台 ,随着会展、培训等行业的迅速 增强现实系统的三维注册问题可以归结为真实世
发展 ,增强现实 技术 的应 用价 值已 经 越来 越得 到 界坐标系与摄像机坐标系之间的三维变换矩阵求
[1 - 2]
人们广泛的认可 . 解.
在增强现实技术中 ,三维注册技术 ,即如何得 下面我们建 立 一个 模型 来实 现上 述 变换 ,如
到准确的虚拟 物体 与 现实 世界 的坐 标关 系 ,成 为 图 1 , x ,y ,z]表示真实 空间坐标 系 (世界 空间 坐
[
了研究的热点 .当前 流行 的基 于计 算 机视 觉的 三 标系 ) ,这是整 个增 强 现实 系统 中的 最基 础、 重
最
维注册方法主 要有 两 种 :基于 标识 的 三维 注册 和 要的坐标系 ; η, ]表示虚拟空 间坐标 系 , 坐
[ξ, ζ 此
基于自然特征 的三 维 注册 .基 于标 识 的三 维注 册 标系用来 对所添加 的虚拟空 间进行几 何描述 ;
系统 ,将特殊标识添加进背景环境 ,利用计算机视 [ x ′,z ] 标 识摄像 机空 间坐标 系 ,它是 以摄 像
′,y ′
觉方法识别 ,并找到标识与摄像机的位置关系 ,从 头镜头中心 点 为 坐 标 原 点 的 一 个 三 维 空 间 坐 标
而准确地进行三维定位 .相比之下 ,基于标识的三 系 , 像头 的 光轴 作为 Z 轴 ,镜头 所对 的方 向 是
摄 ′
维注册具有算法简单 ,速度快 ,对环境条件和硬件 Z 轴正 方向 ,按右 手法 则确 定 Y 轴 ; u ,v]表 示
′ ′ [
条件要求都比 较低 的 特点 ,比 较适 合 相对 固定 的 成像平面坐标系 ,就是摄像头 CCD 在成像平面 上
[3]
演示平台应用 . 的二维坐标系 .其原点就是 摄像头坐标系中 的 Z′
[收稿 日期 ] 2006-12-26
[基金 项目 ] 上 海 市 科 委 重 大 攻 关项 目( 0 25 1 15 008) .
[作者 简介 ] 王 维 廉 (1982— ) ,男 ,硕 士 研 究 生 ;王 北 星 (1961— ) ,女 ,硕 士 ,教授 ,主 要 从 事 管 理 信 息 系 统 开 发 ;黄 岚 (1974— ) ,女 ,
博 士 ,副 教 授 ,主 要 从事 智 能 算 法 及 其 应 用 研 究 .

2. 第3期 王维廉 , :两种基于标识的增强现实注册方法的比较
等 33
轴和成像平面 的 交点 ,而 U ,V 轴和 摄 像头 坐 标 本相同 ,可总结为 以下 几点 :(1) 提 取 四边 形作 为
系的 X ′
′,Y 轴平行 ,正方向也一致 . 候选匹配区域 ; 将每一候选区与模板中的相应
(2)
知识 进 行 匹配 ,如 产 生匹 配 ,则 系 统认 定 找 到 标
识;
(3)计算该 区域 变 形 ,得到 摄像 机 相对 已知 标
识的位置和姿态 ,最终得到变换矩阵 ,实现虚实注
册(如图 2 所示 ) .本 文将 就此 过程 中 系统 的不 同
处理方式和表现进行分析和比较 .
图1 真实世界和虚拟世界
坐标系转换图
1.2 标识物的识别
在很多增强 现 实系 统中 ,三 维 注册 采用 识 别 图2 增强现实系统运行流程图
“自然特征 的 方式 进 行 ,该方 法不 对 真实 环境 进
” 至于一套标 识 系统 的标 准 ,我 们可 以主 要 从
行任何处理 ,通过识别环境中的特征区域 ,找到虚 以下几个方面来 权 衡 :(1) 标识 定位 错 误发 生率 ,
拟物体与真实环境之间的关系 . 例如 :上海大学实 即系统将非标 识的 背 景物 体当 做可 识标 识 ,把 虚
现的 户 外基 于 自然 特 征点 的 增强 现 实注 册 方 拟物体贴到了本不该出现的地方 ,或存在标识时 ,
[4]
法 .但很多情况下 ,场景 内材 质、 征点 所能 提
特 系统却未加以识 别 ,没 有对 背景 进行 增 强 ;(2) 标
供的信息不足 以将 标 定区 域提 取出 来 .这 种情 况 识混淆错误发 生率 ,标识 混淆 错误 即 系统 将某 一
下,往往采用人工标记 .这类标记在占用很少屏幕 个标识认成另外 一 种标 识 ,产生 错 误的 贴图 ;(3)
象素点的情况 下 ,能 够大 大提 高计 算 机视 觉识 别 系统运行速度 ,本文 考虑 系统 从识 别 标识 到将 虚
的可靠性和处理速度 .目前 ,基于标识的三维注册 拟物体添加再到视频所需时间 .
Kato .
技术 ,已经被广泛运用 于各 种场合 ,例如 : H 2.1 标识定位错误发生率
等人制作的魔杯系统[ 5 ] ,
Daniel Wagner 制 作的 汉
[6]
在特 征 区 域 提 取 过 程 中 ,ARToolkit ,ARTag
字教学软件 .
都使用方形边界进行区域标识 .
基于标识的三维注册技术目前正在不断完善
ARToolkit 首 先 将 图 像 进 行 灰 度 二 值 化 处
中 ,加 拿 大 国 家 研 究 院 的 Mark Fiala 开 发 的
理,之后设定一固定阈值分割图像 ,在得出的黑白
ARTag 和日本 广 岛 城市 大 学 和 美 国华 盛 顿 大 学
图像中搜索连通域轮廓 .
联合 开 发 的 ARToolkit ( 之 后 推 出 了 ARToolkit
ARTag 和 ARToolkit 一样 ,首 先 将图 像二 值
Plus) 是目前 广 泛应 用 于基 于 标 识 的三 维 注 册 技
化 ,并 从中 提 取 四 边 形 ,与 之 不 同 的是 之 后 的 部
术中的两个重 要的 二 次开 发包 .被 国 内外 学者 广
分 . ARToolkit 采用的识别 联通域 不同 ,
与 ARTag
泛应用 于 各 种 场 合 ,例 如 :Mark Fiala(ARTag 的 [8]
采用基于边界 的算 法 . 该方 法首 先 提取 目标 图
发明人)利用 ARTag 制作的可自动校正的投影 设
[7] 像中的所有直 线段 ,并提 取出 那些 可 以组 成四 边
备 ,华 中 科 技 大 学 的 任 波 设 计 的 基 于 AR-
ToolKit 的样板房展示系统 .
[3] 形的线段 ,作为备选目标区域的轮廓( 如图 3) .
本文分别采 用 此二 开发 包进 行试 验 ,就 这 两
个开发包在不 同光 照 环境、 同外 界 环境 中的 表
不
现进行比较 ,并 从算 法上 分析 二者 显 现出 不同 表
现的原因 .
2 比较 ARTag 与 ARToolkit
图3 基于边界的轮廓提取算法示意图
ARTag 与 ARToolkit 系 统 三 维 注 册 步 骤 基

3. 34 东 北 师 大 学 报 (自 然 科 学 版) 第 39 卷
比较两系统的特征区域提取过程 ,我们发现 , 特征区 域 .ARTag 因 为采 用 基于 边 界的 算 法 ,即
ARToolkit 系统因为 采 用连 通域 提取 算法 ,因此 , 使黑框的象素 不完 整 ,一 样可 以识 别 出部 分受 干
系统在标识外框不完整的情况下(例如 ,正方形黑 扰的标识(见图 4— 6) .
框的一条边被遮住一部分) ,系统将无法成功提取 此外 ,
ARToolkit 系统在该步骤中需要程序
图4 部分受干扰的 ARTag 标识 图5 一个角被遮盖的 ARTag 标识
图6 内容区域受到干扰的 ARTag 标识 图7 准确识别出所有标识
员自己设定阈值 ,在不同环境光之下 ,为取得最佳 相对较暗的区域没有识别出来(如图 8) .
表现 ,阈值的设定 不惟 一 ( 比如 强光 之下 ,灰度 阈
值应设得更低 ;弱光条件下 ,灰度阈值相应提高) .
ARToolkit 系 统 在 环 境 光 改 变 的 情 况 下 适
因此 ,
应能力不强 .有用户自行设计程序 ,通过计算环境
光强弱 ,自动变化该阈值 ,但如果发生环境光照不
统一 (同一帧图像 中明 暗 不一 致) 时 ,该方 法同 样
无能为 力 .ARTag 不 同 ,因 为采 取 的 是基 于 边 界
的区域提取办法 ,
ARTag 系统 对环 境光照 的要 求
小了 很 多 .我 们 使 用 ARToolKit 和 ARTag 开 发
包,采用相同的标识模板 ,分别编写了两个增强现
实演示系统 , 摄像 头 捕捉 视 频 ,并 用 LED 手 电
用
图8 识别出来两个亮光区域的标识
筒对模 板 中部 进 行光 增 强 .结 果 发 现 ,用 ARTag
系统编写 的 程序 准 确识 别 了 所有 标 识 (如 图 7) ; 2.2 标识混淆错误发生率
而采用 ARToolkit 的 系 统 只识 别 出 了 亮 光部 分 , 在识别标识 ,并与模板库进行匹配的过程中 ,

4. 第3期 王维廉 , :两种基于标识的增强现实注册方法的比较
等 35
ARToolkit 和 ARTag 系统 的 做法 ,都 是 将识 别 出 ARTag 采 取图 像 编 码 技 术 生 成 标 识 ,
另外 ,
的特征区域中的标识图像经过二值化处理与模板 系统自带 2002 个标识的标识模板库 ,在处理增强
库中的已存知识进行匹配 . 现实应用时使 用模 板 库中 的多 个模 板 ,对 系统 处
此间 ,如何避免标识混淆错误发生 ,是该步骤 理模板识别的时 间影 响 很小 .所 以 ,对 ARTag 系
的关键任务 .分析该项指标 ,我们考虑标识混淆错 统处理速度影响最大的因素是当前可见的标识数
误发生的原因 .在标识设计合理的情况下 ,该错误 目,可见标 识越多 ,系统处理时间越 长 .
ARToolkit
之所以会发生 ,很大 程度 上源 于系 统 自身 对标 识 系统 ,由程序员自定义模板 ,将系统模板和标识关
的编码、
解码 .每个标识都有一串惟一的二进制数 联起来 ,所以 ,对 ARToolkit 系统处理速度影 响最
代表 ,称之为标识 ID 号 ,当系 统在 识 别某 一标 识 大的因素 ,是当 前可 见的 标识 数目 和 系统 模板 库
时,如该二进制 ID 中 的几 位发 生识 别错 误 ,就 有 的大小 ,可 见标识 数目 越多 ,系 统模板 库越 大 ,处
可能发生标识间的混淆错误 . 理时间越长 .
由此 ,
ARToolkit 和 ARTag 都 采 用扩 大标 识 我们 在 CPU 为 奔 腾 IV 2 .66GHz ,显 卡 为
模板库中各标识模板 ID 之间 的海 明 距离 来规 避 Geforce 2 GTS 32M 显 存 ,内 存 512MB DDR 的
标识 混 淆 错误 .海 明 距离 ,即 两 个 长度 相 同 的 码 PC 平 台 上 ,采 用 相 同 规 格 的 模 板 试 验 .当 AR-
字,其相对应的位可能不同 ,彼此不同位的个数称 ToolKit 模板 库大 小为 9 个模 板时 ,ARToolkit 和
海明 距 离 ( 例 如 ,10100 和 11001 的 海 明 距 离 为 ARTag 系统运行速度大致 相同 .模 板库内 标识 数
3) . ARToolkit 运行 速度 略快 ,模板 库内 标
小于 9 时 ,
但 ARTag 与 ARToolkit 两 者 之 间 的 编 码 方 识数大于 9 时 ,ARTag 运 行 速度 优 势明 显 .见 图
式不同 ,造成了 两者 间不 同的 平均 海 明距 离及 标 9.
识混淆错误发 生率 .ARTag 和 ARToolkit 都 采 用
三十六位二进制数确定 惟一标 识 ,
ARTag 的头 十
位和 ARToolkit 的头 九位 都是标 识的 ID 号 .
AR-
Toolkit 将 该 ID 号 重 复 四 次 后 与 一 固 定 数
(011011011100001001101001110000100111) 进行
异或 操作 .而 ARTag 采用 了十位 ID 号与 错误 校
验码(CRC 校验) 结合的方式加 大各 标识 ID 号 间
海明 距 离 .我 们 知 道 ,异 或 操 作 并 不增 大 海 明 距
离 , ARTag 的编码方式从增加海明距离的角 度
而 图9 两系统处理时间的比较
讲对 ARToolkit 做出 了 改进 ,所 以 理应 获 得 更 低
的标识混淆错误发生率 .
2.3 系统运行速度 3 总结
多数增 强 现 实 系 统 比 较 关 注 系 统 的 运 行 速
度 , 行速 度越快 ,处理时 间越 接近同 步 ,增强 现
运 本文结合试 验 ,对 比了 当今 最 为成 功和 应 用
实系统给用户带来的浸入感便越强 . 广泛的基于标识的增强现实开源二次开发包 AR-
增强现实系统的运行速度主要由标识识别过 Toolkit 和 ARTag ,从多个方面论述了二者的优 缺
程影响 .
ARToolKit 和 ARTag 都选 择了使 用黑 色 ARTag 在 标 识 定位 错 误 发
点和原 因 .总 体 而 言 ,
边框 (ARTag 也 有 白色 边 框 的 标识 ) 来 将 标 识 提 生率和表示混 淆发 生 率方 面表 现良 好 ,在 不同 光
取出来 ,从 而加 大了区 域提 取过 程的速 度 .但是 , 照环境和有 干扰 噪 声的 情况 下 ARTag 有更 好 的
因为两种系统 采用 的 区域 提取 算法 不同 ,各自 的 健壮性 . 采用 不 同 的 模 板匹 配 方 式 ,
因 ARToolkit
运行速 度 也 出 现 了 不 同 .ARToolkit 采 取 了 计 算 和 ARTag 在运行 速度 上表 现 各异 ,ARToolkit 较
二值图像联通 域的 方 法提 取四 边形 区域 ,则系 统 适合模板规模小的应用 , ARTag 在模板规模 比
而
需遍历图像中 所有 象 素一 次 ,再根 据 设定 的阈 值 较 大 的 应 用 中 处 理 速 度 更 快 .ARToolkit 和
提取四边形 ;而 ARTag 采 用基 于 边界 的 算法 ,在 ARTag 已经广泛地应用于 各类 多媒 体展示 系统 ,
提取四边形时 ,需要多次对比各个边界的顶点 ,即 增强现实系统开发将越来越高效 ,越来越普及 .
ARTag 需要多次遍历图像中的象素点 .

5. 36 东 北 师 大 学 报 (自 然 科 学 版) 第 39 卷
[参 考 文 献]
[1] AZUMA RONALD T . survey of augmented reality[J] .
A Teleoperators and Virtual Environments ,1997 ,6(4) :355 - 385 .
[2] 等 Gabor 小波 和 变 形 模 板 的 目 标 跟 踪方 法[ J] .东 北 师 大 学 报 :自然 科 学 版 ,20 0 6 , 8 (3 ) : - 12 .
孙红 光 ,顾 海 军 ,潘 毓 学 , . 3 8
[3] 任波 . 于 ARToolKit 的 增强 现 实 系 统 开 发 与 应 用[ J] .计 算 机 系 统 应 用 , 0 06 ,1( 1 ) :81 - 8 4 .
基 2
[4] 陈金 波 ,吴 家 麒 ,袁 政 鹏 . 种基 于 自 然 特 征 点 的 增 强 现实 注 册 方 法 [J] .上 海 大学 学 报 ,2 0 05 ,11 ( 06 ) : 4 - 578 .
一 57
[5] KATO H .
MagicCup : tangible interface for virtual objects manipulation in table-top augmented reality[J] .
a Augmented Reality Toolk-
it Workshop ,2003 , : - 76 .
7 75
[6] WAGNER D ,
BARAKONYI I .
Augmented reality kanji learning mixed and augmented reality[ J] .The Second IEEE and ACM Inter-
national Symposium ,2003 , - 10 :335 - 336 .
7
[7] FIALA M .Automatic projector calibration using self-identifying patterns [ J] .Computer Vision and Pattern Recognition ,2005 (3) :
113 - 113 .
[8] FIALA M .ARTag , fiducial marker system using digital techniques[ J] .
a Computer Vision and Pattern Recognition ,2005(2) :590 -
596 .
The comparison betwe two pattern-based
en
augmented reality registration methods
1 2 3
WANG Wei-lian ,
WANG Bei-xing ,
HUANG Lan
(1 .
School of Computer Engineering and Science ,
Shanghai University ,
Shanghai 20007 2 ,
China ;
Department of Economic Information Management ,
2. Changchun Taxation College ,
Changchun 130117 ,
China ;
College of Computer Science and Technology ,Jilin University ,
3. Changchun 130012 ,
China)
Abstract :
This paper introduced two pattern-based augmented reality developing packages :ARToolkit and
ARTag .Comparing the two packages in terms of false negative rate ,inter-marker confusion rates and pro-
cessing speed ,the author also gave out the reasons from the views of algorithms and principles .Examples
and future prospect are given .
Keywords :augmented reality ;
pattern pecognition ; D registration ;
3- fiducial
( 责任编辑 :陶 理)