一种基于SURF与地理格网模型的增强现实方法

2018年第6期

文章编号:1006-2475 (2018 \"06-0047-07

JISUANJI YU XIANDAIHUA总第274期

一种基于SURF与地理格网模型的增强现实方法

毕金强，许家帅，辛全波，尚东方

(交通运输部天津水运工程科学研究所，天津300456)

摘要：图像识别与匹配是增强现实领域研究与应用的基础和关键，针对户外场景的广域性和随机性，以及目标纹理结构

相似性等问题，提出一种基于SURF与地理格网模型的增强现实方法。该方法根据目标场景与地理位置的相关性，检测 图像特征点并生成Location-SURF图像特征描述，基于地理格网模型构建空间四叉树索引，建成静态特征样本库。将视 频帧、位置和角度信息生成特征图像，上传至服务端解析运算并与样本库训练匹配。选取宁波环球航运广场约0. 376 km2的区域，采集270余幅图像数据构建样本库并开展试验，通过现场图像的实时采集和计算，能够实现特征点的在线 匹配，在此基础上通过调整点位距离比例的阈值，能够提升匹配的准确程度。基于该算法开发移动增强现实系统，运用 四层技术架构实现了终端采集显示和服务端分析计算的并行化，达到真实场景与虚拟信息的融合显示效果。系统应用 结果表明：该算法可以解决复杂环境下场景图像识别匹配率不高的问题，可快速地完成特征点的检测和提取，能够有效 地进行样本训练和匹配，对户外移动增强现实进行了有益尝试并提供一种有效的途径。

关键词：移动增强现实；图像识别与匹配；特征点检测；地理网格中图分类号:TP317.4

文献标识码:A

doi: 10. 3969/j.issn. 1006-2475.2018.06.010

An Augmented Reality Method Based on SURF and Geographic Grid Model

BI Jin-qiang，XU Jia-sliuai，XIN Quan-bo，SHANG Dong-fang

(Tianjin Research Institute for

Water

Transport Engineering，M.

0. T.，Tianjin 300456，China)

Abstract $ Image recognition and matching is tlie foundation and key of research and applic

According to the wide and randomness of outdoor scene， similarity of texture of target， an augmented reality method based on SURF and geographic grid model is proposed. The metliod according to the correlation bet^veen the target scene and the geograph­ical location detects

the

image

feature

points

to

generate the

Location-SURF

image

featur

fork tree index based on the geographical grid，and builds the static feature sample databavideo frame，location and angle information，and uploaded to the server to parse operations，and trained to match with the sample database. Tests research which gathered 270 pieces of image data to construct a sample database have been done in the Ningbo global navigation square about 0. 376 km2. Online feature points can be matched online through the real-time collection and cal­culation of spot image，and the accuracy of matching up can be improved by adjusting the proportion of distance threshiold. A mo­bile augmented reality parallelization of the scene and the recognition in

system was developed

The can

based on this

server

methiod，which uses four layers analysis and

calculation，and

show that $

detection and

terminal collection，display and

achieved the

of technolog ar

virtual information.

complex environment， application results

quickly complete the This method can extraction of feature points

matching effectively. As well as this method makes a useful attempt to provide an effective way in the Key words $ mobile augmented reality； image recognition and matching； feature point detection； geographic grid

outdoo

〇引言

增强现实技术（Augmented Reality，AR)是在用 户观察到的真实自然环境中添加计算机生成的文字、

3 D模型等信息的技术[1 ]。在综合计算机图形、光电

成像、多传感器、融合显示、图像处理和计算机视觉等 学科知识的基础上，实时地计算摄像机的位置及角度 将虚拟世界套在现实世界并进行互动，已经成功应用

收稿日期：2018-02-27

基金项目：中央级公益性科研院所基本科研业务费专项资金资助项目（TKS160213)

作者简介:毕金强（1985-\"，男，山东威海人，交通运输部天津水运工程科学研究所工程师，硕士，研究方向：GIS空间分析，图 像处理。

48

医疗手术、工业设计、

规

、 与

计算机与现代化

方法的总

2018年第6期

计流程，整流程分

标图

网

、教育培增强现场景

图1展

训和文化娱乐等领域。图像 图像信息

与目标 象的

2 分$1\"静态样本库的建立，采集增

，在此基础上建立基于地

的基础，是现 像进行特征点的

的空间索引 获取的实时图像场

环节。1999年Lowe提出的 入库;2\"动态特征的生成，将位置角度信息进行集成。最

训练，

足

在屏幕

SIFT( Scale-Invariant Feature Transform)尺度不变特征

算法，通 间尺 变量， 法在

图像

与描述影像中的局部 点来 与

位置、尺

的典型算法，但

征，在、旋转

算

后将动态特征与静态样本库进行 阈值要求的 上，

增

显

信息，将增信息渲染

。

变化相似的区域易产生 征提取

速

[2]。因此，国内外学者们开展

大量研究和算法改进，如Coten等)3]

的FAST

(Features from Accelerated Segment Test)特征点检测

算法、Bay 等[4]提出的 SURF(Speeded-Up Robust Fea-

tures)算法、Wanger等[5]

的基于自 征的6自由度跟踪注册算法、 [6] 的自

征注册

方法等，通

检

心与周围像素点的

来确征点，不仅稳 ，还

算法

，提高

征检

的实时性。但

，上述算法的研究

通常局限在室内或户外小范围环境，

法适用于

户外大规模图像的实时跟踪注册，以北京理工大学为 代表的团队开展了三维注册、光照模型、 检

；

方法研究并利用

技术在重建

的实验

得重要进展，开创户外增强现实领域的先河[7]。

于室内小范围场景或者

精细场景而言，可

义图像中的多个方向上的极大变化点，采用基于线 搜索和基于机器学习的特征分类 算法进行

征 [83]，在户外场

方面，范 [10] A

秦 [11]分

数据聚类和内

方面进行了

征

方法的研究 得进展。户外增强现 -方面拥有更加 的地物信息，如场图像数

：

大、相似建筑结构的纹理信息不易区分等，增加了图像

与匹配的难度;另一方面存在空间范围广、场 随机性大等问题，加上手机的运算和存 有限，

进行大规模运算

。针上述问题，本

文提出的方法克服户外场景图像数量大、相似多的 点，运用地 网分割区域并建

间索引

运

算处 ，构建 +服

结合的移动增

现

，实现了户外场景移动增强现

。

1方法

本文方法主要由4个部分组成$ 1\"采集场

标图像， 征点；2\"基于地 网构建空间

树

索引，建

本库；3

\"标场景与位置信息集成，生征图像；4\"征图像与样本库中的特征点进行 训练

。

图1

总体设计流程图

1.1图像特征点检测提取

图像特征检

年来计算机视觉领域的研究

热点， [12]总结

征检测子目前存在问题指

的发展方向，

分

前

使用的

征检测子的 与速度。文献[4]的图像特征检测算法在 描述器维数和增强描述器

性

方面进行

化， [13]在此算法基础上

基于SURF-BRISK的目标

与定位方

法。本文对文献[4]中的算法做了进一步改进，集 场

图 像 的 地

位 置 信 息 ，

生 Location

SURF图像特征描述，不仅

图像

与

的

准确率，同时， 据位置区分具有相似 的图像

征。具

步

$

1\"采集场景图像。准备

化地图，利用

摄像机

建

方位的图像，存储建筑图像并标位置信息

信息。

2\"

像素值点。利用 HeSSian[14] H(x，a\"

检

征点， xi 征点坐标，）

尺度。

图 像后

像素点

I( x， y\" ， 像素点

代替Hessian矩阵公式中的函数值f ( x，y \"，计算出

Hessian 的3 素。公式（1) 在图像中

的一个点 x(i，j\"处尺 ）的 Hessian

H(x，）\"。

2018年第6期毕金强等：一种基于SURF与地理格网模型的增强现实方法

4

49

)征点描述。根据 征点 方向计算

公式中Lxx、Lxy和Lyy为输入图像与高斯二阶微分 的近似卷积值，如Lxx(x，））_ a g(2°\")，其中g(a)代

ax

征点的描述算子， 征点 心，沿

方向 长度20S(S 征点所在的尺 ）的正方形窗格， 正方形窗 分成4x4的子区域，每子区域再分为25 像素分别计算水平方向和垂直方!

向

的

征

，最后计算

平方向值之和

之和！ 'x'垂方向之和！

:y、垂方向绝 之和！ Idyl，由此得出每 征:x、水平方向绝

斯函数。在处理图像 ， 斯函数进行离

散化处理，采用 器进行约束，利用和

Dyy；

子滤波与图像的 ，得 式(2)。

= x，y，a) =DxxDyy-(0.9DXy)2

(2 )

比较求出的值c(x，y，a)与设定的阈值的大小， 如果大于阈

标 点像素 点。3)

征点定位。

更精

图像特征，构

建金字塔式的图像尺 间，确保金字塔层中的每一层图像大小保 变， 图像二次抽样，通 变

器大小的方式按照上述步骤进行像素值的 ，标 有 像素值的 点。在 点为中心3 x3 x3的像素邻域内进行 计算，即与 尺层 的8个点 上下2层尺度的9个点分进行 计算，如图2(J 。 据计算结果，丢弃小于 的 ， 调整阈 步减少检测征点的数量，确 征值大于周围像素的点

征点。接下来确 征点的主方向，如

图2(b) ， 征点 心，6S(S 征点在的尺

）为半

，在

60°扇形范围内

按照距离特征点的远近贡献大小，统计覆盖区域内所

有点X、Y方向的特征并计算 方向，然后历整区域， 长 方向

征点的主方向。按照上述步骤， 计算

征点的主方

向，如图2(c)所示。

(a)关键特征点提取 （b)主方向计算

(=

定位结果

图2

关键特征点提取过程点的64 征描述算子。5

) 结步骤1 的位置信息，提取经纬度坐标数据， 征描述算子中，生 L〇cati〇n-SURF

图像特征描述。

通过上述5步即可检测提取出图像的所有关键 特征点和描述信息。

1.2样本库构建

图像特征点检 生 的样本特征点数

据，地 网具有准确

位置， 据 需要控

网精

点，已广泛应用于位置服

地理

国 诸多方面[1536]。本文结合地 网理

[17]在区域范围进行地 网 的划分，通位置建立地

网

与图像特征点的索引机制，进而数据的集

速率。地

网是指按

的

数学法 地球表面进行划分 的格网，基于小范围区域的网 分方法有3种:按照方网 分的规

网、按 街区划分的不规

网和按行政区划

分的地 网。结本文研究的区域范围，采用方

网

分的方式构建地 网模型， 下：

1) 地图处理。将研究区域范围的地形图进行坐标配准，建WGS84 间参考开展矢量化操作。

2) 地 网分 。 纬 上 2 网点的经度坐标A(!，\"），B(!2，\"），据式（3) 计算距离/:

D = Rxarccos( cos \"1cos \"2cos ( !1 - !2 ) + sin \"1sin \"2 ) ( 3 )

其中，R代表地球半径。

(J地理格网划分图

50计算机与现代化2018年第6期

于场景目标横跨格网

场景③横跨A、B : 2 引

数据的冗余，计算机

来说，如图5

网， 的 标

树索

历目标物的所有特

征点进行 ，每 的数据 增多，导致

下降。本文基于Location-SURF图像特征描述中 的位置信息，将此类目标场景进行分割，按照图像的 位置与格网 建立索引， 在 计算时匹配所在 网 的特征点。如图3(b) ，标场景分为区域1和区域2，应的特征点分别与各自的

网建立索引，减少征点的冗余。按照空间四 图3

试验区域地图

按照2\"格网间隔进行计算经度方向 57 m，

纬度方向距离 62 m，确保设备在格网 采集图像可获 标的整 ，图3(J 户外场景试验区地 网划分图。

3\"地 网编码。 网代码由象限代码、网间距代码、间隔单位代码、纬经度代码和秒纬、经 网代码共18位组成，如图4 。

图3中左上角网格坐标计算

网格代码

NE02S2912100181242， 类， 区域地理

网 分编码，上述 试验区域地理网格的

分级与编码。

基于空间地理位置， 征点与地 网格按空间 树索引[1839]的机制，将区域 分区域' 网'目标场景'特征点层次的树形结构，图5 本文建立的 树结构，右图自上而下根节点

由ABCD这4 网构成的区域，中间节点网格，叶子节点 的建 ，每一建 若干特征点，通树形结构建立索引关系，具有 的区域空间数据 检索效率。

树索引规则，建

本数据库表，将1. 1节：取

的特征点存储，构建目标特征点的样本库。

1.3特征图像生成

征图像是指采用二进制编码将位置、角信息

频帧数据嵌入，生的具有唯一标识的特征图像

信息数据。数据 文 文 2个部分信息，文

存

经纬度坐标、方向角度、分辨

信

息，文 存 频帧数据信息。 频的获取可调用Android手机的onPreviewFrame!\"接口，实时 截取每 频流生成图像。在增强现，需要保证设备的稳 ， 姿态变 因素的干扰[20]。图6 机竖直静止状态下的方位征，X轴水平向右，Y轴垂直向上，Z轴指向屏幕正 面，Pitch 顶底部翘起的角度，R8表示左右侧翘起的角度，Azimuth 顶部朝向与正北方向的角度。

分 置XYZ方向上的运动阈值，在

一

时间内 阈 采集图像，同时 Azi­

muth 和 GPS 坐标数据 ，写入编码数据中。

1.4训练匹配

训练 方法的 步，也

本文方法

否成功的

要依据。

征图像信息数据进行

解析，按照1.1节图像特征点检测方法，

据特

2018年第6期毕金强等：一种基于SURF与地理格网模型的增强现实方法51

征图像解析的经纬度坐标确定采集点所在的 网

# 网内 的目标元素特征点集合，结方位角计算可进一步缩 的目标范围。其次

点，采用欧氏距离与样本库的特征点向量 进行相似

点， 2 点 例阈值，

本库的特征点数

历点集的方式非

，求 氏距离 的前2个关的距离 的距离小于比

点。针图像特征点与样的点集，采用 搜索

时，本文采用X-d树算

征点，匹

利用 场景图像（

2

在户外 位置采集了 9幅室外

图像样功的特征本相近

图像与样本库采集图像接近），

生成的特征描述

征点共计814# ，与本库中270

本特征点（指图像特征点检 信息的集合)进行。表1 点数，结

采集的图像与样本库

功；图8展 。试验结

图像与样本1进行训练匹配的效 本文方法是正确、可行的。

法[21_22] 每 征点的近似

图7 。

图7训练匹配效果图

上述4节述了本文方法，在显 求的特征点的中心点并挂接

增强信息，返

进行三维注册。

2

实验分析及应用

2.1

实验分析

本文选取宁波环球航运广场户外场景区域，面

0.376 km2。 确保移动设备在 网 ：

倾 获 标的整体，试区域按2〃x2〃划分成28 网，共采集270余增强现 标图像，

建立20余

本特征数据

。

证本文所提

方法的有

正确性，开展了 2组试验。

1)行试验。

表1

目标与样本特征点匹配表

名称征点点数

点数

点数

匹配数

(样本1)

(样本2)

(样本E)

功图像111361

0否图像271101否图像3116314否图像411241177是图像5647134否图像6141800否图像777563否图像8856491是图像9

920

0

0

否

图8目标与样本特征点匹配图

2)准确性试验。由于特征点空间具有

，相似的距离

有

大量的错误匹配问题。该试验在上一试验的基础上，

通调整 功点位（图像4与样本2、图像8与样本1)的例阈值，逐步排

的

点，图9显例阈 范围 内的 本

数 。 阈 置 时，

点数量多但

，阈

置较

低时， 准确度高但数量少。综 数量与准确2 方面因素得出，比例阈 置为0.5〜0.6之

间时， 足 的数 足

准确程度，可以

得

的 训练

结 。

(J图像4与样本2匹配

52

计算机与现代化

&2018年第6期

综上，本文方法具有更筒的

2.2系统应用

基于本文

的方法，采用

采集、网

输、

数据分析、增展

层技术架构，利用空间数据库

进行样本数据存储，开发 动增强现 (MARS)， 采集和增强展示数据利用An­

droid

m，数据的分析与

4G

计算在数据和结

服务器端进行，通网 输实时

， 结构如图11 。在 构建 ：

(b)图像8与样本1匹配

图5 例阈值与 数 系

6)

分。

在2组试验的基础上进行

计算和时间复

杂度的 ，进步分析本文 方法的 。设置

点位的比例阈 0. 5,采用SURF算法和本文方法分别计算5幅图像的正确 点数 用的时

间， 计算结 图10(a)

，时间

结

图10(b)

&

结果看，图像4和图像8

功，匹

配率在95i 上，得本文方法与SURF在匹配

上基本保持一致。从时间 结果看，本文方法可

快速进行地

网定位并进行

，耗费时间较短。

场景的2层图框架，一层 像机视图，用于

显 场 频画面;一层模型视图，用于

注册的 增强信息，通过2层图的叠加建立现实

与 物体的坐标 联， 增强显示

&

感知采集层增强展示层图像、传感器信息采集

增强信息显示

智能端

，

r

个

图像特征生成

三维注册

/^Q|XX1

络fs trU

Tr

^

、解析、运算

匹配、输出模型

r

数据分析层

t

数据：空间数据引擎+关系数据库存储

服

务端

图

11系统体系结构

模型采用Unity6D软 ，将模型设计在软件

中的坐标轴原点，以物 象中心为轴心，建立模型面和点， 后进行 贴图，生增强显示模

型文件，如图12

&交通大厦

图12增强显示模型

试验区域户外建筑物进行 ，开启手机摄像

GPS

器，对准标建筑物，生

征图像并上

服

算，

功后

增强信息

2018年第6期毕金强等：一种基于SURF与地理格网模型的增强现实方法

standing ( CVIU)，2008，110 (3) $346-359.

53

于屏幕上，图13 (a)和图13 (b)分别为环球航运大厦

通大厦的增强现

&

[5] Wagner D，Reitmayr G，Mulloni A，et al. Pose tracking

from natural features on mobile phones [ C ]// Proceedings of the 7th IEEE/ACM International Symposium on Mixed and Augmented Reality (ISMAR’08) . 2008 : 15-18.

[6] 李扬，孙超，张明敏，等.跟踪与匹配并行的增强现实注

册方法[J].中国图象图形学报，2011，16(4):680-685.

[7] 王涌天，林偯，刘越，等.亦真亦幻的户外增强现实系

-

的数

建[J].中国科学基金，2006,20

(a)环球航运大厦

（b)交通大厦

图13增强现实应用效果图

3结束语

针对开展户外增强现实存在空间范围广、相似纹

理多等问题，本文

基于SURF与地

网的

动增强现实方法，该方法 构建静态样本库，划

分地 间格网，建

树空间索引机制存储图像

征点，采集图像特征和位置角度信息利用二进 编码生

征图像，最后通过计算特征点的欧氏距

离，采用k-d树算法 征点的训练 。通过2

组试验的分析与

，验证方法的有

正确，基于该方法开发 动增强现

，实现了

户外场景增强现实显示， 地应用于室内

范围场 精细场景。在户外 环境下进行场

时，

照、阴

雨

因素

导致

，下一步将针

对该方法考虑增加光照模型等内容， &

参考文献：

)1 ] ，王涌天，沈浩，等.增强现实混合跟踪技术综述

[J].自动化学报，2013,39(8):1185-1201.

)2] Lowe D G. Distinctive image features from scale-invariant

keypoints[ J]. International Journal of Computer Vision， 2004，60(2) $91-110.

[3] Rosten E，Drummond T. Fusing points and lines for high

performance tracking) C]// Proceedings of the 10th IEEE International Conference on Computer Vision. 2005，2: 1508-1515.

[4] Bay H，Ess A，Tuytelaars T，et al. Speeded-up robust fea­

tures (SURF ) [ J ]. Computer Vision and Image Under­

(2) $76-80.

[8] Oliva A，Torralba A. Modeling the shape of the scene: A

holistic representation of the spatial envelope [ J ]. Interna­tional Journal on Computer Vision，2001，42(3) $145-175.[9] Vogel J，Schiele B. Natural scene retrieval based on a se­

mantic modeling step [ C]// The 3rd International Confer­

ence on Image and Video Retrieval. 2004 $207-215.[10] 范志强，赵沁平.一种基于数据聚类的

SIFT特征

方法[J].计算机研究与发展，2012,49(5)$1123-

1129.

[11] 秦磊，高文.基于内容相关性的场景图像分类方法[J].

计算机研究与发展，2009，46(7)$1198-1205.

[12] ，岩，李建增，等. 征检测子鲁棒性与速方法的

分析[J].电光与 ，2017(8)$24-28.

[13]

，

，

奎，等.基于SURF-BRISK的目标识

与定位方法研究[J].长安大学学报（自科学

版），2016,36(3)$93-101.

[14] 菁，林树忠，倪建云，等.基于Hein矩阵的指纹细 节点提取方法[J].光电工程，2008,35(11)$134-138.

[15] 琳.建立新国家地 网服务地理国 初探

[J].测绘通报，2011(12)$1-2.[16]

文，

.国家地 网在数字城市建设中的应

用[J].测绘通报，2012(4)$92-94.

[17 ] GB/T 12409-2009，地理格网[S ].[18]郭 薇，郭菁，

.空间数据库索引技术[M].上海：

上

通大学出版社，2006.[19]

科，

虎，马廷，等.基于数据分治与双层索引的

行点面叠加分析方法研究[J].地理与地理信息科学，2015，31 (2) $1-6.

[20] ，杨晓刚，郭鸿飞，等.结合图像识别的移动增强现

计与应用[J].中国图象图形学报，2016,21

(2) $184-191.[21]

贵

，袁志勇，童倩倩，等.层次结构Kd树的立体图

像快速匹配方法[J].软件学报，2016,27 (10)$ 2462­

2472.

[22]陈 剑虹，韩小珍.结合FAST-SURF和改进k-d树最近邻

的图像配准[J].西安理工大学学报，2016,32

(2) $213-217.