基于条形码的增强现实方法、系统及移动终端

1.一种基于条形码的增强现实方法，其特征在于，包括：
用摄像机捕获当前场景图像，所述当前场景图像包括目标图像和条形码,所述条形码标志的内容为目标图像的索引值；
解析所述条形码，并根据解析出的条形码内容在图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像及视频资源URI；
实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；
根据所述单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型；
对所述视频资源进行音视频分离和解码，得到视频各帧图像序列和音频数据；
将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；
将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。
2.如权利要求1所述的方法，其特征在于，所述条形码包括一维条形码或二维条形码或彩色条形码。
3.如权利要求2所述的方法，其特征在于，所述对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵，包括：
对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到当前场景图像整幅图像的特征描述数据；
根据当前场景图像的特征描述数据及样本图像的特征描述数据，对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵。
4.一种基于条形码的增强现实系统，其特征在于，包括摄像模块、图像特征提取模块、条形码解码模块、搜索模块、图像跟踪配准模块、音视频分离及解码模块、图像渲染模块、虚实融合显示模块，其中：
摄像模块，用于捕获当前场景图像，所述当前场景图像包括目标图像和条形码,所述条形码标志的内容为目标图像的索引值；
条形码解析模块，解析摄像模块捕获的条形码，得到摄像模块捕获图像中的目标图像的索引值；
搜索模块，根据条形码解析模块解析出的索引值，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像跟踪配准模块，同时将匹配成功的视频资源URI传递给音视频分离及解码模块；
所述音视频分离及解码模块，根据搜索模块得到的视频资源的URI，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；并将所述视频各帧图像序列传递给图形渲染模块，将所述音频数据传递给虚实融合显示模块；
图像特征提取模块，对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据；
图像跟踪配准模块，根据搜索模块返回的样本图像的特征描述数据及图像特征提取模块产生的当前场景图像的特征描述数据，实时连续地对摄像模块捕获的当前场景图像和样本图像进行跟踪配准，得到单应性矩阵；
所述图形渲染模块，根据图像跟踪配准模块计算出的单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，完成图形渲染；
所述虚实融合显示模块，将摄像机模块捕获的当前场景图像与图形渲染模块渲染的虚拟信息融合输出显示，并同步输出音频数据。
5.如权利要求4所述的系统，其特征在于，所述条形码为一维条形码或二维条形码或彩色条形码。
6.一种移动终端，其特征在于，所述移动终端包括权利要求4或5所述的基于条形码的增强现实系统。

基于条形码的增强现实方法、系统及移动终端\n技术领域\n[0001] 本发明涉及移动增强现实领域，尤其涉及一种基于条形码的增强现实方法、系统及移动终端。\n背景技术\n[0002] 近年来，条形码技术(包括一维条形码、二维条形码等)得到了广泛应用，同时增强现实(AR，Augumented Reality)技术也在一些应用中开始出现，增强现实是在真实环境呈现的场景中，借助与计算机图形技术和可视化技术，将虚拟信息实时“无缝”与之融合，利用虚拟信息对真实场景进行补充、增强，能可给予用户完全区别于传统PC平台的全新的感知体验和交互模式。\n[0003] 现有条形码技术和增效现实技术一般都是单独使用的，单独使用条形码只能得到条形码对应的网址，使用起来不够炫；而单独使用现有增强现实技术，系统的响应时间长，海量数据应用可行性低。\n[0004] 当然也有少数公开方案将条形码与增强现实技术结合，如中国发明专利CN200910224378.9(公布号：CN102087743A)中公开了一种条形码扩充实境系统与方法，其技术方案中，条形码扩充实境方法主要是根据取得的条形码标志的空间信息，将虚拟信息堆栈到实境影像或另一背景图像中(参见权利要求16及说明书[0038]、[0041]段)，该方法虚拟信息的堆栈位置，主要取决于条形码标志的影像信息，如果在虚拟信息堆栈过程中，将该条形码部分或全部遮挡，该方法将无法找到虚拟信息堆栈位置，造成堆栈位置偏差，影响用户体验。\n发明内容\n[0005] 本发明的目的是提供一种基于条形码的增强现实方法、系统及移动终端，用完全不同于上述专利公开的技术，将人们开始广泛使用的二维码与增强现实技术相结合，既解决了单独使用条形码不够炫，又能解决单独使用现有增强现实技术响应时间长的问题，能给予用户完全区别于传统拍照应用的全新感知体验和交互模式。\n[0006] 为了实现上述发明目的，本发明提供了一种基于条形码的增强现实方法，包括：\n[0007] 用摄像机捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值；\n[0008] 解析所述条形码，并根据解析出的条形码内容在图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像及虚拟信息资源URI；\n[0009] 实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；\n[0010] 根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息。\n[0011] 优选的，所述条形码为一维条形码或二维条形码或彩色条形码。\n[0012] 优选的，所述对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵，包括：对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到当前场景图像整幅图像的特征描述数据；根据当前场景图像的特征描述数据及样本图像的特征描述数据，对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵。\n[0013] 优选的，当所述与目标图像匹配的虚拟信息资源为视频资源时，还包括：对所述视频资源进行音视频分离和解码，得到视频各帧图像序列和音频数据；\n[0014] 而所述根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息步骤，进一步包括：\n[0015] 根据所述单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型；\n[0016] 将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；\n[0017] 将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。\n[0018] 相应的，本发明还提供了一种基于条形码的增强现实系统，包括摄像模块、图像特征提取模块、条形码解码模块、搜索模块、图像跟踪配准模块、图像渲染模块、虚实融合显示模块，其中：\n[0019] 摄像模块，用于捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值，所述条形码可以为一维条形码，也可以为二维条形码、彩色条形码及其衍生的编解码，还可以为自定义编解码方式编出的条码图案；\n[0020] 条形码解析模块，解析摄像模块捕获的条形码，得到摄像模块捕获图像中的目标图像的索引值；\n[0021] 搜索模块，根据条形码解析模块解析出的索引值，在图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像跟踪配准模块，同时将匹配成功的虚拟信息资源URI传递给图形渲染模块；\n[0022] 图像特征提取模块，对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据；\n[0023] 图像跟踪配准模块，根据搜索模块返回的样本图像的特征描述数据及图像特征提取模块产生的当前场景图像的特征描述数据，实时连续地对摄像模块捕获的当前场景图像和样本图像进行跟踪配准，得到单应性矩阵；\n[0024] 图形渲染模块，根据图像跟踪配准模块计算出的单应性矩阵及虚拟信息资源URI，在摄像模块捕获的当前场景图像中的目标图像位置上，渲染与目标图像匹配的虚拟信息；\n[0025] 虚实融合显示模块，将摄像模块捕获的当前场景图像与图形渲染模块渲染的虚拟信息融合输出显示。\n[0026] 优选的，所述系统还包括音视频分离及解码模块，当所述搜索模块搜索得到的与目标图像匹配的虚拟信息为视频资源时：\n[0027] 所述搜索模块将匹配成功的视频资源URI传递给音视频分离及解码模块；\n[0028] 所述音视频分离及解码模块，根据搜索模块得到的视频资源的URI，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；\n并将所述视频各帧图像序列传递给图形渲染模块，将所述音频数据传递给虚实融合显示模块；\n[0029] 所述图形渲染模块，根据图像跟踪配准模块计算出的单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，完成图形渲染；\n[0030] 所述虚实融合显示模块，将摄像机模块捕获的当前场景图像与图形渲染模块渲染的虚拟信息融合输出显示，并同步输出音频数据。\n[0031] 相应的，本发明还提供了一种移动终端，所述移动终端包括上述的基于条形码的增强现实系统。\n[0032] 本发明具有如下有意效果：\n[0033] 1、通过条形码来进行图像搜索，缩短图像配准时间，在海量样本图像条件下，仍能到达系统实时性要求，极大提高了增强现实在海量样本图像数据下的应用的可行性；\n[0034] 2、将复杂的图像搜索通过条形码、二维码及其衍生的编解码方式，简化为整形数据搜索或者字符串匹配，降低了系统是实现的难度；\n[0035] 3、由于条形码仅用于搜索，在搜索完成后，无论条形码是否遮挡，均可以准确地在目标图像上进行虚拟信息渲染。\n附图说明\n[0036] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：\n[0037] 图1为本发明实施例中基于条形码的增强现实系统结构示意图一；\n[0038] 图2为图1中系统进行虚拟信息叠加的过程及效果示意图；\n[0039] 图3为本发明实施例中基于条形码的增强现实系统结构示意图二；\n[0040] 图4为图2中系统进行虚拟信息叠加的过程及效果示意图；\n[0041] 图5为本发明实施例中基于条形码的增强现实方法的流程示意图；\n[0042] 图6为自定义条形码标志中的一种形式示意图。\n具体实施方式\n[0043] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。\n[0044] 参见图1，为本发明实施例中基于条形码的增强现实系统结构示意图一，该系统包括摄像模块1(摄像模块包括移动终端中的摄像机)、条形码解码模块2、搜索模块3、图像特征提取模块4、图像跟踪配准模块5、图像渲染模块6、虚实融合显示模块7，其中：\n[0045] 所述摄像模块1，用于捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值，所述条形码可以为一维条形码，也可以为二维条形码、彩色条形码及其衍生的编解码，还可以为自定义编解码方式编出的条码图案(参见图6)。所述摄像模块1分别与条形码解码模块2、图像特征提取模块4和虚实融合显示模块7相连，摄像模块1将捕获的条形码图像传递给条形码解码模块2进行解码，将捕获的当前场景图像传给图像特征提取模块4用于特征提取，同时将捕获的图像传递给虚实融合显示模块7用于融合输出显示。\n[0046] 所述条形码解析模块2，用于解析摄像模块1捕获的条形码，得到摄像模块1所捕获的图像中的目标图像的索引值；\n[0047] 所述搜索模块3，用于根据条形码解析模块2解析出的索引值，在服务器端的图像数据库中进行搜索，将匹配成功的样本图像的特征描述数据传递给图像跟踪配准模块5，同时将匹配成功的虚拟信息资源URI传递给图形渲染模块6。本实施例中条形码与样本图像是一一对应的，因此系统能够通过对条形码的解码搜索到相匹配的样本图像及其相关资源。\n[0048] 所述图像特征提取模块4，用于对摄像模块捕获的当前场景图像进行特征点检测及提取，并生成特征点描述，得到当前场景图像的特征描述数据，并将其传递给图像跟踪配准模块5。\n[0049] 所述图像跟踪配准模块5，根据搜索模块3返回的样本图像的特征描述数据及图像特征提取模块4产生的当前场景图像的特征描述数据，实时连续地对摄像模块1捕获的当前场景图像和样本图像进行跟踪配准，计算摄像模块的姿态，得到单应性矩阵，并将单应性矩阵传递给图形渲染模块6。\n[0050] 所述图形渲染模块6，根据图像跟踪配准模块5计算出的单应性矩阵及搜索模块3返回的虚拟信息资源URI，在摄像模块1捕获的当前场景图像中的目标图像位置上，渲染与目标图像匹配的虚拟信息；\n[0051] 虚实融合显示模块7，将摄像模块1捕获的当前场景图像与图形渲染模块6渲染的虚拟信息融合输出显示。\n[0052] 在本实施例中，由于搜索是按照条形码代表的索引值进行的，摄像模块1可以一直同时拍摄条形码与目标图像，也可以先拍摄条形码，再拍摄目标图像，即摄像模块先拍摄条形码实现搜索，再通过拍摄目标图像实现图像跟踪配准，以叠加虚拟信息。在搜索过程完成后，无论条形码是否处于遮挡状态或是否处于摄像模块拍摄范围内，虚拟信息的叠加均不受影响。\n[0053] 参见图2，为图1中系统进行虚拟信息叠加的过程及效果示意图，摄像模块捕获的当前场景图像即图2中的真实场景图像，如图2示例：真实场景图像中包含有目标图像和位于目标图像附近的条形码，该条形码解码后得到目标图像的索引值(如图2中的\n110101101001100011)，根据该索引值，在服务器端的图像数据库中进行搜索，得到匹配的样本图像和虚拟信息资源(或虚拟信息资源的URI)，所述虚拟信息资源的内容可以是3D模型或者视频，如图2以3D模型资源为例。在通过条形码搜索到样本图像以后，对摄像机捕获的真是场景图像和样本图像进行配准并跟踪，计算摄像机的姿态，得到单应性矩阵，并根据单应性矩阵，在摄像机捕获图像中的目标图像位置上渲染所述3D模型。\n[0054] 本发明实施例中，根据索引的不同，样本图像的存储结构与搜索方式也有差异：若索引为无符号整形，则使用B树，B+树，B*树，Hash表等方法进行索引；若索引为字符串，则使用字典树。除了使用标准的一维条形码和二维码编解码来实现图像搜索功能，也可自定义编解码方式和条码图案，来满足美观上的需求。例如图6所示，将条形码用黑白方块代替，其中黑色代表1，白色代表0，反之亦可，如此与产品Logo融为一体(图6中的Idealsee为Logo)，既不会给用户突兀的感觉，又能用简单的编解码方式得到目标图像的索引，需要说明的是，图6中的自定义编码方式仅仅为一种示例，并不代表仅能用这种自定义编码形式，不能作为对本发明的限定。\n[0055] 参见图3，为本发明实施例中基于条形码的增强现实系统结构示意图二，本实施例增强现实系统在图1的基础上增加了一个音视频分离及解码模块8，当所述搜索模块3搜索得到的与目标图像匹配的虚拟信息为视频资源时：\n[0056] 所述搜索模块3将匹配成功的视频资源URI传递给音视频分离及解码模块；\n[0057] 所述音视频分离及解码模块8，根据来自搜索模块3的视频资源的URI，找到对应的视频文件，并对所述视频文件进行音视频分离和解码，得到视频各帧图像序列和音频数据；并将所述视频各帧图像序列传递给图形渲染模块6，将所述音频数据传递给虚实融合显示模块7；\n[0058] 所述图形渲染模块6，根据图像跟踪配准模块5计算出的单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型，并将音视频分离及解码模块提取出来的视频各帧图像作为纹理逐帧映射到所述3D模型上，并实时更新，完成图形渲染；\n所述与目标图像完全覆盖包括与目标图像重合，例如：当目标图像为长方形时，可绘制出完全与目标图像重合的长方形平面3D模型，而当目标图像为非矩形形状时，则绘制出完全覆盖该目标图像的矩形平面3D模型。\n[0059] 所述虚实融合显示模块7，将摄像机模块1捕获的当前场景图像与图形渲染模块6渲染的虚拟信息融合输出显示，并同步输出音频数据。\n[0060] 音频数据和视频帧图像能够实现同步，需要在视频文件分离为视频流和音频流之后，对两者进行数据包分割。其中，视频数据包根据其时间戳按照先后顺序组成链表，形成一个有序队列，分别对每个数据包进行解码并提取其中的图像，则得到视频每一帧的图像序列，用时间戳控制图像序列的输出。图形渲染模块则将视频帧图像作为纹理映射到3D模型上时，由于输出图像随时间有序变化，3D模型的纹理也随之变化，完成视频的播放。此外，音频流也被分为数据包，以视频数据包的时间戳为基准，调整音频数据包的输出，使音视频同步输出。\n[0061] 本发明实施例能通过将虚拟视频文件分离解码，将视频叠加到真实场景中，如：能将报刊杂志等平面媒体上的图片信息，通过本系统转化为视频信息，视频与图片在空间位置上完全贴合，使用户获得“寓情于景”的全新视听体验。\n[0062] 参见图4，为图3系统中虚拟信息叠加的过程及效果示意图，同样是通过条形码解码出来的索引值，去服务器端的数据库中搜索匹配的样本图像和虚拟信息资源。当搜索出的虚拟信息资源为视频资源时，首选绘制出与目标图像位置重合的3D模型，同时将视频文件分离解码，从分离出来视频帧图像序列中提取出视频各帧图像，并将其作为纹理逐帧映射到长方形平面3D模型上，实时更新，完成图形渲染，实现将视频叠加到真实场景中的目标图片上，同时根据视频图像的渲染进度同步输出从视频文件中分离出来的音频数据。\n[0063] 参见图5，为本发明实施例中基于条形码的增强现实方法的流程示意图，包括如下步骤：\n[0064] S101：用摄像机捕获当前场景图像，所述当前场景图像包括目标图像和条形码，所述条形码标志的内容为目标图像的索引值，所述条形码可以为常规使用的一维条形码或二维条形码或彩色条形码，也可以为自定义的各种编码。\n[0065] S102：解析所述条形码，并根据解析出的条形码内容(即索引值)在服务器端的图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像及虚拟信息资源URI；\n[0066] S103：实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；\n[0067] S104：根据所述单应性矩阵及虚拟信息资源URI，在摄像机捕获的当前场景图像中的目标图像位置上，渲染并输出显示所述与目标图像匹配的虚拟信息。\n[0068] 其中，步骤S103中，得到单应性矩阵的过程具体为：对摄像机捕获的当前场景图像进行特征检测，提取出图像特征点，并对图像特征点进行特征描述，得到当前场景图像整幅图像的特征描述数据；根据当前场景图像的特征描述数据及样本图像的特征描述数据，对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵。\n[0069] 优选的，当步骤S102中搜索得到的与目标图像匹配的虚拟信息资源为视频资源时，本发明实施例中，增强现实的方法还包括：对所述视频信息进行音视频分离和解码，得到视频各帧图像序列和音频数据；在这种情况下，步骤S104进一步包括：根据所述单应性矩阵，绘制出能将当前场景图像中的目标图像完全覆盖的矩形平面3D模型；将所述视频各帧图像序列中的视频帧图像作为纹理逐帧映射到所述3D模型上，进行图形渲染；将摄像机捕获的当前场景图像与渲染的3D模型融合输出显示，并同步输出所述音频数据。\n[0070] 在本实施例方法中，由于搜索是按照条形码代表的索引值进行的，摄像机可以一直同时拍摄条形码与目标图像，也可以先拍摄条形码，再拍摄目标图像，即摄像机先拍摄条形码实现搜索，再通过拍摄目标图像实现图像跟踪配准，以叠加虚拟信息。在搜索过程完成后，无论条形码是否处于遮挡状态或是否处于摄像模块拍摄范围内，虚拟信息的叠加均不受影响。本发明实施例基于条形码的增强现实方法的过程及效果，同样可参见图2或图4。\n[0071] 本发明除了上述的增强现实系统和方法外，还提供了一种移动终端，所述移动终端包括上述的基于条形码的增强现实系统。\n[0072] 本发明通过条形码或二维码来进行图像搜索，缩短图像配准时间，能在海量样本图像条件下，达到系统实时性要求。\n[0073] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。\n[0074] 本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。\n[0075] 本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。