路途全景图像带的摄取、生成、传输和显示方法

1.一种路途全景图像带的摄取、生成、传输和显示方法，其特征在于按如下步骤进行：1)路途全景图像带的摄取和生成：将摄像机记录在录像带上的沿途景观图像逐帧输入计算机，或将摄像机连在带有实时图像输入装置的计算机上，将摄取的图像实时输入计算机，在图像平面中设定的和摄像机运动方向相交的固定位置上抽取一维的图像线，并将这些图像线按时间在计算机内存中排列，从而构造出沿路途方向即时间轴排列的二维的路途全景图像带或路途全景图像筒；2)进行图像处理以消除因载体振动所导致的图像波折：通过抽取路途全景图像中与运动方向接近的边，并追踪连续的乃至不剧烈间断的线段，然后通过中值滤波的方法拉平图像带中的所摄景物的构造线，将振动所导致的波折成分消去，中值滤波是对图像中各个横向位置上被追踪的曲线族的纵座标值进行的，中值滤波考虑曲线上各点和前后的点列的纵座标值分布，除去曲线上纵向的突变点，根据纠正突变点时纵向位移量，将所在位置上的垂直图像线纵向位移，即将纵向图像线和它前后的图像线排齐持平，这样就把路途全景图像中因振动引起曲折的直线拉直；3)采用分段数字系列传输方式，使路段全景图像能动态实时传输；将路途全景分割为很多的片段，即若干根图像线组成一段，对应于一个路段，根据用户界面的输入的所要观察的道路位置，计算道路上的位置并动态选择图像段用于实时的传输显示，图像段的数量随路途长度的增长而增加，在显示用户当前正在观察的图像段外，还传输与其相邻的图像段，以缓冲对相连图像数据的连续需求，构成虚拟导航；4)使用二维图像变换方法，实现路段全景图像的多种显示方式：根据各种不同的显示方式，一一计算路途全景图和各所需的图像屏面之间图像点的位置变换函数，然后作图像变换将路途全景图的各点的色彩投至显示屏幕上的相应位置上，实现路途侧面视窗显示，路途全景图像带的前方显示，360度环景嵌入显示，全景图像筒的显示；5)利用在城市街道和交叉路口摄取的路途全景图像和局部环景图像，构成完整的城市街景图库，构筑城市空间的视觉模型，用视觉信息提供网上的城市信息检索和虚拟导航。
2.如权利要求1所说的路途全景图像带的摄取、生成、传输和显示方法，其特征在于在生成路途全景图像带或路途全景图像筒时使用多台摄像机或一台摄像机和锥形类反光镜所构成的全方位摄像系统。

路途全景图像带的摄取、生成、传输和显示方法\n技术领域\n本发明涉及一种新型数字媒体——路途全景图像带的的制作方法，包括它的摄取、生成、传输和显示方法，属于计算机通信、媒体技术、数字信息技术领域。\n背景技术\n在互联网普及的今天，将一城市或一设施的空间和视觉信息在网页上介绍已起到了很大的作用。但是，这样的网页显示多用2维图像和地图来实现。90年代初本发明人发明的数字360度环景图像，是将录像机在固定位置上作圆周性旋转，并将连续的图像系列输入计算机，通过计算机图像处理，将各图像中某一固定位置上的细小的图像片段自动连接起来而得到的(Jiang Yu Zheng，SaburoTsuji，and Minoru Asada，Color-based panoramic representation of outdoorenvironment for a mobile robot.9th International Conference on PatternRecognition，1988.Vol.2，pp.801-803.；Jiang Yu Zheng，Saburo Tsuji，Panoramic Representation for route recognition by a mobile robot.International Journal of Computer Vision，Vol.9，no.1，pp.55-76，1992)。这种360度环景图像经扩展后还能通过非连续的若干幅离散图像的“粘接”处理来实现。环景图像被商品化后产生了象QuickTime那样的软件，使得我们能在网上看到一定点位置周围的全部景观，成为最为广泛应用的虚拟现实系统之一，在旅游景点，房地产，历史文化古迹的展示方面起了极为重大的作用。\n然而，360度环景图像仅是固定位置观察出去的图像表现形式，要完整连续地显示象整条街道那样的景色，除了使用录像外还没有别的方法。由于录像的数据量大，在网络中的传输所需的时间长，所以还没有十分理想的网络载体能实时地显示高分辨率的街景。如现在常用的Realplayer等软件，经常由于网络速度慢或用户多而中断。用录像记录整个城市所有街道的景观由于庞大的图像数据而不可能。\n发明内容\n本发明的目的在于针对现有技术的不足，提供一种新型的图像模式—路途全景图像带的摄取、生成、传输和显示方法，使之与录像相比数据量极小，获取方便，利于在数字通讯中传输，能用于构筑都市环境的视觉模型，成为一种新型的图像媒体，在数字信息技术领域和城市发展及旅游、历史文化的记录保存等方面得到广泛的应用。\n为了实现上述目的，本发明在技术方案中，注意到当录像机横扫街景时，录像中连续的图像之间有很多重复的部分。利用这一特点压缩这部分图像数据，可获得数据量约是录像的几百分之一的图像带。由此，本发明在拍摄沿路途的录像时，从连续的图像中的某一固定的位置上抽取一维的图像线(或狭窄的图像片段)，并将这些图像线按时间在计算机内存中排列，最终生成很长的2维图像带，以覆盖绝大部分的路途景观。这相当于用1维的图像线扫描路途景观，并将连续投影成的图像线存储扩展成图像。路途全景图像带在路径的景观记录上、数字传播与显示上有其独特的效果。\n本发明的方法具体包括如下步骤：1)路途全景图像带的摄取和生成：将摄像机记录在录像带上的沿途景观图像逐帧输入计算机，或将摄像机连在带有实时图像输入装置的计算机上，将摄取的图像实时输入计算机。在图像平面中设定的和摄像机运动方向相交的固定位置上抽取一维的图像线，并将这些图像线按时间在计算机内存中排列，从而构造出沿路途方向即时间轴排列的二维的路途全景图像带或路途全景图像筒。\n2)进行图像处理以消除因载体振动所导致的图像波折：本发明通过抽取路途全景图像中与运动方向接近的边，并追踪连续的乃至不剧烈间断的线段，然后通过中值滤波的方法拉平图像带中的所摄景物的构造线，将振动所导致的波折成分消去。中值滤波是对图像中各个横向位置上被追踪的曲线族的纵座标值进行的，中值滤波考虑曲线上各点和前后的点列的纵座标值分布，能除去曲线上纵向的突变点，根据纠正突变点时纵向位移量，将所在位置上的垂直图像线纵向位移，即将纵向图像线和它前后的图像线排齐持平，这样就把路途全景图像中因振动引起曲折的直线拉直。\n3)采用分段数字系列传输方式，使路途全景图像能动态实时传输：本发明将路途全景分割为很多的片段，即若干根图像线组成一段，对应于一个路段，根据用户界面的输入的所要观察的道路位置，计算道路上的位置并动态选择图像段用于实时的传输显示，图像段的数量随路途长度的增长而增加，在显示用户当前正在观察的图像段外，还传输与其相邻的图像段，以缓冲对相连图像数据的连续需求，构成虚拟导航。\n4)使用二维图像变换方法，实现路段全景图像的多种显示方式：本发明根据各种不同的显示方式，一一计算路途全景图和各所需的图像屏面之间图像点的位置变换函数，然后作图像变换将路途全景图的各点的色彩投至显示屏幕上的相应位置上，实现路途侧面视窗显示，路途全景图像带的前方显示，360度环景嵌入显示，全景图像筒的显示。\n5)利用在城市街道和交叉路口摄取的路途全景图像和局部环景图像，构成完整的城市街景图库，构筑城市空间的视觉模型，用视觉信息提供网上的城市信息检索和虚拟导航。\n在路途全景图像带的生成方面，本发明将一至数个摄像头或一个全景摄像头安装在移动载体上，沿一路径移动并摄取录像，并对连续的图像进行实时处理，得到路途全景图像，用它对沿途景色进行记录。这样的移动载体可以是车辆、船舶、列车或带有防振装置的非机动车辆。本发明所生成的路途全景图像带将用于全面整体地记录街道景观，并作为历史档案保存起来。不同时期构成的全景图像带将用于显示城市街道的变迁。\n本发明能在网络上动态地、实时地传输路途图像带的片段并在计算机屏面上显示出路途景观。由于这种图像的数据量十分小，所以很容易将正在注视的某一段路途景观在有线或无线网络中实时传输。本发明采用了这样网络中动态传输路途全景图像带的方法，大量存储，快速传输大规模的城市路途景观，在网络上构成虚拟导游系统，并将路途全景图像带显示在移动手机的屏幕上，形成分散型城市导航系统。\n本发明还创造出了路途全景图像带的各种显示形式。它们是：路途全景图像带展开显示，路途全景图像带的显示(2维视窗显示)，路途前方景观延伸显示，路途上的环景2维显示。这些显示在互联网网页中，除构成虚拟现实型的网上旅游外，还能应用于其它数字媒体，例如地理学教育，交通管理，环境监控，地址查询，电子游戏等。\n本发明还在都市环境的视觉图像显示中将全景图像带与环景图像有机地结合起来，使在都市空间的“点”和“线”上都有图像的存储和显示，以获得对整个环境的完整记录和全方位的显示，最终实现数字化“虚拟都市”的目标。\n具体实施方式\n1、路途全景图像带的获取和生成。\n在图像平面中设定一和照相机运动方向相交的图像线，从连续摄取的图像中实时读出图像线上的图像分布值，并沿路途方向(时间轴)排列，以构造出很长的路途全景图像带。具体地可用下面的任何一种作法。用摄像机将沿途景观记录在录像带上，然后将录相中的连接图像逐帧输入计算机，并在采样到所定图像线后将其数据拷贝代入不断扩展的，存有路途全景图像的内存的尾部，然后从录相带输入下一幅图像。这样就能得到路途全景图像带。或者，使用摄像机并连接在带有实时图像输入装置的计算机图像内存，在图像内存中将图像线上的数据拷入路途全景图像的内存空间中。\n本发明中的照相机对景物的观察就如同透过一直缝看出去一样，但却把各个瞬时的细小的段片连接、合成在视觉空间(图像内存)里，形成图像。照相机扫描了沿途的景观，这样获得的路途全景图像带包含了沿途连续的景观，但却只使用很小的数据。和录像相比，这样的图像带的数据量是几百分之一。\n本发明还可以获得各种类型的扩充路途全景图像。这些路途全景摄制和生成十分方便，只要将摄影装置固定在载体上，驾驶或驱动载体沿路径行驶，并拍摄录像，就能记录沿街的全部景观。\n如在车上安放两台摄像机面对车辆行进方向的两侧，当车辆行进时拍摄两边沿街的景色，经图像处理便能构造出很长的图像带，记录了沿街的景色。\n如使用锥形或类似的反射镜配上摄像头，或指向车辆行驶方向的侧面的多个照相头，或带有鱼眼(广角)镜头的面向前方的摄像头，来获取路途全景图像筒。和前面的路途全景图像带相比，路途全景图像筒覆盖了沿途上下左右各个方面的景观内容，且构成一连续的圆周。这样的圆周图像环连续不断地随着车辆的行进而延伸，形成一沿路径的路途全景图像筒。\n2、用图像处理的方法消除载体振动所导致的图像波折的成份。\n在摄取长街的路途全景图像时，由于照相机是固定在象车辆船舶那样的运动载体上的，所以不可避免地会受到载体振动的影响。每一瞬间所得到的细小图像和其前后的相邻的细小图像不再是完全连续的了。这样，在获得的路途全景图像中，便能看到本来是直线的图像特征变得弯曲，甚至折断了，这样的图像很难被观众接受。为了获得高质量的路途全景图，本发明采用了一种图像滤波和变换的方法，将图像中弯曲的或折断的线拉直。通过抽取路途全景图像带中与运动方向接近的边，并追踪连续的乃至不剧烈间断的线段，然后通过中值滤波的方法拉平图像带中的所摄景物的构造线，将车辆或船舶振动所导致的波折成分消去。经过这样的变换，得到将振动导致的曲线拉平的新图像。\n本发明上述提到的抽边是图像处理中的通用的特征抽取方法。可计算图像微分(差分)后加上二值化运算完成。追踪连续图像也是运用常用的图像处理法完成。中值滤波是对图像中各个横向位置上被追踪的曲线族的纵座标值进行的，中值滤波考虑曲线上各点和前后的点列的纵座标值分布，能除去曲线上纵向的突变点，也即振动引起的折断的直线。根据纠正突变点时纵向位移量，将所在位置上的垂直图像线纵向位移，这便能将纵向图像线和它前后的图像线排齐持平，把路途全景图像中因振动所至的曲折的直线拉直。\n3、分段数字系列(String)传输的技术，使路途全景图像能动态实时传输。\n当路途全景图像延伸到数公里或更长时，它在网络中的传输会由于数据量随路径长度的线性递增而影响显示。本发明为解决这一问题采用了分段数字系列传输的方法。使路途全景图像能动态实时的传输。这种方法不是将整条街道路途全景图统一地传输后显示，而是将路途全景分割为很多的片段，即若干根图像线组成一段，对应于一个路段。根据用户界面的输入的所要观察的道路位置(用鼠标按屏幕上显示的地图及道路位置)，计算道路上的位置并动态选择图像段用于实时的传输显示。图像段的数量随路途长度的增长而增加。在显示用户当前正在观察的图像段外，还传输与其相邻的图像段，以缓冲对相连图像数据的连续需求，构成虚拟导航。结合路途全景图像数据量小的特点，可实时地将动态景观显示在视窗中，以满足访问者前后位移、浏览、搜寻路景的要求。本发明的传输软件不用下载，便能在网页的视窗程序中显示。\n4、路途全景图像带的显示方法。\n本发明在路途全景图像带的2维图像显示上采用以下几种方式：(1)路途侧面显示视窗：这就象乘车观望侧面街景时的感觉。这种显示是连续的，前后进退自如的。图像带和其他网页还能连动，使其成为进一步检索的目录、索引。这样的显示通过路途全景图像的平移便能实现。\n(2)路途全景图像带的前方显示：路途两侧的全景图像带变形后，显示在同一屏幕上，展示路途延伸的感觉。这样的路途景观显示随着用户鼠标的移动而前后移动。在显示时，我们可以采用图像投影(texture mapping)的方法将两侧的路途全景图像影射到向远处沿伸的平面上，以得到街景的效果，或者将图像进行与此类似的2维变换得到。\n(3)360度环景嵌入显示：将两侧的路途全景图像带变形或嵌入360度环景图像中，并随视者位置的移动将路途全景图像带转动，这样造成前后移动的动态感觉。路途全景图像带包含路途两侧的景物，它在路途上所有各点的片段，都被融入这样的环景2维图像中，并沿光流场的方向移动。\n(4)全景图像筒的显示：对于路途全景图像筒也做类似于360度环景图像的扩张显示。和360度环景显示相比，这儿的图像在上下方向上扩展了视野，这样就能摄入和显示许多高层建筑。\n为了实现上述显示，可以使用2维图像变换方法，具体地根据各种不同的显示方式，一一计算路途全景图和各所需的图像屏面之间图像点的位置变换函数，然后作图像变换将路途全景图的各点的色彩投至显示屏幕上的相应位置上便能实现。这样的瞬时图像变换是根据用户的控制而实时进行的，用户或观察者能通过鼠标或其它界面选择路断获得动态的路途全景图显示，以感受到在道路上移动的实际感觉。\n5、用路途全景图像和局部环景图像构筑城市空间的视觉模型。\n本发明将一都市空间按地图划分成定点和“路线”，在这些点和线上分别摄有360度环景图像和路途全景图像，以构成完整的城市景观图库，实现网络上的都市虚拟环境。在路途的交叉点上也拍摄360度环景图像。局部的环景图像和路途全景图像带吻合，显示时能平滑地转换于环景和路途全景图像之间。或者在交叉路口摄下全景(球体投影)图像，和那儿的路途全景图像筒在该位置上完全吻合。这样，当在屏幕上显示虚拟路途行驶，从一路径转到相交路径时，就有了足够的图像数据在屏幕上的显示从一路途全景图像切换成交点处360度环景图像，再切换到下一路途全景图像的过程。这样的显示是平滑连续的。在虚拟都市环境的显示中配有2维地图，用鼠标对地图上所定义的点和路线的指定就能在相应的视窗里展示图像片段和全景，用视觉信息提供网上的城市信息检索和虚拟导航。\n本发明的路途全景图像带能够开辟数字媒体、网络通信、艺术游戏等方面的新的应用。利用网络介绍地区设施时，突破了以往固定视点的图像模式。本发明连续移动的路径图像模式可以更全面地概括一地区的综合景观。\n本发明的路途全景图像带摄取方便。只要驱车行驶并拍摄录像，即可从中抽取得到。对路途的景观描述可以扩展到数十公里，用同样的方法继续延伸，则对于任何长度的路径都能摄取。在一个城市中，对所有路径都进行扫描，也就能构筑一城市的街景图库。在网络上结合地图，配合查寻，便能提供城市中每一街道和地点的视觉显示，对信息技术的发展意义重大。\n本发明路途全景图像带对保存历史文化遗产有其特殊的意义，能对历史古城的景观和细部需要完整地记录，高效地构造出古城的视觉模型，以弘扬文化精髓，并供后代研究。\n本发明的路途全景以其很小的数据量，获得了有线网络或无线移动通信传输中极为有利的效果。实时地传输全景图像，克服了网络中录像传输时图像小，分辨率低，中断多等缺点，使用户能通过高精度的路途全景图像带自由自在地访问街景。\n如果将路途全景图像带在移动手机的屏幕上位移，还能作为都市导航的新兴工具，用于商业、房地产、文化、建筑、历史、旅游等的指路系统。\n如果在数字摄像机上安插一生成路途全景图像芯片，还有可能用一般家庭用的数字摄像机实地拍摄生成路途全景图像带，然后用移动电话向外传输。这种传输可将某些灾害现场的景观和状态通过大视野图像全面，完整，及时地传往灾害监测控制中心，利于准确有效地做出决断和指令。\n由于路途全景图像的显示可以由最简单的2维图像平移拷贝方法来实现，所以，路途全景图像带可作为电子游戏的背景显示，在广告、娱乐上都有广泛的应用前途。\n总之，本发明是融合计算机图像及图形，多媒体网络通讯技术于城市信息系统的一典型发明，对于城市或设施的信息的传播和检索有着十分重要的意义。