基于内容的视频分析融合系统

1.一个基于内容的视频分析融合系统，其特征在于：包括：
一个融合管理单元，用于将视频、音频、字幕分析的结果进行提 取、优化、融合，进而进行审核、入库；
一个结果审核单元，将视频、音频、字幕分析的结果进行显示， 并且为用户提供接口，使用户通过插入、删除、平移操作对分析 结果进行修改、细化；
一个核心数据库，用以保存整个系统所需要处理的管理任务以及 系统的基本配置信息；
一个设备管理单元，用于监视视频分析服务器、音频分析服务器、 字幕分析服务器、元数据库、特征数据库、流媒体FTP服务器、 临时文件FTP服务器设备的状态；
一个集中控制单元，用于对整个视频分析系统进行控制，集中发 布命令；
一个基本信息配置单元，用于对整个系统的基本信息进行配置。
2.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元针对一个视频分析文件需要经过分析、融合、 审核、入库四个步骤才能够进入到特征数据库。
3.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元针对同一个视频文件需要经过视频分析、音 频分析、字幕分析三种分析才可以进入到融合阶段。
4.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元解析视频分析结果、音频分析结果、字幕分 析结果，根据视频分析结果的场景、镜头信息对音频分析结果、 字幕分析结果进行融合。
5.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元需要对融合结果进行优化，以保证融合结果 在特征数据库中便于查询。
6.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元的入库操作是将融合结果生成XML文件然 后插入到特征数据库中。
7.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：在融合管理单元中，一个待融合文件有如下几种状态：未 处理状态、正分析状态、可融合状态、可审核状态、可入库状 态、处理完成状态；其中正分析状态包括开始视频分析状态、 开始音频分析状态、开始字幕分析状态、视频分析结束状态、 音频分析结束状态、字幕分析结束状态。
8.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元中，待处理的视频文件审核阶段是可供用户 选择的。
9.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元中，待处理的视频文件的审核需要显示经过 融合后的视频的场景和镜头信息。
10.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元中，待处理视频文件的审核需要逐帧显示视 频图像，并且提供添加、删除、平移场景和镜头的接口。
11.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：融合管理单元中，待处理视频文件的审核操作需要保存用 户对场景和镜头信息的修改。
12.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：核心数据库包括基本视频信息、基本任务信息、文件状态 信息和访问元数据库信息；其中基本视频信息包括节目ID、节 目名称、导演、演员、产地、文件格式、文件大小、片长、节 目地址、节目文件名、上载时间、上载地址、节目级别字段； 基本任务信息包括任务ID、屏幕长度、屏幕宽度、帧率字段。
13.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：设备管理单元需要实时监控视频分析服务器、音频分析服 务器、字幕分析服务器的状态，如果某个服务器不在线，则需 要立即通知给用户。
14.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：设备管理单元需要对各个元数据库、特征数据库进行监控， 如果发现其不在线，则需要立即通知给用户；其中元数据库包 括视频元数据库、音频元数据库、图片元数据库；特征数据库 包括视频特征数据库、音频特征数据库、字幕特征数据库。
15.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：设备管理单元需要对各类FTP服务器进行监控，如果发现 其不在线，则通知用户；其中FTP服务器的类型有流媒体FTP 服务器和临时文件FTP服务器两类。
16.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：集中控制单元需要对所有待处理和已处理文件进行管理。
17.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：集中控制单元需要根据用户所选中的文件为用户提示该文 件的下一步操作。
18.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：集中控制单元需要严格按照分析、融合、审核、入库的操 作流程来处理文件。
19.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：集中控制单元需要定时监控元数据库中是否有新的文件产 生，如果有新的文件，则需要将信息更新到核心数据库和任务 链表中。
20.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：集中控制单元通过TCP/IP协议与视频分析服务器、音频分 析服务器、字幕分析服务器进行信息传递。
21.如权利要求1所述的基于内容的视频分析融合系统，其特征在 于：基本信息配置单元配置整个系统所必须的参数，包括各个 元数据库的服务器名、数据库名、用户名、密码；各个特征数 据库的服务器名、数据库名、用户名、密码；包括所述流媒体 FTP服务器和临时文件FTP服务器在内的各个FTP服务器的IP 地址、用户名、密码；来自所述流媒体FTP服务器的各个文件 是否需要审核。

技术领域\n本发明涉及基于内容的视频分析，更特别地，涉及基于内容的视 频分析管理系统及融合系统。\n背景技术\n基于内容的视频检索是指根据视频节目内容方面的特征进行视 频节目的检索。目前，业界已经有一些针对视频节目的检索系统，这 些系统都是将已有的视频文件进行人工注释，其核心技术仍然是传统 的基于文字的检索技术。但是，人工的注释往往受到主观因素的影响， 无法客观的刻画出视频节目的真正特征。此外，人工的为视频节目进 行注释工作量很大，造成生产效率的低下，也增加了企业的用人成本。 基于内容的视频检索可以避免人工注释所带来的缺点。基于内容的视 频检索由于自动化的提取视频特征，从而方便了检索服务的提供方， 由于允许用户提交样例文件作为检索条件，从而方便了用户的使用， 由于为用户提供了除文字以外的其他检索条件，从而避免了由于用户 描述模糊而带来的烦恼。\n图1是视频搜索系统的整体结构图。\n从图1可以看出视频搜索整个系统由视频内容分析集群、检索服 务器集群和客户端搜索工具三部分构成，其中视频内容分析集群包 括：内容分析调度服务器、视频分析服务器、音频分析服务器、字幕 分析服务器、融合分析服务器；视频检索服务器集群包括视频搜索调 度服务器、视频特征数据库、字幕特征数据库、语音缓冲检索数据库、 语音最优化数据库、语音特征数据库、视频元数据库、音频元数据库、 图片元数据库。视频内容分析集群中的融合分析服务器上就运行着基 于内容的视频分析融合系统。\n在视频搜索系统中，视频分析融合系统是视频内容分析集群和视 频检索服务器集群的桥梁，该系统监视和管理各种分析服务器、元数 据库、特征数据库，同时该系统也将视频分析、音频分析、字幕分析 的结果进行融合、审核，最后入库到各个特征数据库中。\n发明内容\n本发明旨在提供一个控制系统，该系统可以适用于基于内容的视 频分析融合。\n本发明的一个目的是可以有效地控制用于视频分析的视频分析 服务器、音频分析服务器、字幕分析服务器，使其正常运转。\n本发明的另一个目的是可以使一个被分析文件按照分析、融合、 审核、入库的流程进行。\n为了实现这些目的和其他优点并根据本发明的目的，如这里所列 举和广泛描述的一样，根据本发明的基于内容的视频分析融合系统如 图2所示，包括以下几个部分：融合管理单元、结果审核单元、集中 控制单元、设备管理单元、核心数据库和基本信息配置单元。\n融合管理单元的主要功能是处理视频分析、音频分析、字幕分析 的结果，对各个结果进行整合、优化，并且将生成结果审核、入库；\n结果审核单元的主要功能是将经过融合的分析结果显示在界面 上，并且为用户提供增加、删除、平移场景和镜头的操作，使用户 能够人工对场景镜头进行修改，然后再将用户修改的结果保存起来；\n集中控制单元的主要功能是监视元数据库是否有新的文件产生、 管理所有的任务按照分析、融合、审核、入库的流程进行；\n设备管理单元的主要功能是监视各个相关设备的状态，相关设备 包括：视频分析服务器、音频分析服务器、字幕分析服务器、视频元 数据库、音频元数据库、图片元数据库、视频特征数据库、音频特征 数据库、字幕特征数据库、视频特征FTP服务器、音频特征FTP服务 器、字幕特征FTP服务器、临时文件FTP服务器、流媒体FTP服务器；\n核心数据库存储视频分析融合系统的所有的基本视频信息、基本 任务信息、文件状态信息、访问元数据库信息；\n基本信息配置单元的主要功能是管理视频分析融合系统所必须 的参数，包括各个数据库的用户信息、各个FTP服务器的用户信息、 各个任务的基本配置信息等。\n应该理解，本发明的前面的一般描述和随后的详细描述都是示范 性和解释性的，目的是提供所要求的发明的进一步解释。\n附图说明\n图1为视频搜索系统结构图；\n图2为视频分析融合系统结构图；\n图3为设备管理单元所管理的设备示意图；\n具体实施方式\n参见图2及图3；视频分析融合系统将每一个经过转码并且在视 频元数据库中生成记录的文件作为一个任务，以该文件在元数据库中 的ID值来标识任务。每个任务有可能有以下几种状态：未处理状态、 正分析状态(开始视频分析状态、开始音频分析状态、开始字幕分析 状态、视频分析结束状态、音频分析结束状态、字幕分析结束状态)、 可融合状态、可审核状态、可入库状态、处理完成状态。对于每个任 务的处理也需要严格按照分析、融合、审核、入库流程进行，换句话 说，每个任务必须经过未处理状态、正分析状态、可融合状态、可审 核状态、可入库状态、处理完成状态才能完成整个的视频分析流程。\n在操作视频分析融合系统之初，必须对基本信息配置单元进行配 置。基本信息配置单元所需要配置的内容主要包括以下几个方面：\n1)视频元数据库的服务器名、数据库名、用户名、用户密码、 最大连接数、最小连接数；\n2)音频元数据库的服务器名、数据库名、用户名、用户密码、 最大连接数、最小连接数；\n3)图片元数据库的服务器名、数据库名、用户名、用户密码、 最大连接数、最小连接数；\n4)视频特征数据库的服务器名、数据库名、用户名、用户密 码、最大连接数、最小连接数；\n5)音频特征数据库的服务器名、数据库名、用户名、用户密 码、最大连接数、最小连接数；\n6)字幕特征数据库的服务器名、数据库名、用户名、用户密 码、最大连接数、最小连接数；\n7)核心数据库的服务器名、数据库名、用户名、用户密码、 最大连接数、最小连接数；\n8)视频特征FTP服务器的IP地址、用户名、用户密码、上传 路径；\n9)音频特征FTP服务器的IP地址、用户名、用户密码、上传 路径；\n10)字幕特征FTP服务器的IP地址、用户名、用户密码、上传 路径；\n11)流媒体FTP服务器的IP地址、用户名、用户密码、上传路 径；\n12)临时文件FTP服务器的IP地址、用户名、用户密码、上传 路径；\n13)任务是否需要进行审核操作；\n以上各个参数是视频分析融合系统所必需的系统参数，是系统访 问各个数据库、FTP服务器的基础。\n在运行视频分析融合系统之前，还需要配置核心数据库，核心数 据库包括基本视频信息、基本的任务信息、文件状态信息、访问元数 据库信息。下面对各种信息做详细的介绍：\n基本视频信息包括：节目ID、节目名称、导演、演员、产地、文 件格式、文件大小、片长、节目地址、节目文件名、上载时间、上载 地址、节目级别；\n基本任务信息包括：任务ID、屏幕长度、屏幕宽度、帧率；\n文件状态信息包括：任务ID、任务状态(任务状态包括未处理状 态、正分析状态、可融合状态、可审核状态、可入库状态、处理完成 状态)；\n访问元数据库信息包括：程序最后访问元数据库时间，默认时间 为1900年1月1日0时0分0秒。\n在视频分析融合系统启动以后，设备管理单元就开始监视各个设 备。设备管理单元所管理的设备如图3所示，该单元监视视频分析服 务器、音频分析服务器、字幕分析服务器、核心数据库、视频元数据 库、音频元数据库、字幕元数据库、视频特征数据库、音频特征数据 库、字幕特征数据库、视频特征FTP服务器、音频特征FTP服务器、 字幕特征FTP服务器、流媒体FTP服务器、临时文件FTP服务器。 设备管理单元通过定时发送数据包给相应的分析服务器，来检查各个 分析服务器是否在线，并且将该信息及时反应到界面。当设备管理单 元在打开数据库或者连接FTP服务器出现问题时，也会及时将消息 反应到界面，并且写入日志。\n在视频分析融合系统启动以后，视频分析融合系统的集中控制单 元就会定时轮循视频元数据库，以获得最新的转码文件信息。集中控 制单元记录下当前时间，然后根据对元数据库的最后访问时间(从核 心数据库查询得到)查询元数据库中该时间之后的所有记录，并且返 回给集中控制单元。如果返回的结果集非空，则表示有新的转码文件 产生，集中控制单元则将该文件作为新的任务，标识该任务的状态为 开始状态，将该任务保存在本地数据库中，同时给界面发送更新消息， 使界面及时更新。\n用户界面显示所有任务的列表，并记录该任务的当前状态。当某 一任务是未开始状态时，界面需要根据各个分析服务器的连接情况而 显示用户可以发送的分析请求，举个例子，如果视频分析服务器在线， 而音频分析服务器、字幕分析服务器不在线，则界面只允许用户发送 视频分析请求。下面以用户发出一个视频分析请求为例，描述具体的 分析过程：\n首先，集中控制单元接收到该视频分析请求，并且检查视频分析 服务器是否在线；\n第二，集中控制单元将该任务组成一个数据包，发送给视频分析 服务器，数据包的内容主要包括：任务ID、任务基本信息(屏幕长 度、屏幕宽度、帧率)、文件的基本信息(供视频分析服务器显示)；\n第三，集中控制单元更新该任务的状态为开始视频分析状态；\n第四，集中控制单元更新核心数据库中该任务的状态值为开始视 频分析状态；\n第五，集中控制单元更新界面上该任务的状态为“正在视频分析 状态”；\n考虑到对于一个任务，视频分析、音频分析、字幕分析的开始、 结束时间并不相同，因此将任务状态值的低8位分别表示以上几种状 态：\n开始视频分析状态用0x01表示；\n开始音频分析状态用0x02表示；\n开始字幕分析状态用0x04表示；\n视频分析结束状态用0x10表示；\n音频分析结束状态用0x20表示；\n字幕分析结束状态用0x40表示；\n当任务状态变化时，就加上新的状态值。在本例子中，任务的状 态变为0x01。\n视频分析服务器在接收到一个新任务之后，就会处理该任务，当 该任务处理完毕之后，视频分析服务器就将分析结果写入XML文件， 并且上传到临时文件FTP服务器，之后给视频分析融合系统发送任 务结束数据包，该数据包的主要内容是：分析完毕的任务的ID。\n视频分析融合系统的集中控制单元如果接收到视频分析服务器发 送来的分析结束消息，则将该任务的状态值加上0x10，同时判断该 任务是否视频分析、音频分析、字幕分析均已结束，判断方法就是计 算该任务的状态值的视频分析结束位、音频分析结束位、字幕分析结 束位是否为1，如果视频分析、音频分析、字幕分析均已结束，则该 任务的状态值应变为可融合状态。\n集中控制单元需要将上面所计算出的状态值更新到核心数据库和 界面上。\n以上描述集中控制单元对视频分析、音频分析和字幕分析的控制 流程。该流程保证了视频分析、音频分析、字幕分析完全结束之后才 能够融合的整体流程。\n在一个任务进入可融合状态之后，用户就可以对该任务发送融合 请求。融合模块根据任务的ID到临时文件FTP服务器上下载相应的 分析结果。为了方便访问，视频分析融合系统对于所有生成文件的命 名做了统一的规定：\n视频分析的结果XML命名为：PID_video.xml；\n音频(语音)分析的结果XML命名为：PID_audio.xml；\n音频(拼音)分析的结果XML命名为：PID_voice.xml；\n字幕分析的结果XML命名为：PID_text.xml\n经过融合后的视频分析的结果XML命名为：PID_DBvideo.xml；\n经过融合后的语音分析的结果XML命名为：PID_DBaudio.xml；\n经过融合后的拼音分析的结果XML命名为：PID_DBvoice.xml；\n经过融合后的字幕分析的结果XML命名为：PID_DBtext.xml；\n经过融合后的统一的结果XML命名为：PID_DBmerge.xml；\n上面的PID代表该任务的ID；\n视频分析结果XML文件中记载着如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 场景关键帧ID、镜头ID)；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 镜头关键帧ID)；\n4)关键帧信息(包括关键帧ID、关键帧的特征数据)。\n音频(语音)分析结果XML文件记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)音频片断基本信息(包括片断开始时间、结束时间、音频类 型、特征数据ID)；\n3)语音特征信息(特征数据ID、特征数据)；\n音频(拼音)分析结果XML文件记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)音频片断基本信息(包括片断开始时间、结束时间、音频类 型、特征数据ID)；\n3)拼音特征信息(特征数据ID、特征数据)；\n字幕分析结果XML文件记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)字幕串基本信息(包括串开始时间、结束时间、特征数据 ID)；\n3)字幕特征信息(字幕特征信息ID、字幕特征信息)；\n经过融合后的视频分析的结果XML记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 场景关键帧ID、镜头ID)；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 镜头关键帧ID)；\n4)关键帧信息(包括关键帧ID、关键帧的特征数据)。\n经过融合后的语音分析的结果XML记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 镜头ID)；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 语音特征信息ID)；\n4)语音特征信息(包括语音特征信息ID、语音特征信息)。\n经过融合后的拼音分析的结果XML记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 镜头ID)；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 拼音特征信息ID)；\n4)拼音特征信息(包括拼音特征信息ID、拼音特征信息)。\n经过融合后的字幕分析的结果XML记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 镜头ID)；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 字幕特征信息ID)；\n4)字幕特征信息(包括字幕特征信息ID、字幕特征信息)。\n经过融合后的统一的结果XML记载如下内容：\n1)所解析的文件的基本信息(包括媒体文件路径、媒体类型 等)；\n2)场景信息(包括场景ID、场景开始时间、场景结束时间、 镜头ID，场景特征数据)，其中场景特征数据包括场景关键 帧信息、场景音频特征数据信息、场景拼音特征数据信息、 场景字幕特征数据信息；\n3)镜头信息(包括镜头ID、镜头开始时间、镜头结束时间、 镜头特征数据)，其中镜头特征数据包括镜头关键帧信息、 镜头音频特征数据信息、镜头拼音特征数据信息、镜头字幕 特征数据信息；\n融合过程就是将视频分析、音频分析、字幕分析所生成的XML 文件经过解析、提取场景镜头信息、优化、进而形成融合后文件。各 个融合后文件均包括场景和镜头信息，这样在检索过程中，只要查询 条件与其中某一类特征信息相匹配，就可以知道该信息所在的文件路 径和在文件中的具体位置。\n以上介绍的分析、融合流程均是计算机自动完成的，而审核流程 就需要人来参与场景、镜头信息的划分。审核流程是可选流程，用户 可以通过对基本配置信息单元的配置而选择是否进入审核流程，如果 用户选择不进入审核流程，则在融合流程之后任务自动转换为可入库 状态，如果用户选择进入审核流程，则在融合流程之后任务转换为可 审核状态。\n审核流程首先将从流媒体FTP服务器上下载当前需要处理的媒体 文件，然后经过抽帧程序顺次抽出所有帧，分批显示在审核界面上。 用户可以通过对视频帧的比较，判断出视频文件的场景、镜头信息。 审核流程为用户提供了增加、删除、平移场景和镜头信息的操作，用 户可以对融合后的场景、镜头信息进行微调、细化。审核流程将用户 所做的修改保存起来，进而形成各种融合后的XML文件。\n审核流程之后，集中控制单元将任务的状态变为可入库状态，同 时将该状态值更新到核心数据库和视频分析融合界面。\n可入库流程将融合后的XML文件分别上传到视频特征FTP服务 器、音频特征FTP服务器、字幕特征FTP服务器，然后调用视频特 征数据库、音频特征数据库、字幕特征数据库的控制接口将XML文 件保存在各个特征数据库中，完成入库操作。\n完成入库流程之后，集中控制单元将任务的状态变为处理完成状 态，同时将该状态值更新到核心数据库和视频分析融合界面。\n参照其示例性实施用例本发明已经被具体的显示和描述，本领域 的普通技术人员将会理解，在不脱离所附权利要求所定义的本发明的 精神和范围的情况下，可对其进行形式和细节的各种改变。