Web搜索中的图文协同方法

暂无

一、技术领域\n本发明涉及一种网页处理装置，特别涉及一种应用于Web搜索的图文协同方 法。\n二、背景技术\n随着多媒体技术和互联网络的迅速发展，Web逐渐成为人们最重要和快捷的 信息来源以及最常用的信息交互平台。由于Web本身的信息量巨大并且内容复 杂，用户从互联网上寻找信息非常困难，因此，设计有效的Web搜索技术成为一 项重要的工作。目前的Web搜索技术大多使用的是网页中的文本内容信息，或者 是网页之间的链接包含的信息，没有考虑网页包含的图像等信息内容，其检索性 能有待进一步提高。\n三、发明内容\n1、发明目的：本发明的主要目的是针对目前Web搜索技术没有很好地利用 网页中的图像内容这一问题，提供一种结合网页中相关文本描述和图像视觉内容 的技术，通过有效地利用网页中的图像内容辅助提高Web搜索的性能。\n2、技术方案：为实现本发明所述目的，本发明所述的一种应用于Web搜索 的图文协同方法，包括以下步骤：(1)获取初始搜索产生的网页；(2)基于网页 中文本描述初步搜索网页中与查询相关的图像；(3)通过对获得图像的视觉内容 的分析，产生查询的图像特征表示；(4)基于网页中图像内容的相关度对网页重 新排序；(5)结合根据不同信息产生的网页序列生成最终的搜索结果；(6)结束。\n下面将结合附图对最佳实施例进行详细说明。\n四、附图说明\n图1是网页处理装置工作流程图。\n图2是本发明方法的流程图。\n图3是产生查询的图像特征表示的流程图。\n图4是根据网页中图像内容对网页排序的流程图。\n图5是生成最终的搜索结果的流程图。\n五、具体实施方式\n如图1所示，网页处理装置接受用户提交的由关键字、词组成的查询，使用 经典的基于关键词的Web搜索技术对Web进行搜索，产生初始搜索结果。假设初 始搜索的结果中包含了M个网页的链接，结合对应网页中的文本描述和图像内 容，使用图2中的图文协同技术改善搜索效果，最后将最终搜索结果返回给用户。\n本发明的技术如图2所示。步骤10是初始动作。步骤11获取初始搜索结果 中M个链接对应的网页。步骤12利用网页中与图像相关的文本描述，使用基于 文本的Web图像搜索技术从获得的网页中搜索与查询相关的图像。这里的基于文 本的Web图像搜索是通过对图像所在网页中文本的分析，基于与图像相关的文本 描述，搜索网页中与查询相关的图像，可以使用现有的基于文本的Web图像搜索 技术。假设初步搜索共获得N幅相关图像，组成图像集合C。步骤13通过对获 得图像的视觉内容的分析，产生查询的图像特征表示，该步骤将在后面的部分结 合图3进行具体介绍。步骤15利用获得的查询的特征表示，基于网页中图像的 内容对网页重新排序。该步骤将在后面的部分结合图4进行具体介绍。步骤17 同时考虑初始搜索产生的网页序列和重新排序后获得的网页序列，结合两种根据 不同信息产生的网页序列，生成最终的网页序列。该步骤将在后面的部分结合图 5进行具体介绍。步骤18是图2的结束状态。\n图3详细说明了图2中的步骤13，其作用是生成查询的图像特征表示。步 骤130是初始动作。步骤131生成获得的N幅图像对应的N个图像特征表示并组 成集合I，可以使用数字图像处理教科书中的经典方法生成适用的图像特征，例 如颜色、纹理、形状等特征，这样，每幅图像由一个特征向量表示，因此可以看 成是特征空间中的一个点。步骤132判断I中剩余的图像是否超过20幅，是则 执行步骤133，否则转步骤139。步骤133将图像计数参数i置为1。步骤134 判断i是否不大于N，是则执行步骤135，否则转到步骤137。步骤135计算特 征空间中第i幅图像对应特征位置的密度，计算方式如下：\n$f^D\left(x_i\right)=\underset{k=1}{\overset{N}{\Sigma }}{e}^{-{\Sigma }_j{(x_{\mathrm{ij}}-x_{\mathrm{kj}})}^2}$\n其中xi表示I中的第i幅图像对应的特征表示，xij表示I中的第i幅图像 在第j个特征上的取值。步骤136将图像计数参数i加1，然后转到步骤134。 步骤137使用得到的密度对I中的图像排序，因为与查询相关的图像都包含了用 户感兴趣的内容，具有相似的特征，将密集分布于特征空间中，在特征空间中对 应位置处具有较大的密度；而不相关的图像由于具有歧义等原因，包含的内容各 不相同，将散布于特征空间中，在特征空间中对应位置处密度较小。因此，将按 密度排序时密度较小而排在后面的一半图像特征从I中去除，I中保留的是更为 相关的图像。图3的步骤138将I中的图像数N设为原来的一半，然后转到步骤 132。步骤139获得的是I中剩余的密度最大的一些图像，它们最可能与查询相 似，因此计算它们的中心作为查询的图像特征表示，计算方式如下：\n$q_j=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{x}_{\mathrm{ij}}$\n其中qj表示查询在第j个特征上的取值。使用每一特征的标准差的倒数作为衡 量特征重要程度的权值，标准差σj的计算方式如下：\n${\sigma }_j=\sqrt{\frac{1}{N-1}\underset{i=1}{\overset{N}{\Sigma }}{(x_{\mathrm{ij}}-q_j)}^2}$\n步骤140是图3的结束状态。\n图4详细说明了图2的步骤15，其作用是基于获得的查询的图像特征表示， 根据网页中的图像内容与查询的相似度对网页重新排序。步骤150是初始动作。 步骤151将网页计数参数u置为1。步骤152判断u是否不大于网页总数M，是 则执行步骤153，否则转到步骤160。步骤153取出初始检索获得的第u张网页 中包含于C的Nu幅图像，并生成对应的特征。步骤154将网页中图像计数参数v 置为1。步骤155判断v是否不大于Nu，是则执行步骤156，否则转到步骤158。 步骤156基于图像特征计算网页中第v幅图像与查询间的加权欧氏距离作为图像 和查询的相似度，加权欧氏距离的计算式为：\n$D\left(x_v\right)=\sqrt{\underset{j}{\Sigma }{\left[\frac{1}{{\sigma }_j}(x_{\mathrm{ij}}-q_j)\right]}^2}$\n其中符号的含义与前面各式相同。\n步骤157将网页中图像汁数参数v加1，然后转到步骤155。步骤158从第 u张网页包含的Nu幅图像与查询的相似度中选择最高的相似度，作为网页与查询 的相似度。对于Nu为0，即不包含C中图像的网页，相似度设为0。网页的这个 相似度是基于包含图像的内容的相似性所作的评价。步骤159将网页计数参数u 加1，然后转到步骤152。步骤160根据获得的各网页与查询的相似度对网页排 序，对于相似度为0的网页，相互之间按初始的网页序列中的顺序排列。这是基 于网页中图像的视觉内容信息产生的网页序列。步骤161是图4的结束状态。\n图5详细说明了图2的步骤17，其作用是根据不同信息产生的网页序列分 别计算网页的相关度，并结合两者生成网页的最终序列。步骤170是初始动作。 步骤171获取网页的初始序列和基于图像内容产生的序列。步骤172将网页计数 参数u置为1。步骤173判断u是否不大于网页总数M，是则执行步骤174和步 骤175，否则转到步骤178。步骤174根据第u张网页在初始序列中的位置计算 网页的相关度，计算方式如下：\n$R_{1u}=Z_1^{-1}\frac{1}{T_1+n_{1u}}$\n其中n1u为第u张网页在初始序列中的位置，R1u为计算获得的网页相关度。T1是 计算时使用的参数，可以根据需要将其设置为一个具体的整数值，例如780，Z1 是规范化因子，使得\n$\underset{u=1}{\overset{M}{\Sigma }}{R}_{1u}=1$\n步骤175根据第u张网页在基于图像内容产生的序列中的位置计算网页的相 关度，计算方式如下：\n$R_{2u}=Z_2^{-1}\frac{1}{T_2+n_{2u}}$\n其中n2u为第u张网页在基于图像内容产生的序列中的位置，R2u为计算获得的网 页相关度。T2是计算时使用的参数，可以根据需要将其设置为一个具体的整数值， 例如720，Z2是规范化因子，使得\n$\underset{u=1}{\overset{M}{\Sigma }}{R}_{2u}=1$\n步骤176将根据不同信息获得的网页的两个相关度求均值，作为网页最终的相关 度。例如对第u张网页，其最终的相关度为\n$\frac{R_{1u}+R_{2u}}{2}.$\n步骤177将网页计数参数u加1，然后转到步骤173。步骤178根据获得的所有 网页的最终相关度对网页排序，获得网页的最终序列。步骤179是图5的结束状 态。\n熟知本领域的人士将理解，虽然这里为例便于解释已描述了具体实施例，但 是可在不背离本发明精神和范围的情况下作出各种改变。因此，除了所附权利要 求之外不能用于限制本发明。