一种图像融合的方法、装置和设备

暂无

一种图像融合的方法、装置和设备\n【技术领域】\n[0001] 本发明涉及计算机图像处理技术领域，特别涉及一种图像融合的方法、装置和设备。\n【背景技术】\n[0002] 随着智能终端的不断普及，人们利用智能终端进行图像处理的需求越来越高，各类美颜类APP受到爱美人士的广泛青睐。在这类APP中，常常会涉及到图像融合处理，现有的图像融合处理的复杂度较大，使得在图像融合涉及到的像素面积较大时，计算量引起的时间成本很大，实时性难以保证，并且对系统资源的消耗和占用都很大。\n【发明内容】\n[0003] 有鉴于此，本发明提供了一种图像融合的方法、装置和设备，以便于降低图像融合的计算量，降低时间成本和资源消耗。\n[0004] 具体技术方案如下：\n[0005] 本发明提供了一种图像融合的方法，该方法包括：\n[0006] 确定图像中的融合区域，得到第一模板；\n[0007] 对所述第一模板进行降采样，得到第二模板；\n[0008] 对第二模板中的各像素点的像素值进行归一化，得到第三模板；\n[0009] 对所述第三模板进行升采样，得到第四模板，所述第四模板的像素点个数等于所述第一模板的像素点个数；\n[0010] 将所述第四模板中各像素点的像素值分别作为所述图像中对应像素点的权重，对所述图像中融合区域各像素点和融合素材进行加权融合。\n[0011] 根据本发明一优选实施方式，所述确定图像中的融合区域，得到第一模板包括：\n[0012] 对图像中的融合目标进行特征点定位，所述特征点包括轮廓点；\n[0013] 利用定位出的特征点，去除图像中除融合目标之外的区域，得到第一模板。\n[0014] 根据本发明一优选实施方式，对所述第一模板进行降采样，得到第二模板包括：采用仿射变换的方式，对所述第一模板进行降采样，使得到的第二模板的像素点个数为第一模板的 倍，所述N为2以上的正整数；\n[0015] 对所述第三模板进行升采样，得到第四模板包括：采用逆仿射变换的方式，对所述第三模板进行升采样，使得到的第四模板的像素点个数为所述第三模板的N倍。\n[0016] 根据本发明一优选实施方式，在所述对第二模板中的各像素点的像素值进行归一化之前，该方法还包括：\n[0017] 对第二模板的边缘进行平滑处理。\n[0018] 根据本发明一优选实施方式，所述对第二模板的边缘进行平滑处理包括：\n[0019] 将所述第二模板中融合区域的轮廓点分别向外和/或向内扩展M个像素点，所述M为预设的正整数，将扩展的像素点所包围的区域作为待平滑区域；\n[0020] 将预定义的平滑模板仿射到所述待平滑区域，得到平滑后的第二模板。\n[0021] 根据本发明一优选实施方式，所述将预定义的平滑模板仿射到所述待平滑区域包括：\n[0022] 将所述平滑模板中像素点的像素值，仿射为所述待平滑区域中对应位置像素点的像素值。\n[0023] 根据本发明一优选实施方式，所述将预定义的平滑模板仿射到所述待平滑区域包括：\n[0024] 在所述平滑模板上的平滑区域和所述第二模板上的待平滑区域分别采用相同的方式进行三角剖分，得到相同个数的三角区域；\n[0025] 将所述平滑模板中各三角区域分别仿射到第二模板中对应位置的三角区域。\n[0026] 根据本发明一优选实施方式，在所述对第二模板中的各像素点的像素值进行归一化之前，该方法还包括：\n[0027] 对所述图像中的融合区域进行亮度统计；\n[0028] 依据亮度统计结果，对平滑处理后的第二模板进行亮度调整。\n[0029] 根据本发明一优选实施方式，所述依据亮度统计结果，对平滑处理后的第二模板进行亮度调整包括：\n[0030] 确定所述图像中的融合区域的亮度均值和平滑处理后的第二模板的亮度均值之间的差值；\n[0031] 将平滑处理后的第二模板中各像素点的亮度值分别加上所述差值。\n[0032] 根据本发明一优选实施方式，对所述图像中融合区域各像素点和融合素材进行加权融合包括：\n[0033] 利用Imagei_new＝weight_maski*Imagei_old+(1-weight_maski)*Colori，确定融合后得到的各像素点的像素值；\n[0034] 其中Imagei_new为所述图像中融合区域融合后得到的第i个像素点的像素值，weight_maski为所述第四模板中第i个像素点的像素值，Imagei_old为所述图像中融合区域第i个像素点的像素值，Colori为融合素材提供的第i个像素点的像素值。\n[0035] 根据本发明一优选实施方式，该方法应用于美颜类APP；\n[0036] 所述融合区域为人脸区域；所述融合素材为粉底色。\n[0037] 本发明还提供了一种图像融合的装置，该装置包括：\n[0038] 模板确定单元，用于确定图像中的融合区域，得到第一模板；\n[0039] 降采样单元，用于对所述第一模板进行降采样，得到第二模板；\n[0040] 归一化单元，用于对第二模板中的各像素点的像素值进行归一化，得到第三模板；\n[0041] 升采样单元，用于对所述第三模板进行升采样，得到第四模板，所述第四模板的像素点个数等于所述第一模板的像素点个数；\n[0042] 加权融合单元，用于将所述第四模板中各像素点的像素值分别作为所述所述图像中对应像素点的权重，对所述图像中融合区域各像素点和融合素材进行加权融合。\n[0043] 根据本发明一优选实施方式，所述模板确定单元，具体用于：\n[0044] 对图像中的融合目标进行特征点定位，所述特征点包括轮廓点；\n[0045] 利用定位出的特征点，去除图像中除融合目标之外的区域，得到第一模板。\n[0046] 根据本发明一优选实施方式，所述降采样单元，具体用于采用仿射变换的方式，对所述第一模板进行降采样，使得到的第二模板的像素点个数为第一模板的 倍，所述N为2以上的正整数；\n[0047] 所述升采样单元，具体用于采用逆仿射变换的方式，对所述第三模板进行升采样，使得到的第四模板的像素点个数为所述第三模板的N倍。\n[0048] 根据本发明一优选实施方式，该装置还包括：\n[0049] 边缘平滑单元，用于对所述第二模板的边缘进行平滑处理，将平滑处理后的第二模板输出给所述归一化单元。\n[0050] 根据本发明一优选实施方式，所述边缘平滑单元，具体用于：\n[0051] 将所述第二模板中融合区域的轮廓点分别向外和/或向内扩展M个像素点，所述M为预设的正整数，将扩展的像素点所包围的区域作为待平滑区域；\n[0052] 将预定义的平滑模板仿射到所述待平滑区域，得到平滑后的第二模板。\n[0053] 根据本发明一优选实施方式，所述边缘平滑单元在将预定义的平滑模板仿射到所述待平滑区域时，具体执行：\n[0054] 将所述平滑模板中像素点的像素值，仿射为所述待平滑区域中对应位置像素点的像素值。\n[0055] 根据本发明一优选实施方式，所述边缘平滑单元在将预定义的平滑模板仿射到所述待平滑区域时，具体执行：\n[0056] 在所述平滑模板上的平滑区域和所述第二模板上的待平滑区域分别采用相同的方式进行三角剖分，得到相同个数的三角区域；\n[0057] 将所述平滑模板中各三角区域分别仿射到第二模板中对应位置的三角区域。\n[0058] 根据本发明一优选实施方式，该装置还包括：\n[0059] 亮度调整单元，用于获取所述边缘平滑单元输出的第二模板，对所述图像中的融合区域进行亮度统计，依据亮度统计结果，对获取的第二模板进行亮度调整，将亮度调整后的第二模板输出给所述归一化单元。\n[0060] 根据本发明一优选实施方式，所述亮度调整单元在依据亮度统计结果，对平滑处理后的第二模板进行亮度调整时，具体执行：\n[0061] 确定所述图像中的融合区域的亮度均值和平滑处理后的第二模板的亮度均值之间的差值；\n[0062] 将平滑处理后的第二模板中各像素点的亮度值分别加上所述差值。\n[0063] 根据本发明一优选实施方式，所述加权融合单元，具体用于：\n[0064] 利用Imagei_new＝weight_maski*Imagei_old+(1-weight_maski)*Colori，确定融合后得到的各像素点的像素值；\n[0065] 其中Imagei_new为所述图像中融合区域融合后得到的第i个像素点的像素值，weight_maski为所述第四模板中第i个像素点的像素值，Imagei_old为所述图像中融合区域第i个像素点的像素值，Colori为融合素材提供的第i个像素点的像素值。\n[0066] 根据本发明一优选实施方式，该装置应用于美颜类APP；\n[0067] 所述融合区域为人脸区域；所述融合素材为粉底色。\n[0068] 本发明还提供了一种设备，包括\n[0069] 一个或者多个处理器；\n[0070] 存储器；\n[0071] 一个或者多个程序，所述一个或者多个程序存储在所述存储器中，被所述一个或者多个处理器执行以实现如下操作：\n[0072] 确定图像中的融合区域，得到第一模板；\n[0073] 对所述第一模板进行降采样，得到第二模板；\n[0074] 对第二模板中的各像素点的像素值进行归一化，得到第三模板；\n[0075] 对所述第三模板进行升采样，得到第四模板，所述第四模板的像素点个数等于所述第一模板的像素点个数；\n[0076] 将所述第四模板中各像素点的像素值分别作为所述图像中对应像素点的权重，对所述图像中融合区域各像素点和融合素材进行加权融合。\n[0077] 由以上技术方案可以看出，本发明采用对图像进行降采样的方式，对降采样后的融合区域进行权重计算，然后再升采样回原始图像大小，得到原始图像中融合区域各像素点在融合时对应的权重，大大降低了因权重计算所带来的计算量，降低了时间成本和资源消耗。\n【附图说明】\n[0078] 图1为本发明实施例提供的主要方法流程图；\n[0079] 图2为本发明实施例提供的一种详细方法流程图；\n[0080] 图3a为本发明实施例提供的人脸图像的示意图；\n[0081] 图3b为对图3a进行特征点定位的示意图；\n[0082] 图3c为基于图3b得到的第一模板区域的示意图；\n[0083] 图3d为图3c中基于人脸轮廓产生的待平滑区域；\n[0084] 图3e为利用三角剖分法结合平滑模板进行平滑的示意图；\n[0085] 图4为本发明实施例提供的装置结构图；\n[0086] 图5为本发明实施例提供的设备结构图。\n【具体实施方式】\n[0087] 为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。\n[0088] 在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。\n[0089] 应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。\n[0090] 取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。\n[0091] 图1为本发明实施例提供的主要方法流程图，如图1中所示，该方法主要包括以下步骤：\n[0092] 在101中，确定图像中的融合区域，得到第一模板。\n[0093] 本步骤中涉及的图像是需要进行融合处理的图像，图像中的融合区域指的是需要进行融合处理的区域。融合区域可以是指定的目标区域，也可以是通过特征点定位的方式确定的目标区域，具体将在后续实施例中详述。本步骤实际上是将图像中的融合区域截取出来，得到第一模板，可以通过将图像中融合目标之外的区域去除的方式得到。\n[0094] 在102中，对第一模板进行降采样，得到第二模板。\n[0095] 为了降低对融合区域进行融合处理所产生的计算量，在本步骤中，可以对第一模板进行降采样处理，即减少第一模板中的像素个数。\n[0096] 图像降采样的方式有很多，例如最近邻降采样法、B样条降采样法等。在本发明实施例中可以采用仿射变换的方式，例如采用对第一模板进行缩放变换的方式，设置仿射参数，使得到的第二模板的像素点个数为第一模板的 倍，所述N为2以上的正整数。\n[0097] 由于图像融合是否自然通常体现在融合区域的边缘处，因此优选地，为了使得图像融合更加的自然，可以进一步对第二模板的边缘进行平滑处理。对图像边缘进行平滑处理的方式也有很多，例如简单模糊方式、高斯模糊方式、中值滤波方式、高斯滤波方式等。在本发明实施例中可以利用预定义的平滑模板对第二模板的边缘进行平滑处理，具体将在后续实施例中详述。\n[0098] 另外，为了降低原始图像亮度与平滑处理后第二模板的亮度之间的差异所产生的影响，可以对原始的图像中融合区域进行亮度统计，依据亮度统计结果对平滑处理后的第二模板进行亮度调整，具体的调整方式将在后续实施例中详述。\n[0099] 在103中，对第二模板中的各像素点的像素值进行归一化，得到第三模板。\n[0100] 确定第三模板实际上就是确定各像素点在后续进行图像融合时，所采用的融合权重。在进行融合时，为了体现图像各像素点的特征，权重系数由第二模板中各像素点的像素值体现，在本步骤中采用对各像素点的像素值进行归一化的方式。\n[0101] 在104中，对第三模板进行升采样，得到第四模板，第四模板的像素点个数等于第一模板的像素点个数。\n[0102] 在图像融合过程中，计算量主要体现在确定融合权重的过程，进行降采样得到权重后，需要对权重进行升采样，得到原始图像中融合区域对应各像素点的权重。因此在本步骤中，对包含权重信息的第三模板进行升采样，得到第四模板。\n[0103] 同样升采样的方式也存在多种，可以采用诸如双边滤波、引导滤波、双向插值等方式。在本发明实施例中，可以采用逆仿射变换的方式，即利用步骤102中仿射变换所采用的仿射参数，对第三模板进行逆仿射变换，得到像素点个数与第一模板相同的第四模板。\n[0104] 在105中，将第四模板中各像素点的像素值分别作为图像中对应像素点的权重，对图像中融合区域各像素点和融合素材进行加权融合。\n[0105] 本发明实施例中采用的是加权融合的方式，可以利用如下公式确定融合后得到的各像素点的像素值：\n[0106] 利用Imagei_new＝weight_maski*Imagei_old+(1-weight_maski)*Colori    (1)[0107] 其中Imagei_new为图像中融合区域融合后得到的第i个像素点的像素值，weight_maski为第四模板中第i个像素点的像素值，Imagei_old为图像中融合区域第i个像素点的像素值，Colori为融合素材提供的第i个像素点的像素值。在本发明实施例中，融合素材可以是一副图像、色彩集中的一种或多种等。\n[0108] 本发明所提供的方法可以应用于对静态图像的融合处理，由于大大降低了计算量，能够保证实时性，因此也可以应用于对视频图像的融合处理。另外，本发明提供的上述方法的执行主体可以为用户终端中的应用，也可以为用户终端应用中的插件或软件开发工具包(Software Development Kit，SDK)等功能单元，或者，还可以位于服务器端，本发明实施例对此不进行特别限定。上述应用可以是诸如图像处理类应用、美颜类应用等等。下面结合图2，以美颜类应用中对人脸进行粉底试妆为例，对上述方法进行详细描述。\n[0109] 图2为本发明实施例提供的一种详细方法流程图，在本实施例中实现对图像中人脸进行粉底试妆，即将图像中的人脸区域与粉底色进行融合。如图2中所示，该流程可以具体包括以下步骤：\n[0110] 在201中，对图像中的人脸区域进行特征点定位，得到人脸的轮廓点以及预设的器官的轮廓点。\n[0111] 在本发明实施例中，并不对特征点定位的具体方式进行限制，可以采用诸如基于SDM(Supervised Descent Method，监督下降方法)模型的定位、id-exp模型定位等任意特征点定位方式，最终可以得到上述特征点的位置信息。\n[0112] 假设对图3a中的人脸区域进行特征点定位，可以得到如图3b中所示的特征点，即人脸的轮廓点以及眼睛、眉毛、嘴巴的轮廓点。需要说明的是，图3b中仅仅是示意性的，为了方便查看夸大了特征点的效果，在实际的特征点定位时，定位出的特征点数量和粒度可能与图3b中不一致。\n[0113] 在202中，利用定位出的特征点，去除图像中除人脸区域之外的区域，得到第一模板。\n[0114] 在本实施例中，实际上是去除人脸的轮廓点之外的区域，以及去除眼睛、眉毛、嘴巴的轮廓点所包围的区域。得到的第一模板区域示意性的如图3c中白色区域所示，图3c中未体现出各像素点的实际像素值。\n[0115] 在203中，采用仿射变换的方式，对第一模板进行降采样，使得到的第二模板的像素点个数为第一模板的 倍。\n[0116] 所谓仿射变换是一种二维坐标到二维坐标之间的线性变换。仿射变换可以通过一系列的原子变换来实现，包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。其中本发明实施例涉及的仿射变换是其中的缩放变换，设置合适的缩放参数(即仿射参数)，将第一模板缩小至原来的 倍，例如缩小至原来的 倍，在缩小的过程中，采样点即像素点的个数也减少至原来的 倍，也就是通常所说的图像像素变少了。\n[0117] 其中，N值越大，所产生的计算量越小，N值越小，对图片处理的质量越高，具体可以根据实际的需求进行衡量和选取。\n[0118] 在204中，将第二模板中的轮廓点分别向外和向内扩展M个像素点，得到待平滑区域。\n[0119] 本步骤实际上是为图像的边缘平滑做准备，确定待平滑区域。在本步骤中，可以将第二模板中人脸的轮廓点、眼睛的轮廓点、眉毛的轮廓点以及嘴巴的轮廓点分别向内和/或向外扩展M个像素点，M为预设的正整数，例如取3，分别得到带状的待平滑区域。所谓向内和向外扩展可以是沿着轮廓点连线的法线方向进行的两个方向的扩展。\n[0120] 示意性的如图3d所示，图3d中仅示出了人脸轮廓产生的待平滑区域，眼睛、眉毛、嘴巴轮廓产生的待平滑区域类似。\n[0121] 在205中，采用三角剖分方式，将预定义的人脸平滑模板仿射到待平滑区域，得到平滑后的第二模板。\n[0122] 对人脸边缘进行平滑处理，目的是使图像中人脸亮度平缓渐变，减小突变梯度，使得人脸边缘更加柔和自然，从而改善图像质量。\n[0123] 为了加快平滑处理的速度，在本实施例中采用平滑模板的方式。由于人脸的大致形状是基本相同的，因此可以预先利用人脸的形状形成一个边缘已经平滑处理的模板，在本模板中，经平滑处理的边缘区域可以适当大一点。在对第二模板进行平滑处理时，可以将预先定义好的平滑模板仿射到待平滑区域，从而完成对待平滑区域的平滑。这种方式，可以快速实现边缘平滑，避免了实时进行模糊平滑所带来的计算量和时间开销。\n[0124] 在本步骤中采用的三角剖分法，是在平滑模板上的平滑区域和第二模板上的待平滑区域采用相同的方式进行三角剖分，得到相同的三角区域个数。以待平滑区域为例，将内外边缘均分成m个点，然后待平滑区域被分成2m个三角，m为预设的正整数，如图3e中所示。\n平滑模板上的平滑区域采用相同的剖分方式，将平滑模板中各三角区域分别仿射到第二模板中对应位置的三角区域。\n[0125] 其中，本步骤中涉及的仿射指的是对应位置像素点的像素值的仿射，即将平滑模板上像素点的像素值仿射到第二模板上待平滑区域中对应位置的像素点，例如将平滑模板上平滑区域的像素点A仿射到第二模板上待平滑区域的像素点a，则像素点a取像素点A的像素值，若像素点A为剖分得到的某三角形的顶角，那么像素点a为第二模板上对应位置的三角形的顶角。\n[0126] 在206中，对图像中的人脸区域进行亮度统计，依据亮度统计结果，对平滑处理后的第二模板进行亮度调整。\n[0127] 本步骤的目的是，使得平滑后的第二模板的亮度能够尽量的与原始图像中人脸实际亮度匹配。例如，可以统计原始图像中人脸区域亮度的均值以及平滑后的第二模板的亮度均值，确定两者的差值；然后将各平滑后的第二模板中各像素点的亮度值均加上该差值。\n当然，还可以采用其他亮度调整的具体方式，在此不再一一列举。\n[0128] 在207中，对亮度调整后的第二模板中的各像素值进行归一化，得到第三模板。\n[0129] 为了在图像融合时，体现图像各像素点的特征，权重系数由第二模板中各像素点的像素值体现，在本步骤中采用对各像素点的像素值进行归一化处理后，得到的第三模板中各像素点的像素值就可以作为该像素点在后续融合时采用的权重。\n[0130] 权重的计算是图像融合中带来较大计算量的其中一个重要处理，在本发明实施例中，首先通过降采样的方式，基于像素点较少的模板进行权重计算后，在升采样回去，得到所有像素点的权重，相比较直接基于原始图像大小进行权重计算，大大降低了计算消耗和时间成本。\n[0131] 在208中，利用203中采用的仿射参数，将第三模板进行逆仿射变换，得到第四模板。\n[0132] 在203中采用的是缩放变换，在本步骤中同样采用缩放变换，但本步骤中需要依据在203中设置的仿射参数，设置对应的仿射参数，从而实现逆变换。将逆仿射变换后得到的第四模板的像素点个数升至与第一模板相同。也就是说，本步骤实际上是要升采样回第一模板的像素点个数，提高分辨率。在逆仿射变换过程中，由于像素点个数增多，对于增加的像素点，其像素值可以采用插值的方式得到。\n[0133] 在209中，将第四模板中各像素点的像素值分别作为图像中对应像素点的权重，对图像中人脸区域各像素点和粉底色进行加权融合。\n[0134] 本步骤在进行加权融合时，可以采用上述的公式(1)，其中Imagei_new为图像中人脸区域融合后得到的第i个像素点的像素值，Imagei_old为图像中人脸区域(不包含眉毛、眼睛和嘴巴的区域)第i个像素点的像素值，Colori为粉底色的像素值，在本实施例中，各像素粉底色的像素值可以取相同的值。\n[0135] 本发明实施例中涉及的像素点的像素值涉及到R、G、B三个通道的值，在进行上述仿射以及融合处理时，需要分别对各像素点R、G、B三个通道的值分别进行处理，这是较为公知的内容，在此仅作简单说明。\n[0136] 以上是对本发明所提供方法进行的详细描述，下面结合图4对本发明提供的装置进行详细描述。如图4所示，该装置可以包括：模板确定单元01、降采样单元02、归一化单元\n03、升采样单元04以及加权融合单元05，还可以进一步包括边缘平滑单元06和亮度调整单元07。各组成单元的主要功能如下：\n[0137] 模板确定单元01负责确定图像中的融合区域，得到第一模板。具体地，模板确定单元01可以首先对图像中的融合目标进行特征点定位，特征点包括轮廓点；然后利用定位出的特征点，去除图像中除融合目标之外的区域，得到第一模板。\n[0138] 降采样单元02负责对第一模板进行降采样，得到第二模板。图像降采样的方式有很多，例如最近邻降采样法、B样条降采样法等。在本发明实施例中降采样单元02采用仿射变换的方式，对第一模板进行降采样，使得到的第二模板的像素点个数为第一模板的 倍，N为2以上的正整数。\n[0139] 归一化单元03负责对第二模板中的各像素点的像素值进行归一化，得到第三模板。\n[0140] 升采样单元04负责对第三模板进行升采样，得到第四模板，第四模板的像素点个数等于第一模板的像素点个数。同样升采样的方式也存在多种，可以采用诸如双边滤波、引导滤波、双向插值等方式。在本发明实施例中，升采样单元04可以采用逆仿射变换的方式，对第三模板进行升采样，使得到的第四模板的像素点个数为第三模板的N倍。\n[0141] 加权融合单元05负责将第四模板中各像素点的像素值分别作为图像中对应像素点的权重，对图像中融合区域各像素点和融合素材进行加权融合。\n[0142] 具体可以采用Imagei_new＝weight_maski*Imagei_old+(1-weight_maski)*Colori，确定融合后得到的各像素点的像素值；\n[0143] 其中Imagei_new为图像中融合区域融合后得到的第i个像素点的像素值，weight_maski为第四模板中第i个像素点的像素值，Imagei_old为图像中融合区域第i个像素点的像素值，Colori为融合素材提供的第i个像素点的像素值。\n[0144] 为了使得融合区域边缘平缓渐变，减小突变梯度，更加融合和自然，边缘平滑单元\n06负责对第二模板的边缘进行平滑处理，将平滑处理后的第二模板输出给归一化单元03。\n[0145] 具体地，边缘平滑单元06可以将第二模板中融合区域的轮廓点分别向外和/或向内扩展M个像素点，M为预设的正整数，将扩展的像素点所包围的区域作为待平滑区域；将预定义的平滑模板仿射到待平滑区域，得到平滑后的第二模板。在进行仿射时，可以将平滑模板中像素点的像素值，仿射为待平滑区域中对应位置像素点的像素值。\n[0146] 其中可以预先利用融合区域的形状形成一个边缘已经平滑处理的模板，该模板就是平滑模板。这种将预先定义好的平滑模板仿射到待平滑区域，从而完成对待平滑区域的平滑的方式，可以快速实现边缘平滑，避免了实时进行模糊平滑所带来的计算量和时间开销。\n[0147] 更进一步地，边缘平滑单元06在将预定义的平滑模板仿射到待平滑区域时，可以采用三角剖分的方式，即在平滑模板上的平滑区域和第二模板上的待平滑区域分别采用相同的方式进行三角剖分，得到相同个数的三角区域；然后将平滑模板中各三角区域分别仿射到第二模板中对应位置的三角区域。\n[0148] 亮度调整单元07负责获取边缘平滑单元06输出的第二模板，对图像中的融合区域进行亮度统计，依据亮度统计结果，对获取的第二模板进行亮度调整，将亮度调整后的第二模板输出给归一化单元03。亮度调整单元07可以使得平滑后的第二模板的亮度能够尽量的与原始图像中人脸实际亮度匹配。在进行亮度调整时，可以确定图像中的融合区域的亮度均值和平滑处理后的第二模板的亮度均值之间的差值；然后将平滑处理后的第二模板中各像素点的亮度值分别加上差值。\n[0149] 该装置可以应用于图像处理类APP，也可以应用于美颜类APP等。该装置可以体现为一个应用的形式，可以是运行于设备本地的应用程序(nativeAPP)，也可以是设备浏览器上的一个网页程序(webApp)。除此之外，也可以体现为应用中的插件或SDK的形式。\n[0150] 除了应用于上述美颜类APP中诸如粉底试妆的场景之外，本发明还可以应用于其他图像融合的场景，例如将一副图像中红色的苹果与另一幅图像中黄色的苹果进行融合。\n[0151] 本发明实施例提供的上述方法和装置可以以设置并运行于设备中的计算机程序体现。该设备可以包括一个或多个处理器，还包括存储器和一个或多个程序，如图5中所示。\n其中该一个或多个程序存储于存储器中，被上述一个或多个处理器执行以实现本发明上述实施例中所示的方法流程和/或装置操作。例如，被上述一个或多个处理器执行的方法流程，可以包括：\n[0152] 确定图像中的融合区域，得到第一模板；\n[0153] 对第一模板进行降采样，得到第二模板；\n[0154] 对第二模板中的各像素点的像素值进行归一化，得到第三模板；\n[0155] 对第三模板进行升采样，得到第四模板，第四模板的像素点个数等于第一模板的像素点个数；\n[0156] 将第四模板中各像素点的像素值分别作为图像中对应像素点的权重，对所述图像中融合区域各像素点和融合素材进行加权融合。\n[0157] 由以上描述可以看出，本发明提供的方法和装置可以具备以下优点：\n[0158] 1)本发明采用对图像进行降采样的方式，对降采样后的融合区域进行权重计算，然后再升采样回原始图像大小，得到原始图像中融合区域各像素点在融合时对应的权重，大大降低了因权重计算所带来的计算量，降低了时间成本和资源消耗。\n[0159] 2)在权重计算过程中，对降采样后的融合区域进行边缘平滑和/或亮度调整，更进一步降低了计算量，降低了时间成本和资源消耗。\n[0160] 3)在进行边缘平滑时，采用预定义的平滑模板，还可以进一步结合三角剖分的方式，可以快速实现边缘平滑，避免了实时进行模糊平滑所带来的计算量和时间开销。\n[0161] 4)可以在高分辨率的画质下，仍保持实时性。不仅可以应用于静态图像，也可以应用于视频图像。\n[0162] 5)当应用于粉底试妆时，由于仅对人脸区域的边缘进行平滑处理，能够有效保留人脸自身的纹理信息。无需用户手工操作，能够根据人脸肤色的亮度自动调整融合权重，得到更加真实的试妆体验。\n[0163] 在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。\n[0164] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。\n[0165] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。\n[0166] 上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。\n[0167] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。