一种虚实融合的手功能康复训练系统及方法

1.一种虚实融合的手功能康复训练系统，其特征在于，包括：
图像采集设备，用于实时采集用户多视点手部图像，进行预处理后发送至后台处理设备；
后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中, 并且建立人机交互反馈机制，当用户的手部动作时，其三维模型也随之动作；
所述虚实融合的手功能康复训练系统采用以下康复训练方法：
（1）、图像采集设备采集背景信息，并存储；
（2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；
（3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，并将建立的手部三维模型显示于虚拟场景中；
（4）、虚拟场景根据手部三维模型的变化作出响应，并显示输出， 即虚拟场景是随用户手势动作的变化而变化的；建立人机交互反馈机制，对手部三维模型的变化进行计算分析，将虚拟场景做相应的改变并显示输出,该虚拟场景对手部的变化产生相应的反馈，形成一个虚实融合、主动引导的康复训练环境，引导用户动作;
所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制；
其中，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出；
步骤（3）中实时建模方法为：
（a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；
（b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；
（c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。
2.根据权利要求1 所述的虚实融合的手功能康复训练系统，其特征在于，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。
3.据权利要求2 所述的虚实融合的手功能康复训练系统，其特征在于，在所述支架上设置有与所述摄像机一一对应活动连接的云台。
4.据权利要求2 所述的虚实融合的手功能康复训练系统，其特征在于，所述的摄像机为5 台。
5.根据权利要求1 所述的虚实融合的手功能康复训练系统，其特征在于，步骤（3）中包括以下子步骤：
（31）、在显示器端显示初始虚拟场景；
（32）、服务器实时接收多视点预处理图像，并建立手部三维模型；
（33）、将建立的手部三维模型显示于虚拟场景中。
6.根据权利要求5 所述的虚实融合的手功能康复训练系统，其特征在于，在步骤（31）之前还包括标定摄像机的内外参数的步骤。

一种虚实融合的手功能康复训练系统及方法\n技术领域\n[0001] 本发明涉及一种虚实融合的手功能康复训练系统，属于计算机视觉和医学虚拟现实技术领域。\n背景技术\n[0002] 一些肢体受到损伤的病人除了必要的临床治疗外，还需要辅助以科学的康复训练，才能使损伤部位得到较好的恢复。随着科技水平的进步，医学虚拟现实技术研究也取得了一定进展，它可以弥补现有医学条件和资源的不足，避免真实实验或操作给患者所可能带来的危险，提高医疗服务的整体水平。目前，一些研究机构主要集中在康复机器人技术的研究，它是基于器械康复疗法，辅以虚拟现实和机器人技术，进行病人的肢体功能训练。但是，康复机器人设备昂贵，占用空间大，训练单调乏味，且需要医师指导。目前大型医院的康复科仍然以器械辅助的方法来进行康复训练。\n[0003] 还有一些通过使用数据手套对患者进行手部功能训练，该装置通过在手套中设置数据采集元件，对患者的手部动作进行采集，由于电子元器件过多，造成手套沉重，患者佩戴麻烦，而且沉重的手套有可能会对患者造成伤害，康复训练效果不佳。\n[0004] 基于此，如何研发一种手功能康复训练系统，使用安全、方便，占用空间小，且能够辅助患者获得较好的康复效果，是本发明需要解决的主要技术问题。\n发明内容\n[0005] 本发明针对现有的康复训练系统，提供了一种虚实融合的手功能康复训练系统，成本低，占用空间小，对患者无伤害。\n[0006] 为了解决上述技术问题，本发明采用以下技术方案予以实现：\n[0007] 一种虚实融合的手功能康复训练系统，包括：\n[0008] 图像采集设备，用于实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；\n[0009] 后台处理设备，生成虚拟场景并显示输出，将所述多视点预处理图像进行三维建模生成手部三维模型，显示于虚拟场景中,并建立人机交互反馈机制。\n[0010] 进一步的，所述的图像采集设备包括：至少两台用于从不同视点采集图像的摄像机、用于支撑所述摄像机的支架、以及与摄像机一一对应连接的客户端，所述客户端接收摄像机采集的图像，并且对图像预处理。\n[0011] 为了便于调节摄像机的角度，在所述支架上设置有与所述摄像机一一对应活动连接的云台。\n[0012] 由于需要采集用户手部的多方位图像，所述的摄像机优选采用5台。\n[0013] 再进一步的，所述的后台处理设备包括服务器和显示器，所述的服务器生成虚拟场景，并输出至显示器进行显示，服务器同时接收预处理图像并进行三维建模，且将建立的手部三维模型显示于虚拟场景中，并且建立人机交互反馈机制。\n[0014] 其中，所述的人机交互反馈机制为：服务器对手部三维模型的变化进行计算分析，将虚拟场景做相应改变并显示输出。\n[0015] 基于上述的手功能康复训练系统，本发明同时提供了一种虚实融合的手功能康复训练方法，包括以下步骤：\n[0016] （1）、图像采集设备采集背景信息，并存储；\n[0017] （2）、图像采集设备实时采集多视点用户手部图像，并进行预处理后发送至后台处理设备；\n[0018] （3）、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，将建立的手部三维模型显示于虚拟场景中；\n[0019] （4）、虚拟场景根据手部三维模型的变化作出相应改变并显示输出。\n[0020] 进一步的，所述后台处理设备包括服务器和显示器，步骤（3）中包括以下子步骤：\n[0021] （31）、在显示器端显示初始虚拟场景；\n[0022] （32）、服务器实时接收多视点预处理图像，并建立手部三维模型；\n[0023] （33）、将建立的手部三维模型显示于虚拟场景中。\n[0024] 又进一步的，步骤（3）中实时建模方法为：\n[0025] （a）、根据八叉树建模原理对初始空间进行逐层剖分，得到手部的体素可视外壳模型；\n[0026] （b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；\n[0027] （c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。\n[0028] 再进一步的，在步骤（31）之前还包括标定摄像机的内外参数的步骤。\n[0029] 与现有技术相比，本发明的优点和积极效果是：本发明的虚实融合的手功能康复训练系统，通过搭建一个虚拟的训练环境，引导用户动作，使其在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担，做到了对手部无损伤；设备结构简单，占用空间小；制作成本低；本发明的虚实融合的手功能康复训练方法，操作简单；在无专业医师的指导下用户也可以进行适当训练，对用户无伤害；采用沉浸式的虚实交互系统进行实时训练，获得较好的训练效果。\n[0030] 结合附图阅读本发明实施方式的详细描述后，本发明的其他特点和优点将变得更加清楚。\n附图说明\n[0031] 图1是本发明所提出的虚实融合的手功能康复训练系统的一种实施例结构示意图；\n[0032] 图2是本发明所提出的虚实融合的手功能康复训练方法的一种实施例流程图。\n具体实施方式\n[0033] 下面结合附图对本发明的具体实施方式作进一步详细的说明。\n[0034] 本发明为了解决现有器械辅助患者康复训练有可能会对患者造成机械损伤，而目前的康复机器人设备昂贵，占用空间大，且实际应用意义不大的问题，提供了一种虚实融合的手功能康复训练系统，使用多个摄像机实时采集用户的多视点手部图像，进行手部三维建模，生成手部三维模型并显示于虚拟场景中，当实际手部动作时，手部三维模型随之动作，而虚拟场景做出实时的响应，实现了实际的手部与虚拟环境无缝融合，用户沉浸感好，设备简单，占用空间小，且对用户无损伤。\n[0035] 实施例一，本实施例的虚实融合的手功能康复训练系统，包括：图像采集设备和后台处理设备，所述的图像采集设备实时采集用户手部图像，并将所采集的手部图像进行预处理后发送至后台处理设备，所述后台处理设备接收预处理图像，利用三维建模技术，将所述预处理图像进行三维建模生成手部三维模型，并显示输出虚拟场景以及手部三维模型，该手部三维模型置于虚拟场景中，与虚拟场景无缝融合。由于图像采集设备实时采集用户的手部图像并建模，因此，当用户的手部动作时，其三维模型也随之动作，后台处理设备通过建立人机交互反馈机制，对手部三维模型的变化进行计算分析，将虚拟场景做相应的改变并显示输出。本虚实融合的手功能康复训练系统通过搭建一个虚拟场景，该虚拟场景能对手部的变化产生相应的反馈，形成一个虚实融合、主动引导的康复训练环境，引导用户动作，使其在虚实交互中实现手部动作能力的训练，加快手功能康复，而且不会加重手部负担，做到了对手部无损伤。\n[0036] 作为一个具体的实施例，参见图1所示，所述的图像采集设备包括：用于采集图像的摄像机1-1、支架1-2、以及客户端1-3，所述摄像机1-1设置在支架1-2上，由支架1-2支撑摄像机1-1，由于摄像机1-1必须从多个视角采集手部信息，因此摄像机1-1至少为两台，为了既能获得多视点的图像，便于三维建模后更加真实，以及同时考虑到节省成本，减小运算量，所述的摄像机1-1优选采用5台。所述的客户端1-3的个数与摄像机1-1的个数相等，且客户端1-3与摄像机1-1一一对应连接，所述客户端1-3接收摄像机1-1采集的图像，并且对图像进行预处理后发送至后台处理设备。图像预处理包括去噪、手部前景信息提取等。\n[0037] 所述的后台处理设备包括服务器2-1和显示器2-2，所述的服务器2-1生成虚拟场景，并输出至显示器2-2进行显示，服务器2-1同时接收客户端1-3发送的预处理图像，由于预处理图像为多视点图像，因此服务器2-1通过分析计算，可以采用一定的建模方法对手部进行三维建模，且将建立的手部三维模型无缝地显示于虚拟场景中。由于摄像机1-1实时采集用户的手部图像并由服务器2-1实时建模，因此，当用户的手部动作时，其三维模型也随之动作，服务器2-1通过计算，将虚拟场景做相应的改变，模拟真实的场景，实现人机交互，引导用户更好的在虚拟训练环境中完成手部功能训练。通过显示器2-2显示虚拟场景以及手部三维模型，用户可以观察到自己的手部运动情况，能够根据显示的虚拟场景的引导主动动作，更加有利于功能恢复。客户端1-3与服务器2-1的信息传输优选采用局域网络传输实现，因此，在所述客户端1-3与服务器2-1之间设置有网络交换机3。\n[0038] 为了便于调节摄像机1-1的角度，在所述支架1-2上设置有与所述摄像机一一对应活动连接的云台1-4。本领域技术人员可以容易获知：云台是专业的安装、固定摄像机的支撑设备，可以灵活的对摄像机的监视角度进行调整，在此不做详细阐述。\n[0039] 基于上述的手功能康复训练系统，本实施例同时提供了一种虚实融合的手功能康复训练方法，包括以下步骤：\n[0040] S1、图像采集设备采集背景信息，并存储；\n[0041] S2、图像采集设备实时采集用户的多视点手部图像，并进行预处理后发送至后台处理设备；\n[0042] S3、后台处理设备显示输出虚拟场景，并对所述多视点预处理图像实时建模，而且将建立的手部三维模型显示于虚拟场景中；\n[0043] S4、虚拟场景根据手部三维模型的变化作出相应改变并显示输出。\n[0044] 其中，图像采集设备采集背景信息，为了便于在步骤S2中提取用户手部图像信息，首先采集背景图像，并存储，当用户的手部置于空间中时，利用背景差法可以非常方便的将手部前景信息提取出来，图像预处理包括图像去噪以及手部图像的前景信息提取等。 [0045] 作为一个具体实施例，所述后台处理设备包括服务器和显示器，步骤S3中包括以下子步骤：\n[0046] S31、在显示器端显示初始虚拟场景；\n[0047] S32、服务器实时接收多视点预处理图像，并建立手部三维模型；\n[0048] S33、将建立的手部三维模型显示于虚拟场景中。\n[0049] 在步骤S31中，由于虚拟场景为服务器端所建立，而且当用户的手部动作时，其三维模型也随之动作，服务器通过计算分析，将虚拟场景做相应的改变，并在显示器显示输出，因此，服务器通过显示器首先显示初始虚拟场景。 \n[0050] 其中，步骤S3中实时建模方法为：\n[0051] （a）、根据八叉树建模原理对空间剖分，得到手部的体素可视外壳模型；\n[0052] （b）、利用行进立方体方法对体素可视外壳模型表面进行网格化处理；\n[0053] （c）、利用基于视点的纹理贴图方法对表面网格化的可视外壳模型进行纹理映射。\n[0054] 由于八叉树方法在建模中运算速度快，本实施例优选采用八叉树建模原理进行建模，满足本虚实融合的手功能康复训练方法的实时性要求，八叉树方法建模为现有技术，在此不做详细阐述。\n[0055] 为了使建立的手部三维模型表面平滑，精度更高，本实施例优选采用行进立方体方法对上一步建立的体素可视外壳模型进行网格化处理。\n[0056] 为了使手部三维模型更具逼真性和沉浸感，更加接近真实人体皮肤，本实施例中还包括对表面网格化的可视外壳模型进行纹理映射，纹理源为预处理之后的多视点手部图像，使其看起来更接近真实，纹理映射的方法为基于视点的纹理贴图方法，该方法为现有技术，在此不做详细说明。\n[0057] 此外，由于摄像机的拍摄角度可能会被调整，相应的一些参数（比如摄像机内部和外部参数等）会改变，因此，在步骤S31之前还包括标定摄像机的内外参数的步骤，本步骤设置在其他步骤之间，可以离线处理。摄像机标定可以采用以下方式实现：用一个均匀的黑白棋盘格模板作为目标对象，摄像机固定好之后，采集不同位置和角度的模板的图像，用这组图像进行角点的提取和计算，从而求出摄像机的模型，即摄像机的内外参数。\n[0058] 本实施例的虚实融合的手功能康复训练方法，操作简单，在无专业医师的指导下用户也可以进行适当训练，对用户无伤害，采用沉浸式和交互式的虚实融合场景进行训练，获得较好的训练效果。\n[0059] 当然，本虚实融合手功能康复训练系统不仅局限于进行手部功能康复训练，也可以通过改造，用于人体其他部位功能康复训练，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。