一种基于微型传感器的交互式上肢康复系统

1.一种基于微型传感器的交互式上肢康复系统，其特征在于：
该系统包括微型运动传感器模块（100）、数据获取和传输模块（200）、分析、评估和训练模块（300）、以及网上康复指导模块（400）；
所述微型运动传感器模块（100）包含一个或多个微型传感器节点，嵌入服装中，穿戴后每个传感器节点牢固地附着在上肢的各肢体上，测量和估值相应肢体的运动参数；
所述数据获取和传输模块（200）从各微型传感器节点获取相应肢体的运动数据，以无线或有线方式送往所述分析、评估和训练模块（300）；
所述分析、评估和训练模块（300）装在上位机上，包含
动作分析和评估子模块（301）对患者的动作和康复任务完成情况给出评估，动作分析和评估子模块（301）提供的评估包括根据主动运动关节活动度量表自动评估患者运动缺失能力，以及上肢运动质量指数；所述上肢运动质量指数包括：关节角，上臂峰值速度，前臂峰值速度，前臂熵，上臂的角度分散度，肩腕关节协调性，前臂路径归一化程度，和手的路劲归一化程度；
康复方案生成子模块（302）自动生成或由康复治疗师人工设定患者的康复方案，康复训练、评估和反馈子模块（303）以虚拟现实或游戏的方式引导患者完成方案中运动康复训练，
患者信息管理子模块（304）管理患者和整个训练过程的数据，
康复动作库子模块（305）存储有康复评估和训练的动作或任务以及相应的三维显示和游戏场景；
所述网上康复指导模块（400）设置在康复中心服务器上，与一个或多个患者端的所述分析、评估和训练模块（300）同步，康复师可以通过网络查看患者康复训练情况，指导患者自行进行训练；
所述微型运动传感器模块（100）包含一个以上微型传感器节点通过训练服牢固地固定在脊柱、患侧肩胛骨、患侧上臂、患侧前臂、患侧手背位置，并通过手套放置在患侧手指各指节段；
所述微型传感器节点包括三轴加速度传感器、三轴陀螺仪、三轴磁力计、能量计、表面肌电传感器中的一个、几个或全部，表面肌电传感器为传感器阵列，以检测相应肌肉运动单元的激励状态和时序。
2.根据权利要求1所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述微型传感器节点的数据校准方法，通过软件的方式对传感器的偏置误差、比例因子误差以及耦合误差进行校准。
3.根据权利要求1所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述系统使用贝叶斯网络自适应多传感器数据融合方法估值上肢肢体三维方位角，得到单个肢体的方位估计后，根据上肢运动模型获得整个人体上肢运动，实现上肢运动过程轨迹和方位的跟踪。
4.根据权利要求1所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300）在上位机上，为患者提供实时交互康复训练，包括：建立患者信息档案，获得患者的上肢运动功能评估量表等级和上肢运动质量指数，据此选择康复方案，根据康复方案中所列训练动作循序实施训练，根据训练过程和结果的评估，选择或调整下一步训练方案，直到完成训练；
所述分析、评估和训练模块（300）中的康复动作库子模块（305）为康复方案的制定和康复训练的实施提供支持，患者信息管理子模块（304）存储有患者康复全过程信息。
5.根据权利要求4所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300），其动作分析和评估子模块（301）提供的评估包括根据主动运动关节活动度量表自动评估患者运动缺失能力，以及上肢运动质量指数，它提取患者上肢运动过程中的运动特征指数，定量评估上肢运动的质量，与患者的运动能力具有良好的线性相关性；
所述主动运动关节活动度量表和上肢运动质量指数既用于康复师对患者按系统所给出的基本动作和要求评估患者的上肢运动功能，作为制定康复方案的依据，也用于在康复训练过程中评估训练效果，使用游戏进行训练时，使用评估指数得出游戏得分。
6.根据权利要求4所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300），其康复动作库（305）包括基本动作和日常生活用复合动作，动作库中的动作一方面用于对患者上肢运动功能的评估，另一方面用于康复训练方案的表示和康复训练的实施；
所述康复动作库中的动作，具有动作类别、所适用的评估方法、使用描述；康复动作库中的动作，连接有相应的动作要求和卡通示范、动作评估标准、评估程序、动作游戏场景和游戏程序。
7.根据权利要求4所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300），其康复训练、评估和反馈子模块（303）根据康复方案及进展，选择一个动作或任务，由患者进行康复训练；进行动作训练时，系统以动画示范动作和要求，患者按要求完成动作，系统对动作进行评估，重复训练动作直至达到目的；以游戏方式进行相应动作训练时，以对动作完成水平和质量的评估作为游戏积分，把一系列的训练动作编排成一整套的游戏场景，完成一个训练动作，也就是过了一个游戏关卡，进入了下一个游戏也就是进入了下一个动作的训练；
根据康复方案中对动作、任务完成情况的要求以及患者完成指定动作的速度、运动轨迹、幅度、角度评估指标，在康复过程中对患者进行纠正用户动作、加力、增加幅度提示；
康复训练评估主要包含横向评估和纵向评估两个方面，横向评估是指根据当次训练用户的完成情况，对其训练效果和完成情况进行评估，并给出数字化的度量；纵向评估是指对比当次完成情况与历史完成情况，从而对患者当前的康复状况进行评估，并通过图表方式给出评估结果。
8.根据权利要求4所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300），其患者信息管理子模块（304）管理和保护患者在整个康复系统中的所有信息，包括患者在康复系统中的注册信息、患者康复医院档案、康复评估方法和结果、康复方案、康复训练全过程信息。
9.根据权利要求1所述的一种基于微型传感器的交互式上肢康复系统，其特征在于：所述分析、评估和训练模块（300）通过网络与康复中心的所述网上康复指导模块（400）相联；
所述网上康复指导模块（400）包括康复指导模块（401）、康复研究模块（402）、患者信息库模块（404）和康复动作库模块（405）；一旦网上所述康复指导模块（400）中的康复动作库模块（405）有所更新，将马上同步更新所有患者端的所述分析、评估和训练模块（300）中的康复动作库（305）；网上康复指导模块（400）中的患者信息库模块（404）保存有所有患者的信息；
任何患者端的康复系统中的患者信息管理子模块（304）中的信息更新，将通过客户端和服务器端数据库同步的机制进行实时更新。

一种基于微型传感器的交互式上肢康复系统\n技术领域\n[0001] 本发明涉及脑瘫、中风、意外等引起的偏瘫患者上肢康复训练领域，尤其涉及用于具有交互性和反馈的数字康复系统的方法和装置。\n背景技术\n[0002] 由于中风、脑瘫、意外等引起的偏瘫患者上肢康复训练的传统方法是医师对患者进行一对一的指导，利用传统康复器械进行训练，并根据其主观临床经验对患肢康复效果进行评价。这种训练方式存在诸多问题。首先，一名医师在大多数情况下只能同时对一名患者进行运动康复训练，效率低下，治疗效果多取决于医师的经验和水平；其次，不能精确控制和记录训练参数(运动速度、轨迹、关节角度等)，不利于治疗方案的确定和改进；再次，康复训练的执行情况没有统一标准，难以客观定量，不利于偏瘫患者康复医疗的深入研究；最后，不能向患者提供实时直观的反馈信息，训练过程缺乏吸引力，患者多被动接受治疗，参与治疗的主动性不够。\n[0003] 为了能够更好地管理和控制康复过程，提高患者的主动性和参与性，从而提高康复训练的效率，有不少相应的工作。如申请号为200410056143.0的中国专利“人体康复过程自动识别方法及装置”，通过摄像机采集康复对象的坐、站姿势或上、下肢等运动姿势，并经采集到的监测参数等信息通过人体康复过程自动识别模块生成康复指数，从而为医务人员实施治疗提供辅助信息。申请号为2010010136388.X的专利公开了“一种智能康复系统及运用该系统进行肢体运动跟踪的方法”，提出了一种基于计算机视觉技术的运动跟踪的方法，并将之应用于肢体康复。这两种基于视觉技术康复方法，由于其固有的缺陷—遮挡、和跟踪肢体运动精度不够，达不到定量的目的。\n[0004] 专利申请号为200910099275.4的专利“基于虚拟现实的残障人士康复系统”，公开了一种包括功能性电刺激模块、运动捕获模块和虚拟现实模块的残障人士康复系统，通过虚拟现实技术为患者提供针对运动过程和运动效果的视、听等多模式的反馈信息，来激发和维持患者重复练习的动机。但发明中并未对如何进行运动捕获和康复训练执行情况的评估给出理想的解决方案。\n[0005] 申请号为200910086474.1的专利“人体运动捕获三维再现系统及其方法”提出了基于多个微型传感器人体运动捕获的方法以及三维显示方法。本发明是将该发明中的人体运动捕获技术应用于运动康复，可以说是基于该技术的应用发明。本发明中，通过基于多个微型传感器的人体运动捕获技术，精确、实时地跟踪患者上肢的运动，并建立功能评估方法，从而对患者上肢康复过程进行精确评估和管理。同时通过虚拟现实技术、多媒体技术、交互游戏等提高患者康复训练的主动性，提高康复的效率。\n发明内容\n[0006] 本发明利用基于微型传感器的信息融合和运动捕获技术，研发出交互式上肢康复系统，使得康复训练可以在医院、康复中心、社区卫生服务中心和家庭中进行。该系统包括运动传感器模块100、数据获取和传输模块200和分析、评估和训练模块300和康复中心的网上康复指导模块400。其中数据获取和传输模块200实时采集和记录患者在康复训练时上肢的运动信息，并通过有线或无线的方式发送到分析、评估和训练模块300。分析、评估和训练模块300对接收到的数据进行处理，通过其动作分析和评估子模块301对患者的动作和康复任务完成情况给出评估。据此，康复方案生成子模块302自动生成或由康复治疗师人工设定患者应当完成的动作列表以及每个动作的运动参数。康复训练、评估和反馈子模块303通过虚拟现实、动画、视频、声音等方式展示每个动作或任务的要求，患者根据系统的要求完成相应的训练动作或任务。这也可以以交互游戏的方式，将相应的训练动作或任务嵌入交互式游戏之中，以提高患者训练的积极性。同时，分析、评估和训练模块300也包含了患者信息管理子模块304，提供了数据管理功能，可保存患者的整个训练过程的数据，从而可以跟踪康复全过程，为医生和患者实施和改进康复训练方案提供准确的信息。康复动作库子模块\n305存储有康复评估和训练的基本动作，以及相应的三维显示和游戏场景。分析、评估和训练模块300也通过网络，与康复中心服务器相联，使用服务器上的网上康复指导模块400，康复师可以通过通信网络远距离查看患者康复训练情况，指导患者自行进行训练。\n[0007] 根据本发明的一个方面，一个示范性实施例为用于指导和评估用户上肢康复过程的交互式上肢数字康复系统。患者的患肢穿戴运动传感器模块100，并完成要求的任务和动作。系统可根据患者任务和动作完成情况，评估患者当前运动功能，自动生成康复计划或由康复师设训练任务序列或动作序列。康复训练中，动作或任务通过虚拟场景、动画、视频及声音等方式呈现，或以交互游戏场景的方式呈现，系统捕获和分析患者完成动作或任务的运动质量，对患者的完成情况进行评估并给出反馈。同时，记录训练过程数据，完成康复过程的监控和管理，从而为医生改进训练方案、指导患者进行训练提供定量、智能、可视化平台。\n[0008] 根据本发明该方面的一个实施例，交互式上肢数字康复系统微型运动传感器模块\n100包含一个或多个微型传感器节点。每个传感器节点包含如加速度传感器、陀螺仪、磁力计等微型传感器，用来采集相应上肢肢体的运动数据。发明中提到的上肢肢体运动数据，包含且不限于上肢及肩关节在上肢运动时各自由度的加速度、角速度、速度、位移、方位、位置以及运动轨迹等。\n[0009] 根据本发明该方面的一个实施例，交互式上肢数字康复系统包含一个或多个微型传感器节点。每个传感器节点处包含如加速度传感器、陀螺仪、磁力计、能量计等微型传感器，用来采集相应上肢肢体的运动数据外，还包含表面肌电传感器，采集特定肌肉的表面肌电信号，分析相应肌肉的激励情况，相关肌肉的激励时序，以及运动状况和肌肉激励和时序的相关性和关系。表面肌电传感器可以是传感器阵列。\n[0010] 交互式上肢数字康复系统的数据获取和传输模块200，与微型运动传感器模块100连接，采集并通过蓝牙发送传感器模块采集的上肢运动数据到分析、评估和训练模块300，以及对微型运动传感器模块100进行控制。\n[0011] 交互式上肢数字康复系统的分析、评估和训练模块300，还包含患者信息管理子模块304，它录入患者信息以及患者的损伤等级，记录每次康复训练参数和评估结果，以及其它相应信息。分析、评估和训练模块300同时还包含一个康复训练动作、任务库子模块305。\n库中有一个动作、任务集合，以及相应的评估标准和评估程序、可视化三维图形、以及训练游戏场景。动作分析和评估子模块301对患者所完成的一系列动作进行评估后，使用患者上肢运动功能评估结果，借助于康复训练动作、任务库，康复方案生成模块302自动生成或由医生设定康复方案，该方案包含一系列将由患者执行的训练动作或任务。根据康复方案，患者在康复训练、评估和反馈子模块303引导下，根据要求完成训练动作或任务。康复训练、评估和反馈子模块303接收和分析运动传感器的信号，一方面在屏幕上得虚拟场景中三维重现患者的上肢运动，使得患者身临其境地完成训练动作或任务。另一方面对患者的动作或任务完成情况给出评定，实时的反馈给患者和医生。同时记录下训练数据以方便进行康复过程管理。\n[0012] 交互式上肢数字康复系统在患者端的康复系统中分析、评估和训练模块300通过网络与康复中心的网上康复指导模块400相联。网上康复指导模块400中的康复动作库405与所有患者端的康复系统中的康复动作库305一样。一旦网上康复指导模块400中的康复动作库405有所更新，将马上同步更新所有患者康复动作库305。网上康复指导模块400中的患者信息库404保存有所有患者的信息。任何患者端的康复系统中分析、评估和训练模块300中的患者信息管理子模块304中的信息更新，将通过客户端和服务器端数据库同步的机制进行实时更新。通过康复中心服务器中的网上康复指导模块400中的康复指导子模块401，康复师可以及时了解任何患者的康复情况，甚至可以在康复中心服务器上再现患者康复训练屏幕。根据这些资料，康复师可以在网上通过语音、文字、视频等对患者进行指导。同样，在众多患者的完整的康复资料的基础上，康复专家们可以从事深入的康复研究工作。\n[0013] 根据本发明的一个方面的一个实施例，传感器之间、传感器与数据获取与传输模块间，可通过无线方式连接。例如红外、蓝牙、Zigbee等。也可通过有线方式进行连接，如USB方式等。\n[0014] 根据本发明的一个方面的一个实施例，数据获取和传输模块200包含一个主控装置，各传感器节点采集的数据直接通过有线方式或无线方式传输到主控装置，主控装置将数据统一通过无线方式，或有线方式传输到分析、评估和训练模块300。\n[0015] 根据本发明的一个方面的另一个实施例，微型运动传感器模块100由佩戴在上肢各肢体的微型传感器节点组成。微型传感器节点采集所对应肢体的加速度、角速度以及磁场数据，在预处理之后，融合三个传感器数据，估计出该肢体的三维方位角，并将数据和估计出的三维方位角通过有线方式或无线方式传输到数据获取和传输模块200，进而传输到分析、评估和训练模块300。\n[0016] 根据本发明的一个方面的一个实施例，数据获取和传输模块200通过无线方式，例如蓝牙 或者无线局域网(Wi-Fi)将数据传输到进而传输到分析、评估和训练模块300。\n附图说明\n[0017] 图1是本发明交互式上肢数字康复系统的逻辑方框图。\n[0018] 图中100-微型运动传感器模块，200-数据获取和传输模块，300-分析、评估和训练模块，400-网上康复指导模块。\n[0019] 图2是交互式上肢数字康复系统中患者端康复系统的分析、评估和训练模块300与康复中心服务器上的网上康复指导模块400的交互。\n[0020] 图3是本发明交互式上肢数字康复系统的一个实施例中微型传感器节点的位置和穿戴方法示意图。\n[0021] 图4(a)和(b)分别示出交互式上肢数字康复系统中采集患者上肢运动数据的传感器模块100和数据获取和传输模块200的主要系统组成框图。\n[0022] 图5示出了多传感器信息融合实现肢体运动跟踪的方框图。\n[0023] 图6示出使用交互式上肢数字康复系统进行康复训练的流程图。\n具体实施方式\n[0024] 通过参照以下结合附图所进行的实施例详细描述将会获得本发明的方法和装置的更全面的理解。值得注意的是，在此所采用的“一个实施例”或“实施例”意指关于该实施例所描述的具体特征、结构或特征包含在本发明的至少一个实施例中。说明书中不同地方出现的术语“在一个实施例中”不必全部指同一实施例。下面实施例的详细描述是要解释而非限制本发明。本发明的范围由附加的权利要求书限定。\n[0025] 图1是一种交互式上肢数字康复系统的逻辑方框图。它包括微型运动传感器模块\n100，数据获取和传输模块200，分析、评估和训练模块300，以及网上康复指导模块400。\n[0026] 图2是交互式上肢数字康复系统中患者端康复系统的分析、评估和训练模块300与康复中心服务器上的网上康复指导模块400的交互。\n[0027] 传感器布局\n[0028] 图3示出了用于在使用交互式上肢数字康复系统时传感器布局图。该系统的运动传感器装置包含了1个或多个诸如图3所示的传感器节点、以及数据获取和传输模块200，以及嵌入传感器节点以和主控板的特制的训练服。在这里，数据获取和传输模块200也称主控模块。在图2中，5个传感器节点之间通过有线连接，并嵌入于训练服上。患者穿好训练服后，\n5个传感器被分别位于脊柱近腰处、患侧肩胛骨处、患侧大臂、患侧小臂以及患侧手背处，分别采集相应肢体的运动数据，估计其三维方位角，并可以计算出肩胛骨关节、肘关节以及腕关节的多自由度运动数据。传感器节点通过一条或多条线路与主控模块连接。主控模块可根据需要固定在训练服其他位置。\n[0029] 图3中所示的结构示出了获取单臂及肩胛骨时传感器节点的布局。根据康复部位或任务的不同，可以根据需要调整传感器节点的数目和位置。为了实现上肢运动的捕获和康复训练，传感器节点的布局有如下几种形式：\n[0030] 1)在脊柱、患侧肩胛骨、患侧上臂、患侧前臂、患侧手背放置传感器节点，可推导和计算出相应肢体三维方位角，并计算出患侧肩部关节、肘关节、腕关节的角度和位置变化等数据，从而捕获患侧上肢的运动，进而进行患侧上肢和肩部的运动康复训练和评估，可训练上肢各种基本动作和够物任务等。\n[0031] 2)在脊柱、患侧肩胛骨、患侧上臂、患侧前臂、患侧手背以及患侧手指各指节段放置传感器节点，从测量到的运动数据，可推导和计算出相应肢体三维方位角，并计算出患侧肩部关节、肘关节、腕关节的角度和位置变化等数据，在1)的基础上，还可训练抓握动作和任务等。\n[0032] 尽管这里给出了传感器节点的几种摆放方式，但是本领域技术人员应当意识到，根据应用场景的不同，传感器节点的数目和布局可发生变化，这些变化均落入本发明范围内。\n[0033] 进行上述运动捕获的传感器节点可包含三轴加速度传感器，三轴陀螺仪，也可同时包含三轴磁力计。\n[0034] 在本发明的一个实施例中，微型传感器节点是一个微机电(MEMS)的集成模块，或一个嵌入式模块，包含一个控制器或中央处理器(CPU)，一个电源管理器，一个三轴加速度传感器、一个三轴陀螺仪以及一个三轴磁力计。其中，三轴加速度传感器能够同时感应人体运动产生的加速度和地球重力加速度，三轴陀螺仪可以感应物体转动时的角速度，三轴磁力计可感应其所在位置地磁场的强度。控制器或中央处理器以一定的采样率采集这三个传感器的数字信号，经过去噪声和校正等预处理后，或直接送往数据获取和传输模块200，或进行数据融合和三维方位角估计，估计出相应肢体的三维方位角，再送往数据获取和传输模块200。\n[0035] 虽然图3中的数据获取和传输模块200通过衣服固定在近腰部的位置，但本领域技术人员应当意识到，数据获取和传输模块200可根据实际需要固定在人体的其他部位。同时，各种替代的传感器结构和设计均落入本发明范围内。\n[0036] 微型运动传感器模块100和数据获取和传输模块200系统结构\n[0037] 一种基于传感器的交互式上肢数字康复系统中的微型运动传感器模块100和数据获取和传输模块200，即主控板的系统结构分别示于图4(a)和图4(b)。\n[0038] 每一个传感器节点有一个控制器/处理器、一个陀螺仪、一个磁力计、一个加速度计，以及一个电源管理器组成。三个传感器输出的是数字信号，通过IIC口与控制器相联，控制器以一定的采样率(如每秒100次)读取传感器数据，然后使用SPI协议将数据发送给主控制板。\n[0039] 每一个微型传感器节点由于所用传感器的差异和在电路板中的位置差异，在工作前都需要校准。首先使传感器节点在六个方向上采集陀螺仪，磁和加速度数据，由于这六个方向上数据的不相关性，使用校正程序就可以获得加速度和磁分别在x,y,z方向的scale和bias，和角速度在x,y,z方向的bias。然后将获得的传感器的参数值烧写到传感器的flash中。有了这些传感器的校正参数，传感器中的固件程序根据这些参数对实时获得的数据进行修正，从而保证传感器采集的运动数据的有效性和准确性。\n[0040] 传感器节点在获得由加速度计，磁力计和陀螺仪三个传感器采集的运动数据后，要对这三种数据进行融合和估值。在运动估计中，考虑这三种传感器的抗干扰能力和提供的数据信息的权重，采用基于卡尔曼滤波的信息融合算法获得四元数和欧拉角来对运动估计单元进行估值。\n[0041] 主控板主要由控制器芯片，电源模块和无线传输模块组成(如蓝牙、WIFI)。主控板分为多路，每一路可连接N个传感器节点。主控板会自动检测传感器个数并为每一个传感器分配一个独立的地址，然后按照一定的频率使用SPI协议采集所有传感器的数据。在对数据进行校验完成后使用USART协议将数据通过蓝牙或WIFI模块发送给上位机中的分析、评估和训练模块300。\n[0042] 数据预处理和校正\n[0043] 在对由微型传感器节点采集的运动数据进行多传感器数据融合和运动捕获之前，先要对数据进行预处理，预处理包括校准和低通滤波。由于传感器误差的存在，从传感器直接采集的数据并不是准确的数据，因此要对传感器的数据进行校准。传感器的误差主要分为偏置误差，比例因子误差，耦合误差，基于此三个误差，交互式上肢数字康复系统中建立传感器的误差模型如下：\n[0044] yi＝Si*Ti*ui+bi\n[0045] i：传感器类型\n[0046] yi：传感器输出\n[0047] Si：灵敏度矩阵\n[0048] Ti：正交矩阵\n[0049] ui：真实测量值\n[0050] bi：偏置\n[0051] 本专利根据加速计，陀螺仪，磁力计的3个固有特性来校准传感器：(p1)：静止时，加速计在不同方位的输出模值不变，等于本地重力加速度；(p2)：相同地方磁力计输出模值不变，等于本地地磁；(p3)：加速计和磁力计的输出随陀螺仪同步变化，三者依赖于一定的数学关系，因此校准后的加速计和陀螺仪可以作为新的基准来校准陀螺仪。基于以上三个属性，构建传感器输出值和真实值之间的目标函数(Cost Function)：\n[0052]\n[0053] 其中K表示采集训练数据的不同方位数。传感器的校准参数θ应该使目标函数CF(θ)最小。本发明采用牛顿优化算法来求解目标函数的最小化问题。对传感器数据校准后，通过低通滤波对数据平滑去噪。\n[0054] 到此对于由传感器节点采集的数据预处理结束，接着对数据进行多传感器数据融合及运动捕获。\n[0055] 多传感器数据融合和运动捕获\n[0056] 本发明同时提出了一套多传感器数据融合和运动捕获方法。图5示出了多传感器数据融合实现单一肢体运动参数估值的流程图。\n[0057] 由于三维加速度传感器直接测量的数据为加速度，而我们需要的是速度和位移。\n三维陀螺仪直接测量的数据是角速度，但是系统中需要的是角度。直接通过积分加速度计输出计算速度、位移以及直接积分陀螺仪输出得角度不但有未知积分常数，而且会产生很大的漂移。另外，由于温度等因素也会在估计过程中引起较大的漂移。同时，人体上肢的运动具有较大的非线性和不确定性。因此在本发明中的一个实施例交互式上肢数字康复系统中提出了扩展贝叶斯网络理论，即采用图5示出的自适应贝叶斯网络估计方法，融合三个微型传感器数据准确地估计三维角度，推导出速度、位移、运动轨迹等。\n[0058] 在贝叶斯网络中，有模型空间、状态空间以及观测空间。其中，模型空间指人体上肢的运动模式，例如，肩关节前旋模式、后旋模式等，在相同运动模式下，上肢的运动有相近的加速度变化趋势、角度变化模式等，但在不同运动模式下差别较大。状态空间中，将上肢各关节相对于关节初始位置旋转后的四元数作为状态。四元数是一种超复数，可以表示物体的旋转。观测空间中，观测数据包括三个轴的加速度数据、三个轴的角速度以及三维的磁场强度。\n[0059] 为了减小传感器节点对肢体三维方位角估值的漂移，本融合通过基于UKF(Unscented Kalman Filter)的多模型数据融合算法来融合传感器的输出值，得到实时的传感器姿态信息。UKF是贝叶斯网络的一种，状态空间中，将上肢各关节相对于关节初始位置旋转后的四元数作为状态。观测空间中，观测数据包括三个轴的加速度数据、三个轴的角速度以及三维的磁场强度。如图5所示，由陀螺仪的输出积分得到的方位角估值，与由加速度传感器中的重力加速度方向和磁力计中的地磁方向融合，以达到减少漂移的目的。然而，由于加速度传感器中存在肢体运动加速度，它与重力加速度混在一起；磁力计中的地磁往往会受到各种干扰。因此，在融合陀螺仪、加速度和磁力计这三种传感器数据时，它们的权重应该根据它们受干扰的程度，也即可信度，来实时调整。这就是所谓的“自适应多传感器数据融合”。\n[0060] 得到单个肢体的方位估计后，根据上肢运动模型把单个传感器的跟踪扩展到多个传感器，并以此建立人体上肢运动跟踪系统，这是本专利的第二级数据融合。这部分数据融合主要包括坐标系的映射和层次结构模型的建立。在本专利的上肢运动跟踪系统中有3个坐标系，分别是全局坐标系(Global Coordinate System)，身体坐标系(Body Coordinate System)和传感器坐标系(Sensor Coordinate System)。其中，全局坐标系是参考坐标系，固定不变，身体坐标系是上肢关节处的坐标系，而传感器坐标系是传感器所在的坐标系。一级数据融合得到的四元数表征的是传感器坐标系和全局坐标系间的旋转，本发明通过固定起始姿态来实现传感器坐标系，身体坐标系和全局坐标系间的映射。上肢的层次结构模型，即一个父关节节点的运动会带动其相应关联子关节节点的运动。在本专利上肢模型中，腰部节点为根节点，它的子节点为肩关节，肩关节的子节点为肘关节，而肘关节的子节点为腕关节，腕关节为手臂模型的末端，子关节的位置可以根据层次结构模型求得：\n[0061] GPL0＝GPU0+GBqU*BsU*GBqU\n[0062] 其中，GPL0：子节点L0的位置；\n[0063] GPU0：父节点U0的位置；\n[0064] GBqU：父节点U0的姿态四元数；\n[0065] BsU：关节L0和U0间的长度向量。\n[0066] 康复训练评估\n[0067] 交互式上肢数字康复系统对于训练动作、任务的评估包含两个方面：横向评估，指根据一次训练动作或任务中用户的完成情况，对其训练效果和完成情况进行数字化的度量，并与给定的标准和要求进行比较，从而对单个的动作或任务给出评估；纵向评估，指对比当次完成情况与历史完成情况，从而对患者当前的康复状况进行评估，并通过图表等交互方式给出评估结果。具体的评估办法介绍如下：\n[0068] 在交互式上肢数字康复系统中，横向评估主要从两个方面进行。\n[0069] 第一，根据主动运动关节活动度量表(Active Range Of Motion)对患者的运动缺失能力进行评估。根据量表，选定一系列动作来评估病人的关节活动度，每进入一个动作列表，三维显示界面播放该动作的要求说明，然后病人依照要求做相应的动作，动作完成后，系统评估动作的有效性，若有效则给出运动关节的活动度，否则提示病人出错信息。动作有效性从四方面来衡量：起始位置，躯干代偿，动作完成保持时间，患者动作速度。患者完成所有动作后，通过与常人标准关节活动度的对比得到患者的运动缺失能力指标：\n[0070]\n[0071] 第二，上肢运动质量指数，提取患者上肢运动过程中的特征指数，定量的评估上肢运动的质量。关节活动度量表关注的是患者对任务的完成度，忽略了运动的过程和运动的质量。本专利中的上肢康复系统比传统的康复设备提供了更多的客观定量的运动信息，提取患者上肢运动的特征指数，包括加速度，速度，加速度均方根，运动熵，躯干平衡度，父子关节代偿率，位移分散度，运动精度，关节协调性，关节归一化程度，关节角，平滑度等。这些特征指数数目可多可少，我们选了47个，目的是从各个方面反映患者完成动作的质量。例如，加速度熵反映了运动的能量，平滑度表明颤抖程度，协调性反映了运动过程中各关节间的协同相关性，熵反映了运动的无序性，位移分散度表明患者的轨迹控制力等。这些特征信息相关度高，存在复杂的共线性，而且参数众多，不适合实际应用。本专利根据L1范数最小化的训练方法，找出最能表征患者运动功能缺失情况的少数几个特征指数，这些特征指数能很好的区分病人跟患者，以及患者功能恢复程度，有显著的统计差异性(p<0.05)。L1范数最小化的原理是通过对正常人和病人训练样本的学习，得到特征指数集的稀疏化表示，选择权重大的指数作为康复评估中的参考指数，权重小的指数对运动功能表现影响较小，因此舍弃。Fugl-Meyer是医学上用于评估患者运动障碍程度的典型量表，经验证本专利所述上肢康复系统中提取的特征指数和Fugl-Meyer量表分值之间具有良好的线性相关性。在实际的康复训练中，系统可以对比正常人的和患者之间运动特征指数的差异性，建立患者的病历诊断并且自动或者手动的制定相应的康复方案。\n[0072] 作为一个应用例，通过L1范数最小化的训练方法，选择8个最明显的特征指数作为“上肢运动质量指数”：关节角，上臂峰值速度，前臂峰值速度，前臂熵，上臂的角度分散度，肩腕关节协调性，前臂路径归一化程度，和手的路劲归一化程度。这里，协调性反映的是关节之间的协同作用，协调性越高，运动越自然顺畅。患者由于中风的影响，各关节间会出现一些非常态的收缩或者颤抖，影响运动时各关节间的协调性。归一化路径和角度分散度是反映患者对手臂的控制能力，反映患者是不是有一些非常态的补偿运动。控制能力越好，患者和正常人的运动轨迹越接近，精度越高。峰值速度和关节角反映的是患者对任务的有效性和完成度，由于患者运动功能的缺失和减小，运动速度较常人低，关节活动角受限。熵反映的是运动的平滑度，熵越大，运动越僵硬和无序，由于患者肌肉萎缩，运动能力受限，在完成任务的时候会出现较多的停歇，因此速度呈现比较紊乱，运动比较无序。\n[0073] 上述方法即为交互式上肢数字康复系统中对于患者上肢运动进行评估所采用的横向评估方式。通过在系统中存储历次训练后的评估结果，在一个训练方案结束后，将历次重复训练中的横向评估结果进行相互比较以及与预期目标进行比对，从而对患者完成整个训练方案的情况进行纵向评估。纵向评估分析患者的康复进程，并且挖掘运动特征指数改变和康复训练动作之间的相关性。一方面，为理疗师分析患者的病因提供依据，另一方面，可以更有效的制定相应的康复策略。\n[0074] 可视化训练和实时反馈\n[0075] 在上位机上运行的分析、评估和训练模块300集成了患者信息管理、上肢运动分析和评估、训练过程引导、康复效果评估等功能。本发明的交互式上肢数字康复系统的分析、评估和训练模块，不仅可以以多媒体人机交互的方式指导患者进行康复，使得康复更实时、更直观、更生动，为患者提供沉浸式的训练环境，而且可以对训练的效果进行横向、纵向的数字化度量和评估，从而辅助医生更合理的制定康复方案，指导患者更科学、更容易地进行康复。\n[0076] 图6所示是使用交互式上肢数字康复系统进行康复训练的流程图。对于一个患者，患者信息管理子模块建立他的数字档案。康复师首先要求患者按系统所给出的基本动作和要求，逐个完成，从而得到患者的上肢运动功能评估量表等级和本系统的评估指数。根据患者的损伤等级以及系统对其运动功能的评估结果，康复师可以选择由他自己设计该患者的康复方案，也可以让系统自动生成康复方案。康复方案一般包含一系列需要患者在一段时间内重复进行训练的动作列表或完成的任务列表，每个动作的难易程度和相应的参数设定，以及患者在训练过程中应当达到的标准、要求等。为了使训练更有趣，对每一个(或一组)训练动作和任务，系统也备有相应的一个或几个游戏场景。以有趣的游戏代替单一的动作，以对动作完成水平和质量的评估作为游戏积分，把一系列的训练动作编排成一整套的游戏场景，完成一个训练动作，也就是过了一个游戏关卡，进入了下一个游戏境界(进入了下一个动作的训练)。由于训练动作、任务、功能，分别对应于游戏场景，训练结束后的评估也就非常自然。\n[0077] 通过虚拟现实、多媒体方式和游戏，系统给出患者应该完成的动作或任务示范以及完成要求。根据康复方案中对动作、任务完成情况的要求以及患者完成指定动作的速度、运动轨迹、幅度、角度等评估指标，在康复过程中对患者进行提示，如纠正用户动作、加力、增加幅度等。\n[0078] 康复训练评估主要包含横向评估和纵向评估两个方面。横向评估是指根据当次训练用户的完成情况，对其训练效果和完成情况进行评估，并给出数字化的度量。纵向评估是指对比当次完成情况与历史完成情况，从而对患者当前的康复状况进行评估，并通过图表等方式给出评估结果。根据训练评估，也就是游戏得分情况，康复师可以知道患者的上肢运动功能恢复情况，也就可以确定是否需要调整下一步的训练方案。\n[0079] 康复动作库\n[0080] 康复动作库包括基本动作，如：肩关节屈曲，肩关节外展，肩关节外旋、内旋，肩关节水平内收，肘关节屈曲，肘关节旋后、旋前，腕关节掌屈、背屈等；以及和日常生活用复合动作，如：够物、提拉等。动作库中的动作一方面用于对患者上肢运动功能的评估，如测试Fugl-Meyer量表、主动运动关节活动度量表(Active Range Of Motion)、以及本发明提出的“上肢运动质量指数”；另一方面用于康复训练。即康复训练方案由一系列基本动作和复合动作组成。\n[0081] 为了支持康复评估和康复训练，康复动作库中的动作，都具有动作类别、动作所适用的评估方法、动作在康复训练方案中的用途、以及与哪些动作构成完整的训练方案。康复动作库中的动作，还都连接有相应的动作要求、动作的卡通示范，动作评估标准、评估程序，动作游戏场景和游戏程序。\n[0082] 患者信息管理\n[0083] 患者信息管理子模块管理和保护患者在整个康复系统中的所有信息，包括患者在康复系统中的注册、权限以及计算资源，患者康复医院档案，包括病源档案，如中风时间、程度、治疗和恢复情况、主治医生；康复医师，康复评估方法和结果、康复方案、康复训练开始时间，每次康复训练的时间、地点、训练方法、所用动作、程序、评分，康复医师的评价，等。\n[0084] 患者信息管理子模块用标准数据库设计方法，设计上述所有信息的获取和存储格式，管理和索引方法。\n[0085] 远程康复训练指导\n[0086] 交互式上肢数字康复系统在患者端的康复系统中分析、评估和训练模块300通过网络与康复中心的网上康复指导模块400相联。网上康复指导模块400中的康复动作库405与所有患者端的康复系统中的康复动作库305一样。一旦网上康复指导模块400中的康复动作库405有所更新，将马上同步更新所有患者康复动作库305。网上康复指导模块400中的患者信息库404保存有所有患者的信息。任何患者端的康复系统中分析、评估和训练模块300中的患者信息管理子模块304中的信息更新，将通过客户端和服务器端数据库同步的机制进行实时更新。通过康复中心服务器中的网上康复指导模块400中的康复指导子模块402，康复师可以及时了解任何患者的康复情况，甚至可以在康复中心服务器上再现患者康复训练屏幕。根据这些资料，康复师可以在网上通过语音、文字、视频等对患者进行指导。同样，在众多患者的完整的康复资料的基础上，康复专家们可以从事深入的康复研究工作。