一种人体脑电信号与动作行为信号同步采集系统及方法

1.一种人体脑电信号与动作行为信号同步采集系统，其特征在于：所述采集系统由Kinect体感设备、计算机、无线网卡、脑电帽、脑电信号采集装置和Wi-Fi无线发射模块组成，分为脑电信号采集部分和动作行为信号采集部分；
脑电信号采集部分包括脑电帽、脑电信号采集装置、Wi-Fi无线发射模块、无线网卡和计算机；脑电帽与脑电信号采集装置连接，脑电信号采集装置中安装Wi-Fi无线发射模块，Wi-Fi无线发射模块与无线网卡无线连接，无线网卡安装在计算机上，脑电信号采集装置接收脑电帽采集到的信号，通过Wi-Fi无线发射模块将信号发送至无线网卡接收端，通过无线网卡再将信号输入计算机的数据库中；
动作行为信号采集部分包括Kinect体感设备和计算机；Kinect体感设备实时捕捉人体的骨架信息，通过数据线将骨架信息传输至计算机的数据库中。
2.根据权利要求1所述的一种人体脑电信号与动作行为信号同步采集系统，其特征在于：所述计算机的软件系统包括时间校准模块、通过Wi-Fi接收脑电信号及时间模块、探测动作行为模块、行为信息归一化模块、动作行为及时间记录模块、脑电信号与动作行为信号匹配模块。
3.一种基于权利要求1系统的信号同步采集方法，其特征在于，包括如下步骤：
(1)在系统工作前，确保计算机与脑电信号采集装置中的Wi-Fi无线发射模块已成功连接，再将Kinect体感设备通过数据线与计算机连接；脑电信号采集装置与计算机进行通讯来校准时间，确保脑电信号和动作行为信号的同步采集；
(2)被测人员佩戴脑电帽后，在Kinect体感设备正前方2～3米处站立，将Kinect体感设备调整仰角，确保Kinect体感设备可以捕捉到被测人员的完整骨架信息；脑电帽采集被测人员的脑电信号，通过脑电信号采集装置中的Wi-Fi无线发射模块将脑电信号发送至计算机；Kinect体感设备采集被测人员的骨架信息，通过数据线将骨架信息传输至计算机；计算机把脑电信号以及相应时间的动作行为信号保存到对应的数据库中；
(3)运行该系统，Kinect体感设备实时捕捉被测人员的骨架信息，判断被测人员是否被追踪到，如果被追踪到，则提取人体20个关节点在骨骼坐标系中的x、y、z的坐标值，然后根据小孔模型将这些坐标值转换为空间坐标系的坐标值x＇、y＇、z＇；其中，x′＝x×z/f、y′＝y×z/f、z′＝z，f是Kinect体感设备的焦距；选定参考点(x0，y0，z0)，用得到的空间坐标系的坐标值与参考点的坐标值相减得到最终的坐标值，再将这些关节点的最终的坐标值以及相应的时间存储至计算机数据库中，完成对被测人员动作行为信号的采集；
在动作行为信号采集的同时，脑电采集装置也将脑电信号通过Wi-Fi无线发射模块发送给计算机，为保证传输的可靠性，两者采用TCP协议进行通讯。
4.根据权利要求3所述的信号同步采集方法，其特征在于，为实现两种不同频率信号在窗体中同步显示，首先要对脑电信号和动作行为信号进行匹配；具体的匹配方法如下：
先从数据库中取出某一秒内的脑电信号以及动作行为信号，然后分别统计出这一秒内这两种信号的个数，假设脑电信号的个数为m个，动作行为信号的个数为n个；由于脑电信号的采集频率高于动作行为信号的频率，所以m>n，以动作行为信号的频率为标准，其中动作行为信号的第一条记录，对应于脑电信号的个数为m/n四舍五入的整数部分z1个，第二条记录对应的脑电信号的个数为(m-z1)/(n-1)四舍五入的整数部分z2个，以此类推，最后一条记录对应的脑电信号的个数为(m-z1-…-zn-1)个。

一种人体脑电信号与动作行为信号同步采集系统及方法\n技术领域\n[0001] 本发明涉及医学信息处理领域，尤其涉及一种采集脑电信号和动作行为信号的同步采集系统及方法。\n背景技术\n[0002] 随着微软Kinect体感设备的出现，体感技术也慢慢走入了人们的生活。通过Kinect体感设备，用户可以仅凭肢体动作与计算机进行“交流”。Kinect体感设备能实时地捕捉人体的姿态，提取人体骨架信息，然后再与一些其他的技术相结合运用到相关领域，比如虚拟现实交互技术以及医疗上面的肢体康复项目等。\n[0003] 脑电信号是人体重要的生理信号，脑电图作为临床医学中不可缺少的辅助检查方法，对神经系统疾病的诊断具有很高的价值。现在已经有很多的脑电信号采集装置和方法，但是还没有一种系统能够有效利用Kinect体感设备和脑电采集装置同步实现对脑电信号与动作行为信号进行采集的系统或装置。\n发明内容\n[0004] 本发明目的在于提供一种利用kinect体感设备获取人体各关节点位置信息、利用脑电采集装置收集脑电信号、通过计算机进行同步采集的人体脑电信号与动作行为信号同步采集系统及方法。\n[0005] 为实现上述目的，采用了以下技术方案：\n[0006] 本发明所述的一种人体脑电信号与动作行为信号同步采集系统，由Kinect体感设备、计算机、无线网卡、脑电帽、脑电信号采集装置和Wi-Fi无线发射模块组成，分为脑电信号采集部分和动作行为信号采集部分；\n[0007] 脑电信号采集部分包括脑电帽、脑电信号采集装置、Wi-Fi无线发射模块、无线网卡和计算机；脑电帽与脑电信号采集装置连接，脑电信号采集装置中安装Wi-Fi无线发射模块，Wi-Fi无线发射模块与无线网卡无线连接，无线网卡安装在计算机上，脑电信号采集装置接收脑电帽采集到的信号，通过Wi-Fi无线发射模块将信号发送至无线网卡接收端，通过无线网卡再将信号输入计算机的数据库中；\n[0008] 动作行为信号采集部分包括Kinect体感设备和计算机；Kinect体感设备实时捕捉人体的骨架信息，通过数据线将骨架信息传输至计算机的数据库中。\n[0009] 所述计算机的软件系统包括时间校准模块、通过Wi-Fi接收脑电信号及时间模块、探测动作行为模块、行为信息归一化模块、动作行为及时间记录模块、脑电信号与动作行为信号匹配模块。\n[0010] 本发明所述的一种人体脑电信号与动作行为信号同步采集方法，包括如下步骤：\n[0011] (1)在系统工作前，确保计算机与脑电信号采集装置中的Wi-Fi无线发射模块已成功连接，再将Kinect体感设备通过数据线与计算机连接；脑电信号采集装置与计算机进行通讯来校准时间，确保脑电信号和动作行为信号的同步采集；\n[0012] (2)被测人员佩戴脑电帽后，在Kinect体感设备正前方2～3米处站立，将Kinect体感设备调整仰角，确保Kinect体感设备可以捕捉到被测人员的完整骨架信息；脑电帽采集被测人员的脑电信号，通过脑电信号采集装置中的Wi-Fi无线发射模块将脑电信号发送至计算机；Kinect体感设备采集被测人员的骨架信息，通过数据线将骨架信息传输至计算机；\n计算机把脑电信号以及相应时间的动作行为信号保存到对应的数据库中；\n[0013] (3)运行该系统，Kinect体感设备实时捕捉被测人员的骨架信息，判断被测人员是否被追踪到，如果被追踪到，则提取人体20个关节点在骨骼坐标系中的x、y、z的坐标值，然后根据小孔模型将这些坐标值转换为空间坐标系的坐标值x＇、y＇、z＇；其中，x＇＝x×z/f、y＇＝y×z/f、z＇＝z，f是Kinect体感设备的焦距；选定参考点(x0，y0，z0)，用得到的空间坐标系的坐标值与参考点的坐标值相减得到最终的坐标值，再将这些关节点的最终的坐标值以及相应的时间存储至计算机数据库中，完成对被测人员动作行为信号的采集；\n[0014] 在动作行为信号采集的同时，脑电采集装置也将脑电信号通过Wi-Fi无线发射模块发送给计算机，为保证传输的可靠性，两者采用TCP协议进行通讯。\n[0015] 另外，为实现两种不同频率信号在窗体中同步显示，首先要对脑电信号和动作行为信号进行匹配；具体的匹配方法如下：\n[0016] 先从数据库中取出某一秒内的脑电信号以及动作行为信号，然后分别统计出这一秒内这两种信号的个数，假设脑电信号的个数为m个，动作行为信号的个数为n个；由于脑电信号的采集频率高于动作行为信号的频率，所以m>n，以动作行为信号的频率为标准，其中动作行为信号的第一条记录，对应于脑电信号的个数为m/n四舍五入的整数部分z1个，第二条记录对应的脑电信号的个数为(m-z1)/(n-1)四舍五入的整数部分z2个，以此类推，最后一条记录对应的脑电信号的个数为(m-z1-…-zn-1)个。\n[0017] 与现有技术相比，本发明具有如下优点：\n[0018] 1、采用Wi-Fi模块传输方式，大大减少脑电信号采集装置的线路对人体活动的限制；\n[0019] 2、实现脑电信号和动作行为信号的同步采集与显示，有助于人们分析对比数据；\n[0020] 3、系统可将一段时间内人体脑电信号与动作行为信号同时记录下来，然后对这两种不同频率的信号进行时间上的精确匹配，为研究这两种信号的潜在关系提供了依据。\n附图说明\n[0021] 图1为本发明人体脑电信号与动作行为信号同步采集系统的硬件原理图。\n[0022] 图2为本发明人体脑电信号与动作行为信号同步采集系统的上位机软件原理图。\n具体实施方式\n[0023] 下面结合附图对本发明做进一步说明：\n[0024] 如图1所示的本发明的硬件原理图中，本发明所述采集系统由Kinect体感设备、计算机、无线网卡、脑电帽、脑电信号采集装置和Wi-Fi无线发射模块组成，分为脑电信号采集部分和动作行为信号采集部分；计算机搭载Windows 7操作系统，装有Kinect For Windows SDK及无线网卡驱动程序；\n[0025] 脑电信号采集部分包括脑电帽、脑电信号采集装置、Wi-Fi无线发射模块、无线网卡和计算机；脑电帽与脑电信号采集装置连接，脑电信号采集装置中安装Wi-Fi无线发射模块，Wi-Fi无线发射模块与无线网卡无线连接，无线网卡安装在计算机上，脑电信号采集装置接收脑电帽采集到的信号，通过Wi-Fi无线发射模块将信号发送至无线网卡接收端，通过无线网卡再将信号输入计算机的数据库中；\n[0026] 动作行为信号采集部分包括Kinect体感设备和计算机；Kinect体感设备实时捕捉人体的骨架信息，通过数据线将骨架信息传输至计算机的数据库中。\n[0027] 所述计算机的软件系统包括时间校准模块、通过Wi-Fi接收脑电信号及时间模块、探测动作行为模块、行为信息归一化模块、动作行为及时间记录模块、脑电信号与动作行为信号匹配模块。计算机软件系统的流程图如图2所示。\n[0028] 本发明所述的人体脑电信号与动作行为信号同步采集方法，包括如下步骤：\n[0029] (1)在系统工作前，确保计算机与脑电信号采集装置中的Wi-Fi无线发射模块已成功连接，再将Kinect体感设备通过数据线与计算机连接；脑电信号采集装置与计算机进行通讯来校准时间，确保脑电信号和动作行为信号的同步采集；\n[0030] (2)将Kinect体感设备放在试验台上，被测人员佩戴脑电帽后，在Kinect体感设备正前方2～3米处站立，将Kinect体感设备调整仰角，确保人体完整地出现在镜头里面，用以保证Kinect体感设备可以捕捉到被测人员的完整骨架信息；脑电帽采集被测人员的脑电信号，通过脑电信号采集装置中的Wi-Fi无线发射模块将脑电信号发送至计算机；Kinect体感设备采集被测人员的骨架信息，通过数据线将骨架信息传输至计算机；计算机把脑电信号以及相应时间的动作行为信号保存到对应的数据库中；\n[0031] (3)在计算机上运行该系统，Kinect体感设备实时捕捉被测人员的骨架信息，判断被测人员是否被追踪到，如果被追踪到，则提取人体20个关节点在骨骼坐标系中的x、y、z的坐标值，然后根据小孔模型将这些坐标值转换为空间坐标系的坐标值x＇、y＇、z＇；其中，x＇＝x×z/f、y＇=y×z/f、z＇=z，f是Kinect体感设备的焦距；选定参考点(x0，y0，z0)，用得到的空间坐标系的坐标值与参考点的坐标值相减得到最终的坐标值，再将这些关节点的最终的坐标值以及相应的时间存储至计算机数据库中，完成对被测人员动作行为信号的采集；\n[0032] 在动作行为信号采集的同时，脑电采集装置也将脑电信号通过Wi-Fi无线发射模块发送给计算机，为保证传输的可靠性，两者采用TCP协议进行通讯。\n[0033] 另外，系统还提供用户调取查看某一个时间段内的两种信号的功能。为实现两种不同频率信号在窗体中同步显示的目的，首先要对这两种信号进行匹配。具体的匹配方法如下：\n[0034] 先从数据库中取出某一秒内的脑电信号以及动作行为信号，然后分别统计出这一秒内这两种信号的个数，假设脑电信号的个数为m个，动作行为信号的个数为n个；由于脑电信号的采集频率高于动作行为信号的频率，所以m>n，以动作行为信号的频率为标准，其中动作行为信号的第一条记录，对应于脑电信号的个数为m/n四舍五入的整数部分z1个，第二条记录对应的脑电信号的个数为(m-z1)/(n-1)四舍五入的整数部分z2个，以此类推，最后一条记录对应的脑电信号的个数为(m-z1-…-zn-1)个。\n[0035] 以上所述的实施例仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。