基于增强虚拟现实与异型屏的实时人机互动方法及系统

1.一种基于增强虚拟现实与异型屏的实时人机互动方法、其特征在于操作步骤如下： A.对要交互的虚拟物体进行建模；对统计平均的人手模型进行建模； B.由N台摄像头对人手进行视频采集，获得原始图像； C.在计算机内进行处理，步骤为： a.实现实时光透式增强显示：对拍摄的人手原始图像，经过分割处理后，进行三维重构，转换到与虚拟物体相同的坐标系，进行碰撞检测；先利用包围盒方法进行粗步检测，如果有碰撞存在，再进行精确检测，利用人工免疫系统方法进行精确检测，实现快速虚实碰撞检测；对碰撞后的虚拟模型进行变形处理，进行注册后显示在光透式头盔显示器上； b.实时虚实抓握、抛物动作检测与实时抛物动画生成计算：对拍摄的原始图像，经过肤色统计进行图像分割，对分割后的图像进行骨骼化处理，利用预建好的抓握分类模型进行筛选，确定动作类型；在抓握成功的基础上，利用帧的差分算法来计算加速度和方向变量值等系数进行抛物动作检测判断，如果大于试验统计平均值，则为抛物成功；在抛物成功后实时生成相应的抛物动画； c.实时多屏交互：对生成的实时抛物动画进行跨屏处理，对于从一个投影屏幕飞出到另一投影屏幕的情况进行图像融合；利用网络平台实现分布式预处理。
2. —种用于根据权利要求1所述基于增强虚拟现实与异型屏的实时人机互动方法的系统， 包括实现实时光透式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画 生成算法及系统(5)实时多异型屏交互系统(6)，系统之间使用网络交换机利用网线连接，其特征在于：1) 实时光透式增强显示的系统(4)，由两套独立的系统组成；每套由一个OLED光透式头盔显示器加两个的摄像头和处理PC构成；每套设备利用一台处理PC完成增强光透显示方法的处理；2) 实时虚实抓握、抛物动作检测与实时抛物动画生成系统(5)为视觉和磁力设备融合 的多传感器系统，由磁力跟踪设备与实时光透式增强显示的系统（4)构成；在实 时光透式增强显示的系统（4)的基础上增加了磁力设备，进行信息融合实现虚实 抓握、抛物动作处理；3) 实时多异型屏交互系统(6)在实时虚实抓握、抛物动作检测与实时抛物动画生成系 统(5)的基础上，增加了5台PC和8台投影机实现多屏交互；每两台投影机由一台渲染PC控制，另由一台PC作为时序和脚本控制与音响处理；实时光透式增强显示的系统(4)、实时虚实抓握、抛物动作检测与实时抛物动画生成系统(5)和实 时多异型屏交互系统(6)之间的PC通信由局域网交换机完成。

暂无