基于深度强化学习实现人脸识别端边卸载计算方法及装置

1.一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，包括：
获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，所述分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；
将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；
根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络利用A2C算法进行训练，获得智能卸载决策模型；
对所述智能卸载决策模型的性能与基准查询策略进行对比评估；
根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。
2.根据权利要求1所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，所述状态空间包括当前与上一时间步的人脸特征的欧式距离偏差、上一个时间步终端的人脸识别的预测值、上一个时间步终端人脸识别的置信度、上一个时间步边缘侧的人脸识别的预测值、当前时间、上一个时间步终端的人脸识别预测集、剩余的查询步数、终端的查询决策、边缘侧的查询决策。
3.根据权利要求1所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，所述动作集包括查询终端缓存、查询边缘缓存、查询终端当前预测、查询边缘当前预测四个动作。
4.根据权利要求1-3任一项所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络利用A2C算法进行训练，获得智能卸载决策模型，包括：
步骤(3.1)，初始化状态空间，从所述分类数据中随机选取一组数据并赋值给对应状态；
步骤(3.2)，构建Actor神经网络，输入步骤(3.1)中得到的状态空间到Actor神经网络中，然后Actor神经网络会从动作集来选取一个动作并输出；
步骤(3.3)，将步骤(3.2)得到的动作以及当前时刻状态输入到仿真环境中以后，将由奖励函数根据t时刻人脸识别任务的精确度与动作的开销系数返回从环境中获得的奖赏，然后时刻更新到t+1并更新状态空间；
步骤(3.4)，构建Critic神经网络，输入动作和步骤(3.3)更新后的状态空间后，Critic神经网络将输出对动作的反馈值；
步骤(3.5)，Actor神经网络将根据Critic神经网络对动作的反馈值来重新调整网络权重系数；
步骤(3.6)，经过多轮迭代训练，直到奖励函数收敛，获得智能卸载决策模型。
5.根据权利要求1所述的一种基于深度强化学习实现人脸识别端边卸载计算方法，其特征在于，对所述智能卸载决策模型的性能与基准查询策略进行对比评估，包括：
在仿真环境中首先运行智能卸载决策模型，当查询预算还有剩余的时候会根据环境的其他状态情况智能选择人脸识别任务是否需要卸载到边缘服务器，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
在仿真环境中运行随机采样策略，当查询预算还有剩余的时候从四个查询动作中随机采取动作来训练随机采样卸载模型，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
在仿真环境中运行终端查询策略，当查询预算还有剩余的时候查询动作为每次都从终端查询最新的预测来训练终端查询卸载模型，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
在仿真环境中运行边缘侧查询策略，当查询预算还有剩余的时候每次都从边缘服务器中的OpenFace模型中获取最新预测结果来训练边缘侧查询卸载模型，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
在仿真环境中运行终端随机采样策略，当查询预算还有剩余的时候会根据机器人端模型预测的置信度将一些关键帧传输到边缘侧服务器中FaceNet模型中获取最新预测结果来训练终端随机采样卸载模型，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
在仿真环境中运行数据库查询策略，直接根据数据库中记录所有时间段的状态来计算奖励值，并保存每次执行完动作以后从环境中所获得的奖励以及人脸识别的误差；
通过保存的奖励以及人脸识别的误差绘制出不同查询策略的模型性能评估。
6.一种基于深度强化学习实现人脸识别端边卸载计算装置，其特征在于，包括：
获取模块，用于获取真实的人脸图片，根据边端人脸识别模型训练得到分类数据，其中，所述分类数据包括图片名称、id、图片提取出的128维特征向量、终端预测置信度、终端预测值、边缘预测值；
模型定义模块，用于将深度学习与强化学习进行结合，定义马尔科夫决策过程的状态空间、动作集、奖励函数和智能体；
模型构建模块，用于根据定义好的马尔科夫决策过程，构建Actor神经网络和Critic神经网络，使用所述分类数据对构建好的Actor神经网络和Critic神经网络进行训练，获得智能卸载决策模型；
评估模块，用于对所述智能卸载决策模型的性能与基准查询策略进行对比评估；
模型部署模块，用于根据对比评估的结果，将智能卸载决策模型部署到智能终端设备中，进行人脸识别的任务卸载决策。

暂无