一种具有智能检测功能的数据处理方法及系统

1.一种具有智能检测功能的数据处理方法，其特征是，包括如下步骤：
步骤一：通过JS脚本自动检测当前用户使用浏览器版本，对于非IE系列浏览器给予提示，并关闭；检测使用浏览器符合要求即进入系统进行数据采集；
步骤二：将远程数据采集终端通过手写板采集完成人笔迹存储至笔迹特征库，采集的申报项目的数据信息存储到网络服务器的缓存区，主计算机调用网络服务器的缓存区的申报项目的数据信息并存储到主计算机的第一缓存区；采集的图片、Word和PDF文档数据以文件形式存储至主计算机的第二缓存区，将文档相对路径存储至项目申报数据库附件子数据表中；
步骤三：主计算机读取第一缓存区中的申报项目的信息，判断数据是否符合要求；对于图片文档，利用项目申报数据库附件子数据表中文档路径调用主计算机的第二缓存区图片文档，利用图像识别模块读取图片文档内容，识别完成人笔迹与笔迹特征库进行比对，完成单位盖章与完成单位数据表完成单位名称是否相符，如果笔迹特征库中笔迹信息、项目申报数据表中申报项目的信息及图片文档均符合要求就进入步骤四，如果不符合就返回步骤二；
步骤四：将步骤三中符合要求的项目数据从项目申报数据库同步到评审数据库，该同步过程采取单向同步；对评审数据库的申报信息进行三次筛选，并将最终数据输出在服务器的浏览页面上；
所述步骤二中具体为：将与项目直接相关的数据存储到项目申报库主数据表中，每条数据对应唯一项目编号，与项目间接相关的数据存储到项目申报库各子数据表中，子数据表中将唯一项目编号设置为外键与主数据表关联；申报数据库的子数据表中还存储有历史项目申报信息。
2.如权利要求1所述一种具有智能检测功能的数据处理方法，其特征是，所述步骤二中，对项目申报库各子数据表存储的数据进行分词或者直接匹配，利用判断模块判断当前的申报项目的信息是否为项目名称或论文论著名称，如果是就进入关键词比较模块，如果不是，再进行判断是否为项目的完成人姓名及身份证号或知识产权号，如果是，则进入直接匹配模块；
利用关键词比较模块将当前的申报项目的信息的项目名称或论文论著名称与历史项目申报信息中的另一申报项目的项目名称或论文论著名称的关键词比较，如果相似度不低于设定值，判定重复，否则不重复；
利用直接匹配模块将当前的申报项目的信息项目的完成人姓名及身份证号或知识产权号与历史项目申报信息中的另一申报项目的项目完成人姓名及身份证号或知识产权号直接进行匹配，如果相同判定重复，否则不重复；
利用存储模块将关键词比较模块及直接匹配模块判定不重复申报项目的信息存储到主计算机的缓存区，将判定重复的申报项目的信息存储到主计算机中的项目申报数据库查重表中。
3.如权利要求2所述一种具有智能检测功能的数据处理方法，其特征是，所述关键词比较模块将当前的申报项目的信息的项目名称或论文论著名称与历史项目申报信息中的另一申报项目的项目名称或论文论著名称的关键词比较，如果相似度不低于设定值，判定重复，否则不重复，具体过程为：
利用关键词提取模块取出当前申报项目的信息及历史项目申报信息中的一个，对取出的信息进行分词，将分解出的关键词分别存储到主计算机中项目申报数据库对应的两个数组中；
利用关键词匹配模块对项目申报数据库对应的两个数组中的关键词进行遍历循环比较，得出相同关键词数及各组关键词数；
根据相似度模块得出当前申报项目的信息与历史项目申报信息中的项目信息的相似度，将该相似度与设定值比较，如果相似度不低于设定值，判定重复，否则不重复；
所述利用关键词提取模块取出当前申报项目的信息及历史项目申报信息中的一个，对取出的信息进行分词，采用ShootSearch组件分词；
所述相似度模块具体用于比较项目申报数据库对应的两个数组中关键词数大小，取出较小关键词数，用相同关键词数除以较小关键词数得出相似度。
4.如权利要求1所述一种具有智能检测功能的数据处理方法，其特征是，所述步骤三中对评审数据库的申报信息进行三次筛选，具体为：
对符合要求的评审数据库中的项目进行第一次筛选，根据项目信息遴选对应的网络评审专家，通过网络评审对同步到评审数据库中的数据进行筛选；将筛选出的申报项目数据存储到评审数据库中的第三缓存区；
对存储到第三缓存区中的申报项目数据进行第二次筛选；根据项目信息遴选资深专家，对第一次筛选取出的数据进行专家投票，从投票结果中取出初步获奖项目，将初步获奖项目的数据存储到评审数据库中的第四缓存区；
对存储到第四缓存区中的申报项目数据进行第三次筛选；根据项目信息遴选科技委员会专家，对第二次筛选中取出的数据进行专家审核，从审核结果中取出最终获奖项目，将最终获奖项目存储到评审数据库中的第五缓存区。
5.如权利要求1所述一种具有智能检测功能的数据处理方法，其特征是，所述三次筛选中，专家的遴选的过程具体为：
S1：将科技项目学科信息以数据集A的形式存储在评审数据库的子数据表中，评审数据库的子数据表中还存储有以数据集B的形式存储的专家学科信息；
S2：在数据集B中选取专家学科信息并作为条件因素，判断该专家学科信息的条件因素是否为一级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目学科信息的关键因素匹配，遍历专家学科信息中的条件因素是否包含关键因素，如果包含则匹配，并进入步骤S5，否则不匹配，进入步S3；
S3：判断该专家信息的条件因素是否为二级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目信息的关键因素匹配，遍历专家信息中的条件因素是否包含关键因素，如果包含则匹配，进入步骤S5，否则不匹配，进入步骤S4；
S4：判断该专家信息的条件因素是否为三级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目信息的关键因素匹配，遍历专家信息中的条件因素是否包含关键因素，如果包含则匹配，进入S5，否则不匹配；
S5：从存储的专家学科信息的数据集B中随机选取与科技项目相匹配的专家数量，并将取出的数据存储至评审数据库。
6.如权利要求1所述一种具有智能检测功能的数据处理系统，其特征是，包括：
系统校验模块，用于通过JS脚本自动检测当前用户使用浏览器版本，对于非IE系列浏览器给予提示，并关闭；检测使用浏览器符合要求即进入系统进行数据采集；
远程数据采集终端，用于将采集的申报项目的数据信息存储到网络服务器的缓存区，将远程数据采集终端通过手写板采集完成人笔迹存储至笔迹特征库；
主计算机，用于调用网络服务器的缓存区的申报项目的数据信息并存储到主计算机的第一缓存区；采集的图片、Word和PDF文档数据以文件形式存储至主计算机的第二缓存区，将文档相对路径存储至项目申报数据库附件子数据表中；
查重判断模块，用于根据主计算机读取第一缓存区中的申报项目的信息，判断数据是否符合要求；对于图片文档，利用项目申报数据库附件子数据表中文档路径调用主计算机的第二缓存区图片文档，利用图像识别模块读取图片文档内容，识别完成人笔迹与笔迹特征库进行比对，完成单位盖章与完成单位数据表完成单位名称是否相符，如果笔迹特征库中笔迹信息、项目申报数据表中申报项目的信息及图片文档均符合要求就进入筛选模块，如果不符合就重新采集数据；
输出模块，用于将符合要求的项目数据从项目申报数据库同步到评审数据库；对评审数据库的申报信息进行三次筛选，并将最终数据输出在服务器的浏览页面上；
所述数据处理系统还包括数据分配模块，具体用于将与项目直接相关的数据存储到项目申报库主数据表中，与项目间接相关的数据存储到项目申报库各子数据表中，子数据表之间通过项目主键关联；申报数据库的子数据表中还存储有历史项目申报信息。
7.如权利要求6所述一种具有智能检测功能的数据处理系统，其特征是，所述查重判断模块中，具体还包括选择模块，选择模块用于对主计算机读取第一缓存区中的项目申报库各子数据表存储的数据进行分词或者直接匹配，利用判断当前的申报项目的信息是否为项目名称或论文论著名称，如果是就进入关键词比较模块，如果不是，再进行判断是否为项目的完成人姓名及身份证号或知识产权号，如果是，则进入直接匹配模块；
关键词比较模块，用于将当前的申报项目的信息的项目名称或论文论著名称与历史项目申报信息中的另一申报项目的项目名称或论文论著名称的关键词比较，如果相似度不低于设定值，判定重复，否则不重复；
直接匹配模块，用于将当前的申报项目的信息项目的完成人姓名及身份证号或知识产权号与历史项目申报信息中的另一申报项目的项目完成人姓名及身份证号或知识产权号直接进行匹配，如果相同判定重复，否则不重复；
存储模块，用于将关键词比较模块及直接匹配模块判定不重复申报项目的信息存储到主计算机的缓存区，将判定重复的申报项目的信息存储到主计算机中的项目申报数据库查重表中。
8.如权利要求7所述一种具有智能检测功能的数据处理系统，其特征是，所述关键词比较模块，具体包括：
关键词提取模块，用于取出当前申报项目的信息及历史项目申报信息中的一个，对取出的信息进行分词，将分解出的关键词分别存储到主计算机中项目申报数据库对应的两个数组中；
相似度模块，用于得出当前申报项目的信息与历史项目申报信息中的项目信息的相似度，将该相似度与设定值比较，如果相似度不低于设定值，判定重复，否则不重复；
所述利用关键词提取模块取出当前申报项目的信息及历史项目申报信息中的一个，对取出的信息进行分词，采用ShootSearch组件分词；
所述相似度模块具体用于比较项目申报数据库对应的两个数组中关键词数大小，取出较小关键词数，用相同关键词数除以较小关键词数得出相似度。
9.如权利要求6所述一种具有智能检测功能的数据处理系统，其特征是，所述筛选模块包括一次筛选模块、二次筛选模块及三次筛选模块，所述一次筛选模块用于对符合要求的项目进行第一次筛选，根据项目信息遴选对应的网络评审专家，通过网络评审对同步到评审数据库中的数据进行筛选；将筛选出的申报项目数据存储到评审数据库中的第三缓存区；
所述二次筛选模块用于对存储到第三缓存区中的申报项目数据进行第二次筛选；根据项目信息遴选资深专家，对一次筛选模块中取出的数据进行专家投票，从投票结果中取出初步获奖项目，将初步获奖项目的数据存储到评审数据库中的第四缓存区；
所述三次筛选模块用于对存储到第四缓存区中的申报项目数据进行数据第三次筛选；
根据项目信息遴选科技委员会专家，对二次筛选模块中取出的数据进行专家审核，从审核结果中取出最终获奖项目，将最终获奖项目存储到评审数据库中的第五缓存区；将存储在评审数据库中的第五缓存区中的最终获奖项目的数据输出。
10.如权利要求6所述一种具有智能检测功能的数据处理系统，其特征是，所述筛选模块，具体包括：
筛选存储模块，用于调用科技项目学科信息并以数据集A的形式存储在评审数据库的子数据表中，评审数据库的子数据表中还存储有以数据集B的形式存储的专家学科信息；
一级学科提取模块，用于在数据集B中选取专家学科信息并作为条件因素，判断该专家学科信息的条件因素是否为一级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目学科信息的关键因素匹配，遍历专家学科信息中的条件因素是否包含关键因素，如果包含则匹配，否则不匹配；
二级学科提取模块，用于判断该专家信息的条件因素是否为二级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目信息的关键因素匹配，遍历专家信息中的条件因素是否包含关键因素，如果包含则匹配，否则不匹配；
三级学科提取模块，用于判断该专家信息的条件因素是否为三级学科，如果是，则将该条件因素与以数据集A的形式存储的科技项目信息的关键因素匹配，遍历专家信息中的条件因素是否包含关键因素，如果包含则匹配，否则不匹配；
随机数据生成模块，用于从存储的专家学科信息的数据集B中随机选取与科技项目相匹配的专家数量，并将取出的数据存储至评审数据库。

暂无