跨安全区应用服务隔离平台

1.一种跨安全区应用服务隔离平台，其特征在于，包括以下各功能模块：
主动获取模块：用于主动获取外部数据源；
被动调用模块：用于调用外部应用服务的数据；
发送端接口模块：分别由主动获取模块和被动调用模块通过主动获取的方式或被动调用的方式由外部数据源或者外部应用服务调用此接口并向其传输数据；
发送端应用认证模块：根据预先注册好的应用信息，对连接入接口的应用进行认证；
发送端数据缓冲模块：经过认证的数据进入数据缓冲模块，将所有的通过平台传输的数据以文本的文件保存在某一个本地文件夹中；
发送端完整性验证模块：用于文件保存以后验证某一次传输数据的完整性；
发送端文件传输模块：用于将完整的文本文件传输至摆渡文件夹中；
文件摆渡模块：由隔离装置的传输软件控制，负责定时地将发送端计算机文件夹下的数据保存至接收端计算机的某一个文件夹下；
接收端文件传输模块：负责将数据从文件摆渡模块的摆渡文件夹传输至接收端缓存文件夹；
接收端完整性验证模块：在接收端用于在传输时验证应用数据的完整性；
接收端应用认证模块：对接收的应用信息进行认证；
接收端接口模块：用于输出相应的数据，或通过主动推送模块、被动调用模块将相应的数据发送到相应的外部数据源中；
主动推送模块：将相应的数据推送到相应的外部数据源中；
被动调用模块：用于通过被动调用的方式送到相应的外部数据源中。
2.根据权利要求1所述的跨安全区应用服务隔离平台，其特征在于：所述发送端接口模块和接收端接口模块包括Socket、Webservice和各种API接口。
3.根据权利要求1所述的跨安全区应用服务隔离平台，其特征在于：在发送端应用认证模块和接收端应用认证模块中，所述认证包括：应用ID和密码认证、IP地址认证、网卡地址认证、连接时间认证、关键字过滤认证。
4.根据权利要求1或2或3所述的跨安全区应用服务隔离平台，其特征在于：在所述文件摆渡模块中，同时将配置和监控信息也以文件摆渡的方式传递至接收端。
5.根据权利要求1或2或3所述的跨安全区应用服务隔离平台，其特征在于：所述主动推送模块包括以下三个数据表，
DTS_UPDATE_HIS_RECOR：更新历史表，用于存储目标数据库中数据的变动信息，每次同步结束以后，系统将删除已被同步成功的数据；
DTS_UPDATE_MANAGE_TABLE：存储系统中各个数据表的同步信息，包括：同步策略、同步时间间隔、同步时间长度、当前已经同步的时间；
DTS_LOG_RECORD_TABLE：存储同步系统的运行日志信息，
启动架构扫描线程定期扫描数据库，获取当前系统中的新增表，对每个新增表，系统会向DTS_UPDATE_MANAGE_TABLE中登记其信息，添加新增、删除、修改触发器，用于对该表的数据变动进行监控；
启动数据获取线程，对每一张要求增量同步的表从DTS_UPDATE_HIS_RECOR获取该表在最近同步时间以后的规定时间长度内的增量数据，根据增量数据的主键和类型信息，到原表中查找其相关信息，并且生成新增、修改语句，并且将这些语句写入到数据文件中；
启动数据备份线程，定期扫描指定目录的数据文件，当系统发现有其同步的数据文件时，将会对这些数据文件进行分析，如果这些数据文件是数据时，则执行导入；如果是远端处理结果，则删除；如果是请求文件，则获取数据，并且写入到增量数据文件夹的数据文件中，系统同步失败时，将不删除数据文件，重复执行一定的次数；如果该数据文件超过一段的时间没有被执行，将被移除到指定的目录中，以便手工恢复。
6.根据权利要求1或2或3所述的跨安全区应用服务隔离平台，其特征在于：所述文件摆渡模块设置多个，对于一个接口产生的数据，在多个隔离装置上平衡传输数据。
7.根据权利要求1或2或3所述的跨安全区应用服务隔离平台，其特征在于：在所述发送端数据缓冲模块中，对应用程序进行优先级设置，按照优先级高低进行数据先后传输的功能，同时如果请求文件大于设置值，则拆分成多个文件进行传输。
8.根据权利要求1或2或3所述的跨安全区应用服务隔离平台，其特征在于：在所述主动推送模块中，采用DataReader技术分批读取BLOB字段内容，读取完一条记录以后立即将该记录数据都写入到数据文件中。

跨安全区应用服务隔离平台\n技术领域\n[0001] 本发明为一种基于物理隔离装置的安全数据服务平台，实现两个不互相连通的网络区域之间的数据和信息的双向传递，属于电力系统自动控制技术领域。\n背景技术\n[0002] 在电力系统网络划分为基于物理隔离装置的内、外网以后，两个区域的网络并不互相连通而导致的数据和信息无法正常传递，从而使得电力系统原有的应用服务无法正常使用。\n[0003] 为了保证原有系统能正常使用，应创建一个可以在安全区之间进行数据和信息传输的平台，在《电力二次系统安全防护总体方案》规定的指导下，信息数据平台应采用多种技术手段来保证系统及数据的安全，并在硬件、软件配置上提供对系统备份和快速恢复的手段，保证系统的安全、稳定运行。\n[0004] 目前一些同步传输平台大多采用正常的TCP/IP方式，没有一个安全、可靠和高效率的网络安全技术方案可以满足严格的网络信息安全要求和传输要求。由于技术上的复杂性，有些网络同步技术方案还存在着运行不稳定和严重的设计逻辑错误，造成同步后的数据不一致，丢失和破坏了数据的完整性，严重的甚至引起数据库运行不稳定，给数据库应用和网络信息安全带来极大的危害。\n发明内容\n[0005] 本发明所要解决的技术问题是在两个并不互相连通的网络中实现数据和信息安全、稳定的双向传输，确保电力系统原有的应用服务正常使用。\n[0006] 本平台基于物理隔离装置的文件传输机制，提供了一种内外网信息传递的途径，通过提供多种语言的API及SOCKET、FTP、WebService的接入方式，上层应用程序可以以安全可控的方式在信息内外网之间交互应用数据，从而实现原有的应用系统在安全改造之后的正常使用。对于数据库的同步，采用基于触发器的数据库双向同步模块通过在信息外网建立信息内网的数据库的镜像，并且以准实时的方式将信息内网的数据库中的增量数据同步到信息外网的镜像数据库中。从而实现了信息外网的应用程序对内网信息的访问。\n[0007] 为实现上述目的，本发明采取以下技术方案进行实现的：\n[0008] 一种跨安全区应用服务隔离平台，其特征在于，包括以下各功能模块：\n[0009] 主动获取模块：用于主动获取外部数据源；\n[0010] 被动调用模块：用于调用外部应用服务的数据；\n[0011] 发送端接口模块：分别由主动获取模块和被动调用模块通过主动获取的方式或被动调用的方式由外部数据源或者外部应用服务调用此接口并向其传输数据；所述接口模块包括Socket、Webservice和各种API接口。\n[0012] 发送端应用认证模块：根据预先注册好的应用信息，对连接入接口的应用进行认证；所述认证包括：应用ID和密码认证、IP地址认证(可通配)、网卡地址认证、连接时间认证、关键字过滤认证。除了以上提到的用户名和密码是必须的之外，其他验证方式都是可选，可以设置也可以不设置。\n[0013] 发送端数据缓冲模块：经过认证的数据进入数据缓冲模块，将所有的通过平台传输的数据以文本的文件保存在某一个本地文件夹中。因此此流程是将各种数据保存成不同的文本文件，用文件的名称和文件头作为应用的标识，而预先为不同应用设定好的文件大小也会在这里起作用，可以将大数据量的文件拆分成若干小文件；\n[0014] 发送端完整性验证模块：用于文件保存以后验证某一次传输数据的完整性；\n[0015] 发送端文件传输模块：用于将完整的文本文件传输至摆渡文件夹中；\n[0016] 在传输数据文件时，根据预先设定好的流量限制进行传递，在某一时间段内最大传输文件的数量会影响到每次传递文件的多少。\n[0017] 文件摆渡模块：由隔离装置的传输软件控制，负责定时地将发送端计算机文件夹下的\n[0018] 数据保存至接收端计算机的某一个文件夹下。\n[0019] 接收端文件传输模块：负责将数据从文件摆渡模块的摆渡文件夹传输至接收端缓存文件夹；\n[0020] 接收端完整性验证模块：用于在传输时验证应用数据的完整性；\n[0021] 接收端应用认证模块：对接收的应用信息进行认证；所述认证包括：应用ID和密码认证、IP地址认证(可通配)、网卡地址认证、连接时间认证、关键字过滤认证；\n[0022] 接收端接口模块：用于输出相应的数据，或通过主动推送模块、被动调用模块将相应的数据发送到相应的外部数据源中。所述接口模块包括Socket、Webservice和各种API接口。\n[0023] 主动推送模块：将相应的数据推送到相应的外部数据源中；\n[0024] 被动调用模块：用于通过被动调用的方式送到相应的外部数据源中。\n[0025] 前述的跨安全区应用服务隔离平台，其特征在于：在所述文件摆渡模块中，同时将配置和监控信息也以文件摆渡的方式传递至接收端。\n[0026] 将创建三张表，用于记录和维护同步信息。这三张表分别是：\n[0027] 前述的跨安全区应用服务隔离平台，其特征在于：所述在所述主动推送模块中，包括以下三个数据表，\n[0028] DTS_UPDATE_HIS_RECOR：更新历史表，用于存储目标数据库中数据的变动信息，[0029] 每次同步结束以后，系统将删除已被同步成功的数据；\n[0030] DTS_UPDATE_MANAGE_TABLE：存储系统中各个数据表的同步信息，包括：同步策略、同步时间间隔、同步时间长度、当前已经同步的时间；\n[0031] DTS_LOG_RECORD_TABLE：存储同步系统的运行日志信息，\n[0032] 系统启动架构扫描线程定期扫描数据库，获取当前系统中的新增表，对每个新增表，系统会向DTS_UPDATE_MANAGE_TABLE中登记其信息，添加新增、删除、修改触发器，用于对该表的数据变动进行监控；\n[0033] 系统启动数据获取线程，对每一张要求增量同步的表从DTS_UPDATE_HIS_RECOR获取该表在最近同步时间以后的规定时间长度内的增量数据，根据增量数据的主键和类型信息，到原表中查找其相关信息，并且生成新增、修改语句，并且将这些语句写入到数据文件中；\n[0034] 系统启动数据备份线程，定期扫描指定目录的数据文件，当系统发现有其同步的数据文件时，将会对这些数据文件进行分析，如果这些数据文件是数据时，则执行导入；如果是远端处理结果，则删除；如果是请求文件，则获取数据，并且写入到增量数据文件夹的数据文件中，系统同步失败时，将不删除数据文件，重复执行一定的次数；如果该数据文件超过一段的时间没有被执行，将被移除到指定的目录中，以便手工恢复。\n[0035] 前述的跨安全区应用服务隔离平台，其特征在于：所述文件摆渡模块设置多个，对于一个接口产生的数据，在多个隔离装置上平衡传输数据，以达到响应时间最优化。\n[0036] 在所述发送端数据缓冲模块中，对应用程序进行优先级设置，按照优先级高低进行数据先后传输的功能，同时如果请求文件大于配置值，则拆分成多个文件进行传输，以利于优先级高的数据能够尽快的被传输。\n[0037] 前述的跨安全区应用服务隔离平台，其特征在于：在所述主动推送模块中，采用DataReader技术分批读取BLOB字段内容，读取完一条记录以后立即将该记录数据都写入到数据文件中。\n[0038] 基于物理隔离的应用数据传输：负责将通过接口接入的连接进行身份认证、文件缓冲、流量控制、文件分割和验证，然后通过摆渡文件夹传递到接收方。在接收方，通过文件完整性和正确性验证，将文件从摆渡文件夹下载到缓冲文件夹，等到有接口调用时，先依然要进行身份验证，然后将此数据返回给相应的接口调用者。保证只有被认证的应用，其数据才能经过本平台进行交换。这样通过阻断其他一切网络访问，来保障网络的安全。\n[0039] 基于隔离装置的数据库同步：本发明采用触发器的方式获取增量数据，在任何情况下，同步系统不会无故删除原有数据库中的数据；系统第一次运行时，将会自动扫描数据库中现有数据表，根据配置文件中的要同步的表的Schemas(可有多个)，自动创建该Schemas下的各个数据表的(新增、删除、修改)触发器；系统运行过程中，会动态扫描用户表。当系统发现新增的数据表，且该表属于配置文件中定义的Schema，则动态创建该表的(新增、删除、修改)触发器；上述触发器分别在数据库接收到插入数据、更新数据、删除数据消息时，自动将变动的记录的主键记录到DTS_UPDATE_HIS_RECOR表中，并且记录数据变动的类型，从而完成了数据表增量数据的实时采集；同步系统定时扫描DTS_UPDATE_HIS_RECOR表中的数据，完成了增量数据的准实时获取。\n[0040] WebService透明代理：提供同步和异步两种方式的调用，提供对Web Service数据访问的透明支持，针对某些原来直接调用内部Web Service获取数据的情况，可以采取同步的Web Service调用方式，通过将Web Service部署到信息内网，应用程序部署到信息外网。在信息外网的应用程序将对原Web Service的调用转发给隔离平台软件，隔离平台将请求摆渡到内网以后，解析并且转发给原Web Service，并且将调用结果打包摆渡到外网侧，从而实现应用程序对内网数据的无缝查询和修改。如果应用程序没有使用WEB Service来获取和处理数据，则同步方式不可使用。\n[0041] 通过WebService方式异步传输数据，即发送和接收分别进行。此种方式无论是发送还是接收都要通过第三方应用程序访问预先为该应用定义好的WebService地址；此种方式支持字节流和DataObject对象两种数据格式。\n[0042] 系统提供了多种语言的API及SOCKET、FTP、WebService的接入方式，为各种应用程序的接入提供了方便。\n[0043] 多个隔离装置间传输量的负载平衡：通过设置相应的策略，平衡的利用多个隔离装置的传输通道的传输能力，对于一个接口产生的数据，可以在多个隔离装置上平衡传输数据，以达到响应时间最优化；也可以设定一个隔离装置只用于传输一类数据(如WebService请求以及响应)，其它类型的数据不能占用该隔离装置的传输通道。\n[0044] 对应用程序进行优先级设置，可以按照优先级高低进行数据先后传输的功能，同时平台在缓冲接口生成的数据时，如果请求文件大于1M(可配置)，则需要拆分成1M(配置)大小的多个文件进行传输，以利于优先级高的数据能够尽快的被传输。\n[0045] 为确保数据传输的效率：本发明采用DataReader技术分批读取BLOB字段内容，读取完一条记录以后立即将该记录数据都写入到数据文件中；对类型为BLOB数据的数据文件，读取完一条记录的内容以后，将其数据更新到数据库，这里的更新使用带参数的SQL语法，采用DBCommand和DBParameter的方式。通过上述方式，解决了BLOB数据占用内存大、读取速度慢的问题。\n[0046] 为了确保数据传输的高度安全性：本发明采用以下方式来保证数据安全，包括[0047] (1)网络安全：系统默认仅会占用6631非标准端口(可配置)，不会监控其他任何端口；Webservice网络代理必须设置其使用80端口；\n[0048] (2)数据安全：所有传输数据通讯全部采用自定义协议，无任何明文传输；服务器端连接的数据库信息、网络信息和各种配置信息对客户端绝缘，不会发送任何类似安全信息给客户端；服务器端涉及密码安全等信息，全部采用加密存储，无任何明文存放；\n[0049] (3)操作安全性：未预留任何后门协议，系统对于未授权的用户禁止访问或修改；\n服务器可以设置客户端访问权限，允许IP和网卡绑定，允许设置传输速度；整个系统在独立服务进程内无人值守运行，即使不登录，也可以提供网络服务。\n[0050] 为了确保数据同步后的完整性和一致性：本发明采用完整的数据备份功能，将所有操作以文本形式保存在备份文件夹下，以备后期数据的核查；同时提供了手动对指定的数据表进行导入导出的功能。导入将从远端数据库的相应表的指定范围内查询数据，并且将结果插入到本地数据库；导出是指将本地数据库中的指定表的某个时间段的数据查询并且导出到数据文件中，并且将该数据文件通过平台传输到远端网络，将数据插入到远端数据库的相应表中。导入导出的数据在插入到目标数据表之前，需要删除目标数据表中相应主键范围内的数据。\n[0051] 本发明所达到的有益效果：\n[0052] 本发明为跨安全区的应用服务隔离改造提供一个安全传输的平台，实现了一系列的API给上层应用程序使用，使得上层应用程序可以以安全、可控、透明的方式在信息内外网之间进行信息的双向传输；提供了授权机制对可以使用传输平台的上层应用程序进行控制；平台同时提供了友好的WEB操作界面给系统管理员进行通信授权、策略等信息的配置以及流量、运行日志等信息的监控和管理。\n附图说明\n[0053] 图1是本发明的总体架构图；\n[0054] 图2是本发明的数据库同步功能流程图；\n[0055] 图3是本发明的数据库同步结构图。\n具体实施方式\n[0056] 以下结合附图对本发明作具体的介绍：\n[0057] 图1是本发明的总体架构图，如图所示，系统按照如下流程进行数据传输：\n[0058] 1.系统包括不同的接口供各种应用调用，这里的接口包括Socket、Webservice和各种API。分别由主动获取模块和被动调用模块通过主动获取的方式或被动调用的方式由外部数据源或者外部应用服务调用此接口并向其传输什么样的数据。\n[0059] 2.根据预先注册好的应用信息，平台对连接入接口的应用进行认证，这里的认证包括：应用ID和密码认证、IP地址认证(可通配)、网卡地址认证、连接时间认证、关键字过滤认证。除了以上提到的用户名和密码是必须的之外，其他验证方式都是可选，可以设置也可以不设置。\n[0060] 3.如果数据经过认证，则可以通过平台进行传递，下一步进入数据缓冲区，所有的通过平台传输的数据都会以文本的文件保存在某一个运行此平台的本地文件夹中。因此此流程是将各种数据保存成不同的文本文件，用文件的名称和文件头作为应用的标识，而预先为不同应用设定好的文件大小也会在这里起作用，可以将大数据量的文件拆分成若干小文件。\n[0061] 4.文件保存完以后，首先要做完整性验证，在文件传输模块中，会验证某一次传输数据的完整性并将完整的文本文件传输至摆渡文件夹中，在传输的同时，还需要根据预先设定好的流量限制进行传递，在某一时间段内最大传输文件的数量会影响到每次传递文件的多少。\n[0062] 5.文件摆渡模块由另外的系统控制，负责定时的将发送端计算机文件夹下的数据保存至接收端计算机的某一个文件夹下。\n[0063] 6.在接收端，文件传输负责将数据从摆渡文件夹传输至平台自己的缓存文件夹，并在传输时验证其完整性，只能等到某一个应用的数据完全传递完毕后才进行如上操作。\n[0064] 7.最后，在接收端的已经注册过的应用可以通过接收端接口获取相应的数据，也可以通过主动推送模块将相应的数据推送到相应的外部数据源中。这里的获取方式也是接收端的应用进行主动调用。安全认证的方式如发送端所述。\n[0065] 8.另外，在整个流程中，通过系统可以实时检测到各应用传输数据的情况和各种日志。同时配置和监控信息也可以通过发送端通过文件摆渡的方式传递至接收端。\n[0066] 图2是数据库同步功能流程图，系统第一次运行时，将创建三张表，用于记录和维护同步信息。这三张表分别是：\n[0067] DTS_UPDATE_HIS_RECOR：更新历史表，用于存储目标数据库中数据的变动信息，每次同步结束以后，系统将删除已被同步成功的数据。\n[0068] DTS_UPDATE_MANAGE_TABLE：存储系统中各个数据表的同步信息，包括：同步策略(不同步、完全同步、增量同步)、同步时间间隔、同步时间长度、当前已经同步的时间等。\n[0069] DTS_LOG_RECORD_TABLE：存储同步系统的运行日志信息。\n[0070] 系统启动架构扫描线程定期扫描数据库，获取当前系统中的新增表(已经创建但尚未在DTS_UPDATE_MANAGE_TABLE登记的表)。对每个新增表，系统会向DTS_UPDATE_MANAGE_TABLE中登记其信息，添加新增、删除、修改触发器，用于对该表的数据变动进行监控。\n[0071] 系统启动数据获取线程(此处依据表的数量，将可能创建多线程)。对每一张要求增量同步的表从DTS_UPDATE_HIS_RECOR获取该表在最近同步时间以后的规定时间长度内的增量数据。根据增量数据的主键和类型信息，到原表中查找其相关信息，并且生成新增、修改语句(对于删除类型的记录，则直接生成)。并且将这些语句写入到数据文件中。\n[0072] 系统启动数据备份线程，定期扫描指定目录的数据文件。当系统发现有其同步的数据文件时，将会对这些数据文件进行分析。如果这些数据文件是数据时，则执行导入。如果是远端处理结果，则删除。如果是请求文件，则获取数据，并且写入到增量数据文件夹的数据文件中。系统同步失败时，将不删除数据文件，重复执行一定的次数。如果该数据文件超过一段的时间没有被执行，将被移除到指定的目录中，以便手工恢复。\n[0073] 出于数据安全方面的考虑，对同一张表的同步是单向的，即只能对网络隔离装置一侧的数据进行变动。如果原有业务系统有这方面的需求，则需要对原有业务系统进行改造。\n[0074] 图3是数据库同步的结构图，如图所示，完成一次数据库增量数据的同步步骤如下：\n[0075] 1、同步服务器定期获取指定数据库的增量数据，生成相应的数据文件；\n[0076] 2、同步服务器通过调用跨安全区应用服务隔离平台软件的API将数据文件传输到网络隔离装置的另一侧；\n[0077] 3、在网络隔离装置另一侧的，同步服务器调用跨安全区应用服务隔离平台的API获取传递过来的数据；\n[0078] 4、同步服务器将这些数据写入到镜像数据库。\n[0079] 以上已以较佳实施例公布本发明如上，然其并非用以限制本发明，凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。