电力系统实时数据处理方法

1.一种电力系统实时数据处理方法，其特征在于，包括以下步骤：
按照预设的若干个主题类型，对电力系统中的实时数据进行分类；
根据分类的所述实时数据，生成分别对应于所述若干个主题类型的数据文件，并将生成的所述数据文件存储至电力系统中的文件服务器内；
接收数据访问请求端发送的数据访问请求；其中，所述数据访问请求中包含所需访问数据的主题类型；
将相应主题类型的数据文件返回至所述数据访问请求端，建立实时数据管理平台，所述实时数据管理平台包括存储层、处理层和服务层；
其中，
存储层用于实现数据的存储功能，数据的压缩设置、压缩处理、压缩存储以及实时/历史数据库与关系数据库之间的按需转储，以及告警数据、日志、配置数据的存储管理；
处理层用于实现数据处理和数据加工，数据处理包括实时数据的整合以及规范化标准化处理，同时对数据的质量、合理性进行校验，对不合理的数据以及重要的变化数据产生告警，另外，对源业务应用历史数据发生改变进行同步处理，以保证实时数据平台与业务应用源数据之间的一致；数据加工包括对源数据的二次加工，根据具体需求在平台本身生成供其它业务应用和分析辅助决策类应用使用的信息；
服务层用于实现数据接口、管理和支撑；服务层数据接口对外提供的数据访问和数据接入服务，服务层管理功能包括平台管理和元数据管理，平台管理用于保证基于IEC标准的海量实时数据管理平台正常运转所需的各项管理功能，元数据管理用于实时数据测点的手工和自动维护，以及实时数据模型的管理与维护，服务层支撑用于实现相关支撑工具的支持功能。
2.根据权利要求1所述的电力系统实时数据处理方法，其特征在于，在所述对电力系统中的实时数据进行分类的步骤中，所述预设的若干个主题类型包括厂站主题、线路主题、馈线主题、变压器主题、专变主题、配变主题和/或负控主题。
3.根据权利要求1所述的电力系统实时数据处理方法，其特征在于，所述对电力系统中的实时数据进行分类的步骤，包括以下步骤：
每隔预设的时间长度，对电力系统中的实时数据进行一次分类。
4.根据权利要求1所述的电力系统实时数据处理方法，其特征在于，在所述接收数据访问请求端发送的数据访问请求的步骤中，所述数据访问请求端包括电力系统中的各个业务子系统。

电力系统实时数据处理方法\n技术领域\n[0001] 本发明涉及电力系统数据处理技术领域，尤其涉及一种电力系统实时数据处理方法。\n背景技术\n[0002] 随着电力系统信息化、电网智能化的逐步推进，尤其是输变电设备在线监测、计量自动化、配网自动化等项目的试点与推广，连同调度生产控制大区采集的电网运行方式、关口电量、保护、雷电等数据，大量实时数据将会产生。随着时间的推移，这些实时数据保存成为海量历史数据。这些海量的实时/历史数据将是电网智能化建设的依据，也是电力系统信息化的基础。\n[0003] 出于安全性的考虑，一直以来电力系统的实时/历史数据无法直接共享使用，所采用的采集、加工、存储、访问方式也没有统一，其性能日渐降低，无法满足电力系统整体业务应用的需求。在这样的背景下，迫切需要建立实时数据管理平台，以满足各业务应用对实时数据进行存储、整合、共享以及统一和标准访问的需求。\n[0004] 目前，电力系统内部在有实时数据业务需求时，需要电力系统专门开发数据访问接口，以满足数据访问请求端，例如可以是各个业务系统，对实时数据的访问需求。在产生大数据量访问时，会对电力系统性能造成严重的影响。而且经常存在的一种情况是，不同业务系统对同一实时数据请求时需多次访问数据库，这样极大地增加了电力系统数据库的访问负担，不利于电力系统运行的稳定性。\n发明内容\n[0005] 基于此，本发明提供了一种电力系统实时数据处理方法。\n[0006] 一种电力系统实时数据处理方法，包括以下步骤：\n[0007] 按照预设的若干个主题类型，对电力系统中的实时数据进行分类；\n[0008] 根据分类的所述实时数据，生成分别对应于所述若干个主题类型的数据文件，并将所述数据文件进行存储；\n[0009] 接收数据访问请求端发送的数据访问请求；其中，所述数据访问请求中包含所需访问数据的主题类型；\n[0010] 将相应主题类型的数据文件返回至所述数据访问请求端。\n[0011] 与一般技术相比，本发明电力系统实时数据处理方法按照主题类型对电力系统实时数据进行相关分类，电力系统将不同主题的实时数据进行存储，根据接收的数据访问请求将相应主题类型的数据文件返回至所述数据访问请求端。电力系统内部产生实时数据业务访问需求的时候，无需专门开放数据访问接口，特别是当存在大数据量访问时，可以避免不同业务系统对同一实时数据请求时的多次访问，大大减轻了电力系统数据库的访问负担，增强了电力系统运行的稳定性。本发明大大提高了电力系统对实时数据访问的支撑能力，同时易于实现，降低了系统开发成本。\n附图说明\n[0012] 图1为本发明电力系统实时数据处理方法的流程示意图；\n[0013] 图2是实施例实时数据管理平台的功能架构示意图；\n[0014] 图3是实施例实时数据管理平台的数据架构示意图；\n[0015] 图4是实施例实时数据管理平台的服务架构示意图。\n具体实施方式\n[0016] 为更进一步阐述本发明所采取的技术手段及取得的效果，下面结合附图及较佳实施例，对本发明的技术方案，进行清楚和完整的描述。\n[0017] 请参阅图1，为本发明电力系统实时数据处理方法的流程示意图。\n[0018] 本发明电力系统实时数据处理方法，包括以下步骤：\n[0019] S101按照预设的若干个主题类型，对电力系统中的实时数据进行分类；\n[0020] S102根据分类的所述实时数据，生成分别对应于所述若干个主题类型的数据文件，并将所述数据文件进行存储；\n[0021] S103接收数据访问请求端发送的数据访问请求；其中，所述数据访问请求中包含所需访问数据的主题类型；\n[0022] S104将相应主题类型的数据文件返回至所述数据访问请求端。\n[0023] 在步骤S101中，作为其中一个实施例，在所述对电力系统中的实时数据进行分类的步骤中，所述预设的若干个主题类型包括厂站主题、线路主题、馈线主题、变压器主题、专变主题、配变主题和/或负控主题。\n[0024] 主题类型可以根据实际情况而设置，增加了应用本发明的灵活性。\n[0025] 作为其中一个实施例，所述对电力系统中的实时数据进行分类的步骤，包括以下步骤：\n[0026] 每隔预设的时间长度，对电力系统中的实时数据进行一次分类。\n[0027] 预设的时间长度可以是一天、一周或者一个月等，可以根据实际情况设置，增加了应用本发明的灵活性。另外，根据预设的时间长度可以定时或者不定时地对电力系统实时数据进行重新分类，有利于实现实时数据的整理，避免了因长时间数据累积而导致的混乱和冗余。\n[0028] 作为一个优选的实施例，可以采用本发明电力系统实时数据处理方法建立一个实时数据管理平台。\n[0029] 本实施例是面向数据资源统一管理及针对实时数据管理的有力支撑平台，是对生产运行过程中各业务应用形成的实时历史数据进行存储、集中、整合、共享和分析的场所，同时提供标准统一的访问方式，特别是跨专业跨部门的综合业务应用在实时历史数据层面提供技术支撑的信息基础设施。其中，实时数据是各业务应用实时采集的能够准确反映当前电力生产运行状况的数据，历史数据则是随着时间的推移不断沉淀下来的带有时间标识的生产数据。\n[0030] 在步骤S102中，作为其中一个实施例，所述将所述数据文件进行存储的步骤，包括以下步骤：\n[0031] 将生成的所述数据文件存储至电力系统中的文件服务器内。\n[0032] 数据文件可以存储在文件服务器内，有利于电力系统对内部的文件进行统一管理和存放，提高了效率。也有利于后期的查询和访问。\n[0033] 在上述实时数据管理平台的实施例中，为了实现上述目的，采用的技术方案如下：\n[0034] 基于IEC标准的海量实时数据管理平台功能自下而上分为三层：存储层、处理层、服务层。\n[0035] 请参阅附图2，图2是实施例实时数据管理平台的功能架构示意图。\n[0036] 存储层：主要实现数据的存储功能，负责数据的压缩设置、压缩处理、压缩存储以及实时/历史数据库与关系数据库之间的按需转储，另外，负责告警数据、日志、配置等数据的存储管理。\n[0037] 请参阅附图3，图3是实施例实时数据管理平台的数据架构示意图。\n[0038] 基于IEC标准的海量实时数据管理平台数据模型主要包括测点模型、配置模型和电网模型；存储载体包括实时/历史数据库和关系数据库，实时/历史数据库支持群集部署方式。\n[0039] 基于IEC标准的海量实时数据管理平台的数据包括设备静态数据、电网运行数据、电量计量数据、设备状态监测数据、事件数据、环境数据、其他数据等七种类型，构成相互关联的有机整体。\n[0040] 基于IEC标准的海量实时数据管理平台的支持用测点模型和关系模型两种方式来组织实时历史数据，需同时具有实时库和历史库的功能，基于测点模型的实时历史数据存储在群集数据库中，基于关系模型的历史数据存储在关系数据库中；另外，包括模型数据、配置数据等均需要存储在关系数据库中。\n[0041] 基于IEC标准的海量实时数据管理平台的实时数据库采用群集数据库，群集数据库包括数据存储访问服务和群集数据库服务器。通过对实时数据库的群集部署，解决单个数据库容量不足、测点不断扩展等问题。\n[0042] 群集数据库的存储载体主要是实时/历史数据库和关系数据库。\n[0043] 实时历史数据库逻辑上包含实时数据库、历史数据库和测点数据库三部分；实时数据库维护实时数据，实时数据为每个测点时间戳最大的量测值（也就是当前值）；历史数据库维护历史数据，历史数据是实时数据不断归档沉淀后产生，在实时/历史数据库中往往采用压缩的方式进行存储；测点数据库则维护所有测点的各种信息。\n[0044] 关系数据库以关系模型组织数据并以集合论和关系代数为理论基础处理数据，数据的存储载体为多个有关联关系的二维表。基于关系模型的历史数据、配置数据和图模数据存储在关系数据库中。\n[0045] 在步骤S103中，作为其中一个实施例，在所述接收数据访问请求端发送的数据访问请求的步骤中，所述数据访问请求端包括电力系统中的各个业务子系统。\n[0046] 数据访问请求端不限于电力系统内部的各个业务子系统，凡是对电力系统数据库具有访问权限的局端均可通过本发明访问相应主题类型的数据文件，这样有利于最大限度的实现电力系统实时数据的利用率。\n[0047] 在上述实时数据管理平台的实施例中，处理层主要负责数据处理和数据加工工作。\n[0048] 数据处理：主要负责接入实时数据的整合以及规范化标准化处理，同时对数据的质量、合理性进行校验，对不合理的数据以及重要的变化数据产生告警，另外，对源业务应用历史数据发生改变进行同步处理，以保证实时数据平台与业务应用源数据之间的一致。\n具体包括质量码处理、数据校核、告警事件、多数据源处理、同步处理等模块。\n[0049] 数据加工：主要负责对源数据的二次加工，根据具体需求在平台本身生成更加有价值的信息，供其它业务应用和分析辅助决策类应用使用。具体包括计算规则库、计算引擎、分析统计服务等模块。\n[0050] 在步骤S104中，在上述实时数据管理平台的实施例中，服务层主要包括：数据接口、管理和支撑。\n[0051] 请参阅附图4，图4是实施例实时数据管理平台的服务架构示意图。\n[0052] 所述的服务层数据接口对外提供的数据访问和数据接入服务。各类业务应用通过接口机实现实时/历史数据接入，外部支撑工具通过标准、统一的访问接口访问基于IEC标准的海量实时数据管理平台存储的实时/历史数据。\n[0053] 所述的数据接入方法主要采用UAPI，业务应用可以直接使用UAPI直接向实时数据平台写入数据，从而完成实时/历史数据的接入。\n[0054] 同时，通过增加接入服务器，实现对E格式和规约的支持，接入服务器负责接收E格式或规约格式的数据，并对数据解析，最终调用UAPI实现写入数据到实时数据服务平台.[0055] 所述的数据访问主要有UAPI和SQL数据访问两种方法。\n[0056] 同时，基于IEC标准的海量实时数据管理平台增加CIS接口服务层，实现对CIS访问接口的支持。CIS接口服务层与基于IEC标准的海量实时数据管理平台是通过UAPI和SQL这两种方法实现具体的实时/历史数据访问的。\n[0057] 所述的服务层管理功能主要包括平台管理和元数据管理。\n[0058] 平台管理负责保证基于IEC标准的海量实时数据管理平台正常运转所需的各项管理功能。具体包括群集管理、资源监视、权限管理、配置管理、备份恢复、主备冗余切换、迁移扩容等内容。\n[0059] 元数据管理负责实时数据测点的手工和自动维护，以及实时数据模型的管理与维护。具体包括全局测点管理、测点维护以及实时数据模型管理等功能。\n[0060] 所述的服务层支撑功能主要是相关支撑工具的支持功能。\n[0061] 本发明提供对实时数据库存储空间及网络流量的评估方法。为基于IEC标准的海量实时数据管理平台的搭建提供相应的技术手段。\n[0062] 存储空间的评估方法如下：\n[0063] 假设某实时数据库产品，其模拟量采用Float（4字节），状态量采用Int（2字节），时间戳采用4字节，质量码采用1字节，单次事件以时间戳+数值+质量码为其存储需求进行计算，则模拟量存储占用9字节空间，状态量占用7字节存储空间。\n[0064] 以100,000数据测点为例，其中包括40,000个模拟量点，频率为5秒/次，60,000状态量点，频率为300秒/次：\n[0065] 模拟量：40,000×86400秒/天÷5秒/次×9字节/次=5.8GB/天\n[0066] 状态量：60,000×86400秒/天÷300秒/次×7字节/值=115.4MB/天\n[0067] 模拟量的存储压缩比假设为20：1，状态量的存储压缩比假设为40：1，则：\n[0068] 模拟量：365天/年×5.8GB/天÷20=105.8GB/年\n[0069] 状态量：365天/年×115.4MB/天÷40=1.03GB/年\n[0070] 由以上的计算可得到1年存储所占的空间约为106.83GB。\n[0071] 实时数据接入基于IEC标准的海量实时数据管理平台所需的网络带宽，可使用加权平均法进行估算。决定网络带宽流量的因素包括测点量、采集频率和单次数据项的大小。\n[0072] 现以X省公司的某个业务系统接入基于IEC标准的海量实时数据管理平台，模拟量测点为Ps，频率为fs，状态量测点为Pd，频率为fd。假设所使用实时数据库产品的模拟量数据项（时间戳8字节、数值4字节、质量码1字节）占用13字节，状态量数据项（时间戳8字节、数值2字节、质量码1字节）占用11字节。则该业务系统接入基于IEC标准的海量实时数据管理平台占用网络的平均带宽计算公式（计算公式中网络带宽的单位是bps）：\n[0073]\n[0074] 假设该应用系统有100,000数据测点，40,000个模拟量点，频率为5秒/次，60,000状态量点，频率为300秒/次，代入公式如下：\n[0075]\n[0076] 由此可以计算出平均网络带宽为：4.9Mbps\n[0077] 本实施例实时数据管理平台，其优点是：\n[0078] 建立先进、安全、高效、可扩展和高可用的海量实时数据接入、存储、访问等公共服务支撑平台。\n[0079] 建立高效可靠的海量实时数据存储中心。\n[0080] 作为数据资源管理平台有机构成，建立实时数据向非实时数据转化的信息传递通道，助力数据增值。可以通过平台提供的标准访问服务和各种工具，提供完备的辅助决策支持，并支撑跨专业跨部门的分析辅助决策类的综合应用，但具体业务应用并不通过平台实现。\n[0081] 通过基于IEC标准的海量实时数据管理平台的建设，为全面提高精益化管理水平提供技术支撑。\n[0082] 建立了海量实时数据管理和服务标准体系，包括数据接入规范、数据模型规范、数据存储规范、测点映射规范、访问接口规范、数据交换规范、平台扩展规范和数据安全规范等管理和应用标准。\n[0083] 与一般技术相比，本发明电力系统实时数据处理方法按照主题类型对电力系统实时数据进行相关分类，电力系统将不同主题的实时数据进行存储，根据接收的数据访问请求将相应主题类型的数据文件返回至所述数据访问请求端。电力系统内部产生实时数据业务访问需求的时候，无需专门开放数据访问接口，特别是当存在大数据量访问时，可以避免不同业务系统对同一实时数据请求时的多次访问，大大减轻了电力系统数据库的访问负担，增强了电力系统运行的稳定性。本发明大大提高了电力系统对实时数据访问的支撑能力，同时易于实现，降低了系统开发成本。\n[0084] 开发统一实时数据访问服务，该服务可以满足各个业务系统对实时数据的读取功能。服务开发之前，每次业务系统有实时数据读取需求的时候，系统需要专门为每个业务需求开发一个数据访问服务，以满足业务系统对实时数据的访问需求，统一访问服务开发完成后，系统不再需要开发其他数据访问服务，降低了系统的开发量，同时降低客户的数据访问接口费用支出。\n[0085] 以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。