基于zeek的分布式网络安全、性能检测方法及系统

1.一种基于zeek的分布式网络安全、性能检测方法，其特征在于，包括：
步骤S1：将生产网络或办公网络分为若干网段，分别镜像至对应的zeek工作节点；
步骤S2：各zeek工作节点对捕获的网络数据流进行预处理并转换为原始数据文件；
步骤S3：各zeek工作节点上的filebeat应用，将原始数据文件中的信息输出至kafka集群的原始数据消息队列；
步骤S4：消费kafka集群中的原始数据消息队列，进行安全、性能分析，将威胁、性能瓶颈结果转换为安全威胁告警文件或网络性能异常告警文件；
步骤S5：通过filebeat应用，将安全威胁告警文件或网络性能异常告警文件中的信息输出至kafka集群的安全威胁及性能异常消息队列；
步骤S6：安全信息与事件平台消费kafka集群中的安全威胁及性能异常消息队列，将安全威胁及性能异常消息队列中的安全威胁、性能异常数据转换为数据文件并存储到开源全文搜索引擎、分布式文档数据库elasticsearch中，同时在开源的数据分析和可视化平台kibana中展示；
所述步骤S4包括：
步骤S4.1：自研安全、性能检测系统进行网络安全检测过程中使用非机器学习方法和机器学习方法，
步骤S4.2：设安全威胁告警值为γ，非机器学习中每个方法分值分别为：x1，x2，x3...xn、权重α，机器学习方法分值为y1，y2，y3...yn、权重β，使用加权平均数作为告警判断值达到告警值的流量信息生成安全威胁告警文件；
步骤S4.3：通过预设的匹配规则进行网络性能分析，包含：特征匹配；错误信息统计，匹配到特征的流量信息生成网络性能异常告警文件。
2.根据权利要求1所述的基于zeek的分布式网络安全、性能检测方法，其特征在于，所述步骤S1包括如下步骤：
步骤S1.1：zeek工作节点可承载的待分析网络流量大小不超过该节点流量捕获接口最大带宽的90％，确定生产网络或办公网络网段总数，评估各网段流量大小，根据结果确定zeek工作节点数量后，将网段组合为符合要求的网络块，确定各网络块和zeek工作节点的对应关系；
步骤S1.2：配置网络设备，将各网络块流量镜像至各zeek工作节点流量捕获接口。
3.根据权利要求1所述的基于zeek的分布式网络安全、性能检测方法，其特征在于，所述步骤S2包括：
步骤S2.1：通过zeek工作节点生成常规原始数据文件；
步骤S2.2：根据额外的网络流量过滤需求，通过zeek官方脚本语言编写相应的脚本，记为自定义脚本，捕获zeek的event事件，通过function、hook方法处理潜在的网络安全、网络性能数据，经自定义脚本处理后生成的文件同为原始数据文件。
4.根据权利要求1所述的基于zeek的分布式网络安全、性能检测方法，其特征在于，所述非机器学习方法包含：黑、白名单；异常行为；特征匹配；错误信息统计；
所述机器学习方法包含：支持向量机；xgboost提升树模型。
5.一种基于zeek的分布式网络安全、性能检测系统，其特征在于，包括：
模块S1：将生产网络或办公网络分为若干网段，分别镜像至对应的zeek工作节点；
模块S2：各zeek工作节点对捕获的网络数据流进行预处理并转换为原始数据文件；
模块S3：各zeek工作节点上的filebeat应用，将原始数据文件中的信息输出至kafka集群的原始数据消息队列；
模块S4：消费kafka集群中的原始数据消息队列，进行安全、性能分析，将威胁、性能瓶颈结果转换为安全威胁告警文件或网络性能异常告警文件；
模块S5：通过filebeat应用，将安全威胁告警文件或网络性能异常告警文件中的信息输出至kafka集群的安全威胁及性能异常消息队列；
模块S6：安全信息与事件平台消费kafka集群中的安全威胁及性能异常消息队列，将安全威胁及性能异常消息队列中的安全威胁、性能异常数据转换为数据文件并存储到开源全文搜索引擎、分布式文档数据库elasticsearch中，同时在开源的数据分析和可视化平台kibana中展示；
所述模块S4包括：
模块S4.1：自研安全、性能检测系统进行网络安全检测过程中使用非机器学习方法和机器学习方法，
模块S4.2：设安全威胁告警值为γ，非机器学习中每个方法分值分别为：x1，x2，x3...xn、权重α，机器学习方法分值为y1，y2，y3...yn、权重β，使用加权平均数作为告警判断值达到告警值的流量信息生成安全威胁告警文件；
模块S4.3：通过预设的匹配规则进行网络性能分析，包含：特征匹配；错误信息统计，匹配到特征的流量信息生成网络性能异常告警文件。
6.根据权利要求5所述的基于zeek的分布式网络安全、性能检测系统，其特征在于，所述模块S1包括如下模块：
模块S1.1：zeek工作节点可承载的待分析网络流量大小不超过该节点流量捕获接口最大带宽的90％，确定生产网络或办公网络网段总数，评估各网段流量大小，根据结果确定zeek工作节点数量后，将网段组合为符合要求的网络块，确定各网络块和zeek工作节点的对应关系；
模块S1.2：配置网络设备，将各网络块流量镜像至各zeek工作节点流量捕获接口。
7.根据权利要求5所述的基于zeek的分布式网络安全、性能检测系统，其特征在于，所述模块S2包括：
模块S2.1：通过zeek工作节点生成常规原始数据文件；
模块S2.2：根据额外的网络流量过滤需求，通过zeek官方脚本语言编写相应的脚本，记为自定义脚本，捕获zeek的event事件，通过function、hook方法处理潜在的网络安全、网络性能数据，经自定义脚本处理后生成的文件同为原始数据文件。
8.根据权利要求5所述的基于zeek的分布式网络安全、性能检测系统，其特征在于，所述非机器学习方法包含：黑、白名单；异常行为；特征匹配；错误信息统计；
所述机器学习方法包含：支持向量机；xgboost提升树模型。

基于zeek的分布式网络安全、性能检测方法及系统\n技术领域\n[0001] 本发明涉及数据处理技术领域，具体地，涉及基于zeek的分布式网络安全、性能检测方法及系统。\n背景技术\n[0002] 常规生产、办公网络中，单一位置的流量捕获及网络流量监控存在技术难点。通过建立分布式zeek网络流量捕获系统，将不同网络流量镜像至多个zeek工作节点并落地为文件，作为安全、性能监控平台的数据来源，处理完的数据统一汇总至数据展示平台。通过集群、多机部署模式，降低了单点故障对于网络监控的影响，同时降低了单个流量采集、分析系统的性能压力。\n[0003] 专利文献CN202634490U(申请号：CN201220285697.8)一种分布式网络数据检测系统，包括有主控节点和检测节点，所述的主控节点和检测节点通过网络交换机互联；所述的主控节点包括第一主处理模块、第一存储模块、第一B码处理卡和第一网卡，所述的检测节点包括第二主处理模块、第二存储模块、第二B码处理卡、数据采集卡和第二网卡\n发明内容\n[0004] 针对现有技术中的缺陷，本发明的目的是提供一种基于zeek的分布式网络安全、性能检测方法及系统。\n[0005] 根据本发明提供的一种基于zeek的分布式网络安全、性能检测方法，其特征在于，包括：\n[0006] 步骤S1：将生产网络或办公网络分为若干网段，分别镜像至对应的zeek工作节点；\n[0007] 步骤S2：各zeek工作节点对捕获的网络数据流进行预处理并转换为原始数据文件。\n[0008] 步骤S3：各zeek工作节点上的filebeat应用，将原始数据文件中的信息输出至kafka集群的原始数据消息队列；\n[0009] 步骤S4：消费kafka集群中的原始数据消息队列，进行安全、性能分析，将威胁、性能瓶颈结果转换为安全威胁告警文件或网络性能异常告警文件；\n[0010] 步骤S5：通过filebeat应用，将安全威胁告警文件或网络性能异常告警文件中的信息输出至kafka集群的安全威胁及性能异常消息队列；\n[0011] 步骤S6：安全信息与事件平台消费kafka集群中的安全威胁及性能异常消息队列，将安全威胁及性能异常消息队列中的安全威胁、性能异常数据转换为数据文件并存储到开源全文搜索引擎、分布式文档数据库elasticsearch中，同时在开源的数据分析和可视化平台kibana中展示。\n[0012] 优选地，所述步骤S1包括如下步骤：\n[0013] 步骤S1.1：zeek工作节点可承载的待分析网络流量大小不超过该节点流量捕获接口最大带宽的90％，确定生产网络或办公网络网段总数，评估各网段流量大小，根据结果确定zeek工作节点数量后，将网段组合为符合要求的网络块，确定各网络块和zeek工作节点的对应关系；\n[0014] 步骤S1.2：配置网络设备，将各网络块流量镜像至各zeek工作节点流量捕获接口。\n[0015] 优选地，所述步骤S2包括：\n[0016] 步骤S2.1：通过zeek工作节点生成常规原始数据文件；\n[0017] 步骤S2.2：根据额外的网络流量过滤需求，通过zeek官方脚本语言编写相应的脚本，记为自定义脚本，捕获zeek的event事件，通过function、hook方法处理潜在的网络安全、网络性能数据，经自定义脚本处理后生成的文件同为原始数据文件。\n[0018] 优选地，所述步骤S4包括：\n[0019] 步骤S4.1：自研安全、性能检测系统进行网络安全检测过程中使用非机器学习方法和机器学习方法，\n[0020] 步骤S4.2：设安全威胁告警值为γ，非机器学习中每个方法分值分别为：x1,x2,x3…xn、权重α，机器学习方法分值为y1,y2,y3…yn、权重β,使用加权平均数作为告警判断值达到告警值的流量信息生成安全威胁告警文件；\n[0021] 步骤S4.3：通过预设的匹配规则进行网络性能分析，包含：特征匹配；错误信息统计，匹配到特征的流量信息生成网络性能异常告警文件。\n[0022] 优选地，所述非机器学习方法包含：黑、白名单；异常行为；特征匹配；错误信息统计；\n[0023] 所述机器学习方法包含：支持向量机；xgboost提升树模型。\n[0024] 根据本发明提供的一种基于zeek的分布式网络安全、性能检测系统，包括：\n[0025] 模块S1：将生产网络或办公网络分为若干网段，分别镜像至对应的zeek工作节点；\n[0026] 模块S2：各zeek工作节点对捕获的网络数据流进行预处理并转换为原始数据文件。\n[0027] 模块S3：各zeek工作节点上的filebeat应用，将原始数据文件中的信息输出至kafka集群的原始数据消息队列；\n[0028] 模块S4：消费kafka集群中的原始数据消息队列，进行安全、性能分析，将威胁、性能瓶颈结果转换为安全威胁告警文件或网络性能异常告警文件；\n[0029] 模块S5：通过filebeat应用，将安全威胁告警文件或网络性能异常告警文件中的信息输出至kafka集群的安全威胁及性能异常消息队列；\n[0030] 模块S6：安全信息与事件平台消费kafka集群中的安全威胁及性能异常消息队列，将安全威胁及性能异常消息队列中的安全威胁、性能异常数据转换为数据文件并存储到开源全文搜索引擎、分布式文档数据库elasticsearch中，同时在开源的数据分析和可视化平台kibana中展示。\n[0031] 优选地，所述模块S1包括如下模块：\n[0032] 模块S1.1：zeek工作节点可承载的待分析网络流量大小不超过该节点流量捕获接口最大带宽的90％，确定生产网络或办公网络网段总数，评估各网段流量大小，根据结果确定zeek工作节点数量后，将网段组合为符合要求的网络块，确定各网络块和zeek工作节点的对应关系；\n[0033] 模块S1.2：配置网络设备，将各网络块流量镜像至各zeek工作节点流量捕获接口。\n[0034] 优选地，所述模块S2包括：\n[0035] 模块S2.1：通过zeek工作节点生成常规原始数据文件；\n[0036] 模块S2.2：根据额外的网络流量过滤需求，通过zeek官方脚本语言编写相应的脚本，记为自定义脚本，捕获zeek的event事件，通过function、hook方法处理潜在的网络安全、网络性能数据，经自定义脚本处理后生成的文件同为原始数据文件。\n[0037] 优选地，所述模块S4包括：\n[0038] 模块S4.1：自研安全、性能检测系统进行网络安全检测过程中使用非机器学习方法和机器学习方法，\n[0039] 模块S4.2：设安全威胁告警值为γ，非机器学习中每个方法分值分别为：x1,x2,x3…xn、权重α，机器学习方法分值为y1,y2,y3…yn、权重β,使用加权平均数作为告警判断值达到告警值的流量信息生成安全威胁告警文件；\n[0040] 模块S4.3：通过预设的匹配规则进行网络性能分析，包含：特征匹配；错误信息统计，匹配到特征的流量信息生成网络性能异常告警文件。\n[0041] 优选地，所述非机器学习方法包含：黑、白名单；异常行为；特征匹配；错误信息统计；\n[0042] 所述机器学习方法包含：支持向量机；xgboost提升树模型。\n[0043] 与现有技术相比，本发明具有如下的有益效果：\n[0044] 1)自定义zeek脚本生成经处理的原始数据文件，分散、降低了后续分析引擎的部分处理压力。\n[0045] 2)集群、多机部署zeek的架构，降低了单点故障对于网络监控的影响，同时降低了单个流量采集、处理系统的性能压力，提升了监控系统的分析容量。\n附图说明\n[0046] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：\n[0047] 图1为本发明提供的一种zeek分布式架构示意图。\n具体实施方式\n[0048] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。\n[0049] 下面通过实施例，对本发明进行更为具体地说明。\n[0050] 实施例：\n[0051] 步骤1：将生产网络或办公网络分为若干网段，分别镜像至对应的zeek工作节点(运行zeek应用的服务器)。如图1所示，为zeek分布式架构图。\n[0052] 步骤2：各zeek工作节点对捕获的网络数据流进行预处理并落地(转换为数据文件并存储)为原始数据文件。\n[0053] 步骤3：各zeek工作节点上的filebeat应用(filebeat为开源的轻量化日志分析工具)，将原始数据文件中的信息输出至kafka集群“原始数据”消息队列。\n[0054] 步骤4：自研安全、性能检测系统消费kafka集群中的“原始数据”消息队列，进行安全、性能分析，将威胁、性能瓶颈结果落地为安全威胁告警文件或网络性能异常告警文件。\n[0055] 步骤5：自研安全、性能检测系统上的filebeat应用，将安全威胁告警文件或网络性能异常告警文件中的信息输出至kafka集群“安全威胁、性能异常”消息队列。\n[0056] 步骤6：安全信息与事件平台消费kafka集群中的“安全威胁、性能异常”消息队列，安全威胁、性能异常数据落地到elasticsearch中(elasticsearch是开源全文搜索引擎、分布式文档数据库)，同时在kibana中展示(kibana是开源的数据分析和可视化平台)。\n[0057] 所述步骤1包括如下步骤：\n[0058] 步骤1.1：zeek工作节点可承载的待分析网络流量大小不超过该节点流量捕获接口最大带宽的90％。确定生产网络或办公网络网段总数，评估各网段流量大小，根据结果确定zeek工作节点数量后，将网段组合为符合要求的网络块，确定各网络块和zeek工作节点的对应关系。\n[0059] 步骤1.2：配置网络设备(一般为交换机设备)，将各网络块流量镜像至各zeek工作节点流量捕获接口。\n[0060] 所述步骤2包括如下步骤：\n[0061] 步骤2.1：通过zeek工作节点生成(通过zeek应用自带的功能生成)常规原始数据文件，包含：dns、dhcp、conn、http、files、ftp、irc、known_certs、known_hosts、known_services、radius、smtp、signatures、software、snmp、ssh、socks、ssl、syslog、stderr、traceroute、weird、tunnel、x509等。\n[0062] 步骤2.2：根据额外的网络流量过滤需求(例如仅需要源ip、源端口、目的ip、目的端口、tcp flag信息)，通过zeek官方脚本语言编写相应的脚本(脚本以“.zeek”结尾)，捕获zeek的event事件，通过function、hook等方法处理潜在的网络安全、网络性能数据，经自定义脚本处理后生成的文件同为原始数据文件。\n[0063] 所述步骤4包括如下步骤：\n[0064] 步骤4.1：自研安全、性能检测系统进行网络安全检测过程中使用非机器学习方法和机器学习方法，非机器学习方法包含：黑、白名单；异常行为；特征匹配；错误信息统计。机器学习方法包含：支持向量机；xgboost提升树模型。\n[0065] 步骤4.2：设安全威胁告警值为γ，非机器学习中每个方法分值分别为：x1,x2,x3…xn、权重α，机器学习方法分值为y1,y2,y3…yn、权重β,使用加权平均数作为告警判断值达到告警值的流量信息生成安全威胁告警文件。\n[0066] 步骤4.3：自研安全、性能检测系统使特定的匹配规则进行网络性能分析，包含：特征匹配；错误信息统计。匹配到特征的流量信息生成网络性能异常告警文件。\n[0067] 在本申请的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。\n[0068] 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。\n[0069] 以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。