著录项信息
专利名称 | PhiCloud云计费方法及系统 |
申请号 | CN201510355808.6 | 申请日期 | 2015-06-24 |
法律状态 | 暂无 | 申报国家 | 中国 |
公开/公告日 | 2015-11-11 | 公开/公告号 | CN105049218A |
优先权 | 暂无 | 优先权号 | 暂无 |
主分类号 | H04L12/14 | IPC分类号 | H;0;4;L;1;2;/;1;4;;;H;0;4;L;2;9;/;0;8查看分类表>
|
申请人 | 上海斐讯数据通信技术有限公司 | 申请人地址 | 浙江省湖州市东林镇工业功能区
变更
专利地址、主体等相关变化,请及时变更,防止失效 |
权利人 | 浙江远特新材料有限公司 | 当前权利人 | 浙江远特新材料有限公司 |
发明人 | 侯亚辉 |
代理机构 | 杭州千克知识产权代理有限公司 | 代理人 | 周希良 |
摘要
本发明提供一种PhiCloud云计费方法及系统,该PhiCloud云计费系统包括:数据采集器集群,采集原始计费数据;数据分析器集群,采用MapReduce处理原始计费数据,获得计费结果数据;计费服务器集群,根据预定的计费策略将计费结果数据转化为账单;资源调度器,根据预定的调度策略综合管理调度数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。本发明为Phicloud云平台提供了计费解决方案,为云平台的计费服务提供了支持,与云平台相辅相成,能够在现有的软硬件基础上实现,无需专门的软硬件及人力资源支持,扩展性更好,实现更高效,更节省资源,更便于维护,更易于扩展的计费功能。
1.一种PhiCloud云计费系统,其特征在于,所述PhiCloud云计费系统包括:
数据采集器集群,包括至少1个数据采集器,采集原始计费数据;
数据分析器集群,与所述数据采集器集群相连,包括至少1个数据分析器,采用MapReduce处理所述原始计费数据,获得计费结果数据;所述数据分析器包括:分布式文件系统,存储所述数据采集器上传的原始计费数据;提取模块,与所述分布式文件系统相连,从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间;Map函数模块,与所述提取模块相连,将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表;Reduce函数模块,与所述Map函数模块相连,将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据;
计费服务器集群,与所述数据分析器集群相连,包括至少1个计费服务器,根据预定的计费策略将所述计费结果数据转化为账单;
资源调度器,与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连,根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
2.根据权利要求1所述的PhiCloud云计费系统,其特征在于,所述资源调度器包括:
注册模块,接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;
数据采集模块,与所述注册模块相连,根据所述组件注册的集群信息采集集群中各个节点的负载信息;
资源调度策略管理模块,设置有资源需要重新调度的阈值;
资源调度模块,与所述资源调度策略管理模块和数据采集模块分别相连,根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
3.根据权利要求1所述的PhiCloud云计费系统,其特征在于:所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上;所述数据采集器为OpenStack的ceilometer组件。
4.根据权利要求1所述的PhiCloud云计费系统,其特征在于,所述计费服务器包括:
计费策略管理模块,对计费策略进行管理;
计费信息生成模块,与所述计费策略管理模块相连,访问所述计费策略管理模块获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单;
计费数据库,与所述计费信息生成模块相连,存储所述账单;
计费展示模块,与所述计费数据库相连,通过网页的形式展示所述账单。
5.一种PhiCloud云计费方法,其特征在于,所述PhiCloud云计费方法包括以下步骤:
利用包括至少1个数据采集器的数据采集器集群采集原始计费数据;
利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据,获得计费结果数据;利用分布式文件系统存储所述数据采集器上传的原始计费数据;从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间;将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表;将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据;
利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单;
利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。
6.根据权利要求5所述的PhiCloud云计费方法,其特征在于,所述PhiCloud云计费方法还包括:
接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;
根据所述组件注册的集群信息采集集群中各个节点的负载信息;
设置资源需要重新调度的阈值;
根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。
7.根据权利要求5所述的PhiCloud云计费方法,其特征在于,所述PhiCloud云计费方法还包括:所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件系统中;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上;所述数据采集器为OpenStack的ceilometer组件。
8.根据权利要求5所述的PhiCloud云计费方法,其特征在于,所述PhiCloud云计费方法还包括:
对计费策略进行管理;
访问获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单;
存储所述账单;
通过网页的形式展示所述账单。
PhiCloud云计费方法及系统\n技术领域\n[0001] 本发明属于通信技术领域,涉及一种计费方法,特别是涉及一种PhiCloud云计费方法及系统。\n背景技术\n[0002] 在人类社会将近两万年的历史长河中,已经经历了5次科技革命:以伽利略、哥白尼、牛顿等为代表的科学家,在天文学、物理学等领域带来的第一次科技革命;以蒸汽机的发明与应用及机器作业代替手工劳动为主要标志的第二次科技革命;以电力技术和内燃机发明为主要标志的第三次科技革命;以进化论、相对论、量子论等为代表的第四次科技革命;电子计算、信息网络出现带来的第五次科技革命。此后,大数据、云计算、移动互联网和物联网等带来的将是第六次科技革命。\n[0003] 云计算的出现,是信息技术发展和信息社会需求到达一定阶段的必然结果。一方面,虚拟化技术、分布式计算技术、宽带互联网技术、SOA技术和自动化管理技术的发展为人类社会云时代社会奠定了科学技术基础;另外一方面,无论何时、何地、何人、何物,人类社会期待实现互联互通、知识共享、协同工作的新需求,加速了信息社会的进程,在这一进程中,对普惠、可靠、低成本、高效能的技术手段和实现模式的迫切需要,催生了云计算[0004] 云计算从技术和商业两个方面,对传统的应用模式进行了颠覆。通过资源集中化、服务网络化、计费按需化和需求弹性化等,解决了现有信息技术环境下资产利用率较低、资源需求分散、系统冗余、难于管理和采购周期长等问题,在降低IT服务提供成本的同时,有效地提升了服务提供的灵活性,为信息化的发展提供了便利。\n[0005] 国内外已经有一些企业提供了异彩纷呈的、面向企业及个人的云计算服务,改变了消费者工作、生活、学习、娱乐的习惯,如面向企业客户的云数据中心、云办公、云监控,以及面向个人用户的云存储、云视频、云阅读、云音乐等,具备共享、同步、面向移动、动态获取、多终端应用等特点。这些成功的服务获得了用户的认可\n[0006] Phicloud云平台根据市场需求和国家云计算国产化的号召顺势而生,以OpenStack为依托,把其作为云平台的资源管理后端。OpenStack是一个开源云平台,由NASA和Rackspace合作开发,它是对AWS(Amazon Web Service,亚马逊云计算服务平台)的一种开源实现。OpenStack提供了一个部署云的平台,为公有云、私有云提供了可扩展、灵活的云计算平台。OpenStack的发展非常迅速,但是OpenStack只是提供了资源的分配,调度和部分资源使用的采集功能,并没有提供公有云平台的必备组件-计费组件。这就需要所有的公有云厂商开发自己的计费组件,PhiCloud云计费就是在这种背景下产生的。目前国内的公有云厂商的计费组件的架构主要还是传统的纵向模式,这种模式的扩展性很差,需要为计费功能提供专门的硬件,软件,IT人力的支持,这在很大程度上增加了企业的负担和资源的浪费。\n发明内容\n[0007] 鉴于以上所述现有技术的缺点,本发明的目的在于提供一种PhiCloud云计费方法及系统,用于解决现有的云计费组件的架构模式为纵向模式,扩展性差,需要专门的软硬件及人力资源支持的问题。\n[0008] 为实现上述目的及其他相关目的,本发明提供一种PhiCloud云计费系统,所述PhiCloud云计费系统包括:数据采集器集群,包括至少1个数据采集器,采集原始计费数据;\n数据分析器集群,与所述数据采集器集群相连,包括至少1个数据分析器,采用MapReduce处理所述原始计费数据,获得计费结果数据;计费服务器集群,与所述数据分析器集群相连,包括至少1个计费服务器,根据预定的计费策略将所述计费结果数据转化为账单;资源调度器,与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连,根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。\n[0009] 可选地,所述资源调度器包括:注册模块,接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;数据采集模块,与所述注册模块相连,根据所述组件注册的集群信息采集集群中各个节点的负载信息;资源调度策略管理模块,设置有资源需要重新调度的阈值;资源调度模块,与所述资源调度策略管理模块和数据采集模块分别相连,根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。\n[0010] 可选地,所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件系统中;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上;所述数据采集器为OpenStack的ceilometer组件。\n[0011] 可选地,所述数据分析器包括:分布式文件系统,存储所述数据采集器上传的原始计费数据;提取模块,与所述分布式文件系统相连,从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间;Map函数模块,与所述提取模块相连,将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表;Reduce函数模块,与所述Map函数模块相连,将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据。\n[0012] 可选地,所述计费服务器包括:计费策略管理模块,对计费策略进行管理;计费信息生成模块,与所述计费策略管理模块相连,访问所述计费策略管理模块获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单;计费数据库,与所述计费信息生成模块相连,存储所述账单;计费展示模块,与所述计费数据库相连,通过网页的形式展示所述账单。\n[0013] 本发明还提供一种PhiCloud云计费方法,所述PhiCloud云计费方法包括以下步骤:利用包括至少1个数据采集器的数据采集器集群采集原始计费数据;利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据,获得计费结果数据;\n利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单;利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。\n[0014] 可选地,所述PhiCloud云计费方法还包括:接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;根据所述组件注册的集群信息采集集群中各个节点的负载信息;设置资源需要重新调度的阈值;根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。\n[0015] 可选地,所述PhiCloud云计费方法还包括:所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件系统中;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上;所述数据采集器为OpenStack的ceilometer组件。\n[0016] 可选地,所述PhiCloud云计费方法还包括:利用分布式文件系统存储所述数据采集器上传的原始计费数据;从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间;将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表;将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据。\n[0017] 可选地,所述PhiCloud云计费方法还包括:对计费策略进行管理;访问获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单;存储所述账单;通过网页的形式展示所述账单。\n[0018] 如上所述,本发明所述的PhiCloud云计费方法及系统,具有以下有益效果:\n[0019] 本发明为Phicloud云平台提供了计费解决方案,为云平台的计费服务提供了支持,与云平台相辅相成,能够在现有的软硬件基础上实现,无需专门的软硬件及人力资源支持,扩展性更好,实现更高效,更节省资源,更便于维护,更易于扩展的计费功能。\n附图说明\n[0020] 图1显示为本发明实施例所述的PhiCloud云计费系统的一种实现结构框图。\n[0021] 图2显示为本发明实施例所述的PhiCloud云计费系统中的数据采集器的一种具体实现结构示意图。\n[0022] 图3显示为本发明实施例所述的PhiCloud云计费系统中的数据采集器的一种采集流程示意图。\n[0023] 图4显示为本发明实施例所述的PhiCloud云计费系统中的数据分析器的一种实现结构示意图。\n[0024] 图5显示为本发明实施例所述的PhiCloud云计费系统中的数据分析器的一种分析流程示意图。\n[0025] 图6显示为本发明实施例所述的PhiCloud云计费系统中的计费服务器的一种实现结构示意图。\n[0026] 图7显示为本发明实施例所述的PhiCloud云计费系统中的计费服务器的一种工作流程示意图。\n[0027] 图8显示为本发明实施例所述的PhiCloud云计费系统中的资源调度器的一种实现结构示意图。\n[0028] 图9显示为本发明实施例所述的PhiCloud云计费系统中的资源调度器的一种工作流程示意图。\n[0029] 图10显示为本发明实施例所述的PhiCloud云计费方法的一种实现流程示意图。\n[0030] 图11显示为本发明实施例所述的PhiCloud云计费方法中的步骤S2的一种实现流程示意图。\n[0031] 图12显示为本发明实施例所述的PhiCloud云计费方法中的步骤S3的一种实现流程示意图。\n[0032] 图13显示为本发明实施例所述的PhiCloud云计费方法中的步骤S4的一种实现流程示意图。\n[0033] 元件标号说明\n[0034] 100 PhiCloud云计费系统\n[0035] 110 数据采集器\n[0036] 120 数据分析器\n[0037] 121 分布式文件系统\n[0038] 122 提取模块\n[0039] 123 Map函数模块\n[0040] 124 Reduce函数模块\n[0041] 130 计费服务器\n[0042] 131 计费策略管理模块\n[0043] 132 计费信息生成模块\n[0044] 133 计费数据库\n[0045] 134 计费展示模块\n[0046] 140 资源调度器\n[0047] 141 注册模块\n[0048] 142 数据采集模块\n[0049] 143 资源调度策略管理模块\n[0050] 144 资源调度模块\n[0051] S1~S4 步骤\n[0052] S21~S24 步骤\n[0053] S31~S34 步骤\n[0054] S41~S44 步骤\n具体实施方式\n[0055] 以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。\n[0056] 需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。\n[0057] 请参阅图1,本发明提供一种PhiCloud云计费系统,所述PhiCloud云计费系统100包括:数据采集器集群,数据分析器集群,计费服务器集群,资源调度器。\n[0058] 所述数据采集器集群包括至少1个数据采集器110,采集原始计费数据。\n[0059] 进一步,所述数据采集器的基本原理是使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到数据分析器中的分布式文件系统中,以便所述数据分析器随时调取。\n[0060] 所述数据采集器可优选为OpenStack的ceilometer组件。因为Openstack的ceilometer组件已经实现了数据采集的功能,所以不需要再重复发明轮子,直接利用ceilometer实现该功能,采用轮询代理(Polling Agent)的方式,调用OpenStack的计算,网络,镜像,对象存储等组件提供的接口采集数据,采集的数据通过发布通道发布到数据分析器,具体实现结构参见图2所示。在OpenStack环境中,虚拟机可能处于不同的状态,因此数据采集器启动以后,需要在后台监听宿主机上运行的虚拟机的状态。如果虚拟机处于活动状态,数据采集器就会调用Libvirt API周期性的获得虚拟机活动状态下的各种原始计费数据。所述原始计费数据包括虚拟机的UUID、VCPU、内存、磁盘的读写速率、磁盘的大小、网卡的上传下载速率以及网络的上传下载总量等。获取的数据经过处理之后成为原始计费数据,存入本地计费文件。当数据采集器接收到来自数据分析器的上传命令后,将会读取本地计费文件中的原始计费数据,然后上传到数据分析器中。当虚拟机处于非活动状态时,数据采集器也会评测出其状态,这时会暂停对虚拟机的原始计费数据采集,但仍会继续对虚拟机进行周期性的轮询访问,以保证不会丢失待测量的虚拟机的原始计费数据。当虚拟机改变状态时,数据采集器可以测定出其运行的状态,并立即开始采集该虚拟机的原始状态信息,其具体采集流程参见图3所示。\n[0061] 所述数据分析器集群与所述数据采集器集群相连,包括至少1个数据分析器120,采用MapReduce处理所述原始计费数据,获得计费结果数据。\n[0062] 进一步,参见图4所示,所述数据分析器120包括:分布式文件系统121,提取模块\n122,Map函数模块123,Reduce函数模块124。\n[0063] 所述分布式文件系统121存储所述数据采集器110上传的原始计费数据。分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外,对等特性允许一些系统扮演客户机和服务器的双重角色。例如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就象使用本地驱动器一样。\n[0064] 所述提取模块122与所述分布式文件系统121相连,从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间。\n[0065] 所述Map函数模块123与所述提取模块122相连,将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表。\n[0066] 所述Reduce函数模块124与所述Map函数模块123相连,将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据。\n[0067] 所述数据分析器负责将数据采集器采集的数据进行整理,首先需要确定的是计费起始时间和计费结束时间。计费起始时间指的是用户第一次启动虚拟机的时间。由于用户一次可能申请多台虚拟机,只有当用户删除了所有的虚拟机,计费才能停止。确定计费的起始时间和结束时间之后,就需要对原始计费数据进行处理,才能得到每台虚拟机的使用时间。本发明采用MapReduce处理原始计费数据。其中,MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(归约)”,和它们的主要思想,都是从函数式编程语言里借来的,还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。当前的软件实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(归约)函数,用来保证所有映射的键值对中的每一个共享相同的键组。采用MapReduce处理原始计费数据的基本处理原理为:首先从原始计费数据中提取虚拟机的ID以及时间戳。虚拟机的ID用于唯一标识一台虚拟机,而时间戳TimeStamp用于标识该条原始计费数据产生的时间。将虚拟机的ID和时间戳分别作为Map函数的输入参数key和value。\nMap函数的主要功能是依据虚拟机的ID将虚拟机的时间戳进行归类,产生的中间结果是一个虚拟机实例ID对应一个时间戳列表。然后将中间结果作为Reduce函数的输入参数。\nReduce函数依据虚拟机实例ID来处理时间戳列表,对列表后一项的值减去前一项的值的差判断,当两项之差小于某个阙值的时候,可以对该值进行累加处理,具体流程见图5所示。\n[0068] 所述计费服务器集群与所述数据分析器集群相连,包括至少1个计费服务器130,根据预定的计费策略将所述计费结果数据转化为账单。\n[0069] 进一步,参见图6所示,所述计费服务器130包括:计费策略管理模块131,计费信息生成模块132,计费数据库133,计费展示模块134。\n[0070] 所述计费策略管理模块131对计费策略进行管理,包括查询系统现有的计费策略、增加计费策略,修改或删除系统原有的计费策略等。\n[0071] 所述计费信息生成模块132与所述计费策略管理模块131相连,访问所述计费策略管理模块获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理存储在分布式文件系统中的所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单。即,使用该计费策略处理所述分布式文件系统中存储的与计费相关的信息,得到虚拟机的费用信息,并将费用信息存入计费数据库中,供计费展示组件使用。\n[0072] 所述计费数据库133与所述计费信息生成模块132相连,存储所述账单。\n[0073] 所述计费展示模块134与所述计费数据库133相连,通过网页的形式展示所述账单。所述计费展示模块134读取计费数据库133中存储的虚拟机的费用信息(即账单),然后将这些费用信息通过网页的形式展示出来。\n[0074] 所述计费服务器130的工作流程参见图7所示,其根据数据分析器120产生的计费结果数据,以及根据计费策略设定的触发条件,选择相应的计费策略计算出宿主机的费用信息。账务模块会根据费用信息去用户账户扣取费用,中间产生的财务信息会入库以备以后财务审计。\n[0075] 所述资源调度器140与所述数据采集器集群、数据分析器集群、和计费服务器集群分别相连,根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。即,所述资源调度器140判断所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载情况,动态扩充或减少所述数据采集器、数据分析器、和计费服务器的集群资源池中的资源。\n[0076] 进一步,参见图8所示,所述资源调度器140包括:注册模块141,数据采集模块142,资源调度策略管理模块143,资源调度模块144。\n[0077] 所述注册模块141接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;\n所述注册模块会保存这些组件的元数据,如果组件的集群信息发生变化,组件也要及时通知注册模块更新注册信息。\n[0078] 所述数据采集模块142与所述注册模块141相连,根据所述组件注册的集群信息采集集群中各个节点的负载信息。所述负载信息包括CPU负载,内存使用率,磁盘IO,网卡进出口流量等信息。\n[0079] 所述资源调度策略管理模块143设置有资源需要重新调度的阈值。例如,所述阈值为集群平均CPU负载在一定时间范围内达到多少时需要为集群增加或者减少资源;所述阈值包括多种类型(如CPU负载,内存使用率,磁盘IO,网卡进出口流量等)的限制值或范围值。\n[0080] 所述资源调度模块144与所述资源调度策略管理模块143和数据采集模块142分别相连,根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。具体的资源调度内容包括向需要资源调度的组件里添加或者移除计算,或者存储资源。所述资源调度器\n140的工作流程参见图9所示。\n[0081] 本发明所述的数据分析器采用HDFS分布式文件系统存储计费文件,采用MapReduce算法对原始计费数据进行处理,具有更好的扩展性和更好的效率,当数据分析器集群负载较高时,资源调度器会动态的为数据分析器增加计算资源或者存储资源,以保证数据处理过程的高效。当数据分析器集群负载较低时,资源调度器会动态减少数据分析器集群的资源,这样可以减少资源浪费,提高整个平台的资源利用率。\n[0082] 本发明所述的资源调度器综合管理整个计费平台的资源,合理的增加或者减少资源是资源调度器的核心工作。资源调度器在调度策略设定好后,后续资源调度工作无需人工干预,全部自动完成,大大减少了人力的投入,使人可以投入更多时间到更有创造性的工作中去。此外,资源调度器还会采集各个集群组件的资源使用情况,当资源出现异常时会发出预警,资源调度器纵然可以自动调度资源,但是当需要人工干预时,可以根据这些监控信息制定相应的干预预案,这样可以使整个系统拥有更高的可用性。\n[0083] 本发明还提供一种PhiCloud云计费方法,该方法可以由本发明所述的PhiCloud云计费系统实现,但该方法的实现装置包括但不限于本发明列举的PhiCloud云计费系统的结构,凡是根据本发明的原理所做的现有技术的修改、扩展和替换实现的解决本发明所解决问题的技术方案,都包括在本发明的保护范围内。\n[0084] 参见图10所示,所述PhiCloud云计费方法包括:\n[0085] S1,利用包括至少1个数据采集器的数据采集器集群采集原始计费数据。所述原始计费数据包括虚拟机的UUID、VCPU、内存、磁盘的读写速率、磁盘的大小、网卡的上传下载速率以及网络的上传下载总量等。\n[0086] 进一步,所述步骤S1的一种实现过程包括:所述数据采集器使用开源的Libvirt库采集OpenStack中运行在宿主机上的虚拟机的各种状态信息,将所述各种状态信息作为原始计费数据存入本地计费文件或分布式文件系统中;所述数据采集器在接收到所述数据分析器的上传命令后通过发布通道将所述原始计费数据发布到所述数据分析器上;所述数据采集器为OpenStack的ceilometer组件。\n[0087] S2,利用包括至少1个数据分析器的数据分析器集群采用MapReduce处理所述原始计费数据,获得计费结果数据。\n[0088] 进一步,参见图11所示,所述步骤S2的一种实现过程包括:\n[0089] S21,利用分布式文件系统存储所述数据采集器上传的原始计费数据。\n[0090] S22,从所述原始计费数据中提取虚拟机的ID和时间戳;所述时间戳用于标识所述原始计费数据产生的时间;\n[0091] S23,将所述ID和时间戳分别对应作为Map函数的输入参数key和value,根据所述ID将对应的虚拟机的时间戳进行归类,生成与所述ID对应的时间戳列表;\n[0092] S24,将所述时间戳列表作为Reduce函数的输入参数进行处理,获得与所述ID对应的虚拟机的计费结果数据。\n[0093] S3,利用包括至少1个计费服务器的计费服务器集群根据预定的计费策略将所述计费结果数据转化为账单。\n[0094] 进一步,参见图12所示,所述步骤S3的一种实现过程包括:\n[0095] S31,对计费策略进行管理,包括查询系统现有的计费策略、增加计费策略,修改或删除系统原有的计费策略等。\n[0096] S32,访问获得当前宿主机用户选择的计费策略,使用所选择的计费策略处理所述当前宿主机上运行的虚拟机的计费结果数据,生成当前用户的账单。即,使用该计费策略处理所述分布式文件系统中存储的与计费相关的信息,得到虚拟机的费用信息,并将费用信息存入计费数据库中,供计费展示组件使用。\n[0097] S33,存储所述账单。\n[0098] S34,通过网页的形式展示所述账单。\n[0099] S4,利用资源调度器根据预定的调度策略综合管理调度所述数据采集器集群、数据分析器集群、和计费服务器集群的资源负载。\n[0100] 进一步,参见图13所示,所述步骤S4的一种实现过程包括:\n[0101] S41,接收并保存需要资源调度的组件注册的自身的集群信息;所述需要资源调度的组件包括所述数据采集器集群、数据分析器集群、或/和计费服务器集群;所述注册模块会保存这些组件的元数据,如果组件的集群信息发生变化,组件也要及时通知注册模块更新注册信息。\n[0102] S42,根据所述组件注册的集群信息采集集群中各个节点的负载信息;所述负载信息包括CPU负载,内存使用率,磁盘IO,网卡进出口流量等信息。\n[0103] S43,设置资源需要重新调度的阈值;例如,所述阈值为集群平均CPU负载在一定时间范围内达到多少时需要为集群增加或者减少资源;所述阈值包括多种类型(如CPU负载,内存使用率,磁盘IO,网卡进出口流量等)的限制值或范围值。\n[0104] S44,根据所述阈值和所述组件的实际负载信息对所述组件进行资源调度。具体的资源调度内容包括向需要资源调度的组件里添加或者移除计算,或者存储资源。\n[0105] 本发明所述的PhiCloud云计费方法的保护范围不限于本实施例列举的步骤执行先后顺序,凡是根据本发明的原理对本实施例所在的现有技术的步骤顺序调整、步骤替换、步骤增减等方案,只有能够解决本发明的问题,都包括在本发明的保护范围内。\n[0106] 本发明所述的Phicloud云计费方法及系统是Phicloud云平台的计费解决方案,其为云平台的计费服务提供支持,本发明所述的云计费方法及系统与云平台相辅相成,云计费为云平台的资源支出提供计量和评价,云平台为云计费提供必须的计算、存储、网络资源。\n[0107] 本发明为Phicloud云平台提供了计费解决方案,为云平台的计费服务提供了支持,与云平台相辅相成,能够在现有的软硬件基础上实现,无需专门的软硬件及人力资源支持,扩展性更好,实现更高效,更节省资源,更便于维护,更易于扩展的计费功能。\n[0108] 综上所述,本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。\n[0109] 上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。
法律信息
- 2021-12-07
专利权的转移
登记生效日: 2021.11.24
专利权人由浙江远特新材料有限公司变更为湖州帷幄知识产权运营有限公司
地址由313021 浙江省湖州市东林镇工业功能区变更为313000 浙江省湖州市吴兴区爱山街道新天地商务写字楼1019室
- 2018-02-13
- 2015-12-09
实质审查的生效
IPC(主分类): H04L 12/14
专利申请号: 201510355808.6
申请日: 2015.06.24
- 2015-11-11
引用专利(该专利引用了哪些专利)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 |
1
| |
2014-10-29
|
2014-08-03
| | |
2
| |
2013-06-12
|
2013-02-05
| | |
3
| |
2013-02-27
|
2012-11-07
| | |
被引用专利(该专利被哪些专利引用)
序号 | 公开(公告)号 | 公开(公告)日 | 申请日 | 专利名称 | 申请人 | 该专利没有被任何外部专利所引用! |