Spark运行参数的确定方法、装置、设备和存储介质

发明专利有效专利

申请号：
CN202110142577.6
IPC分类号：G06F11/34;G06N3/04;G06N3/08
申请日期：
2021-02-02
申请人：
西安天和防务技术股份有限公司

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	Spark运行参数的确定方法、装置、设备和存储介质
申请号	CN202110142577.6	申请日期	2021-02-02
法律状态	实质审查	申报国家	中国
公开/公告日	2021-07-23	公开/公告号	CN113157538A
优先权	暂无	优先权号	暂无
主分类号	G06F11/34 ? IPC结构图谱： G 物理 G0 仪器 G06 计算；推算；计数 G06F 电数字数据处理（基于特定计算模型的计算机系统入G06N） G06F11/00 错误检测；错误校正；监控（在基于记录载体和传感器之间的相对运动而实现的信息存储中的错误检测、校正或监控所用的方法或装置入 G11B 20/18；监控，即，监控记录或重现的进程入G11B 27/36；静态存储中所用的方法或装置入G11C29/00）〔1，4，2006.01〕 G06F11/30 监控〔3〕 G06F11/34 计算机功效的记录或统计测定，例如，故障停机时间的、输入/输出操作的〔3〕	IPC分类号	G;0;6;F;1;1;/;3;4;;;G;0;6;N;3;/;0;4;;;G;0;6;N;3;/;0;8查看分类表>
申请人	西安天和防务技术股份有限公司	申请人地址	陕西省西安市高新区西部大道158号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	西安天和防务技术股份有限公司	当前权利人	西安天和防务技术股份有限公司
发明人	童轩;李杨;孔庆云;潘登
代理机构	深圳中一联合知识产权代理有限公司	代理人	赵倩

摘要

本申请适用于计算机技术领域，提供了一种Spark运行参数的确定方法、装置、设备和存储介质，该方法包括获取第一运行参数集和第二运行参数集，第一运行参数集和第二运行参数集的获取方式不同；基于第一运行参数集，将任务数据的数据大小和任务类型输入第一模型，根据第一输出结果确定第一模型中的目标模型，第一模型包括多个数据模型；基于第二运行参数集，将数据大小和任务类型输入所述目标模型，根据第二输出结果确定Spark的目标运行参数。该方法首先基于第一运行参数集确定与任务类型匹配的目标模型，再基于第二运行参数集确定与任务类型匹配的目标运行参数，可针对不同任务类型的任务数据确定最优运行参数，进而提高了Spark运行参数的精确度。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供