一种适用流式处理的大规模数据连续分析系统

发明专利有效专利

申请号：
CN201110450268.1
IPC分类号：H04L12/24;H04L12/26;G06F17/30
申请日期：
2011-12-29
申请人：
华中科技大学

基础信息

权利要求

说明书

PDF全文

法律信息

引证文献

著录项信息

专利名称	一种适用流式处理的大规模数据连续分析系统
申请号	CN201110450268.1	申请日期	2011-12-29
法律状态	授权	申报国家	中国
公开/公告日	2012-07-04	公开/公告号	CN102546247A
优先权	暂无	优先权号	暂无
主分类号	H04L12/24 ? IPC结构图谱： H 电学 H9 电学 H04 电通信技术 H04L 数字信息的传输，例如电报通信（电报和电话通信的公用设备入H04M）〔4〕 H04L12/00 数据交换网络（存储器、输入/输出设备或中央处理单元之间的信息或其他信号的互连或传送入G06F13/00）〔5，2006.01〕 H04L12/02 零部件〔5〕 H04L12/24 用于维护或管理的装置〔5〕	IPC分类号	H;0;4;L;1;2;/;2;4;;;H;0;4;L;1;2;/;2;6;;;G;0;6;F;1;7;/;3;0查看分类表>
申请人	华中科技大学	申请人地址	湖北省武汉市洪山区珞喻路1037号变更专利地址、主体等相关变化，请及时变更，防止失效
权利人	华中科技大学	当前权利人	华中科技大学
发明人	金海;赵峰;袁平鹏;张冬洁
代理机构	华中科技大学专利中心	代理人	李智

摘要

本发明公开一种适用流式处理的大规模数据连续分析系统，包括元数据管理模块，用于管理数据表和数据库的元信息；查询计划生成模块，用于接收查询请求，生成优化的查询计划；数据导入任务生成模块，用于接收数据导入请求，生成数据导入MR作业集；增量处理模块，用于并行地增量地提交Hadoop系统数据导入和查询作业；MR消息处理模块，用于接收Hadoop系统的Map或Reduce函数的结果，将结果输出给Reduce端或下一个作业；数据库连接模块，用于作为Hadoop系统和数据库之间的接口。本发明使用Hadoop系统将各节点中的数据库有机组织在一起，并发地执行数据导入和数据查询，使用管道技术改进MapReduce(MR)执行流程，使得数据查询以连续的流水的方式执行，大大缩短了大规模数据分析的时间。

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有引用任何外部专利数据！

序号	公开(公告)号	公开(公告)日	申请日	专利名称	申请人
该专利没有被任何外部专利所引用！

我浏览过的专利

专利服务由北京酷爱智慧知识产权代理公司提供