本发明涉及云计算环境中并行任务的调度处理方法，公开一种针对MapReduce作业的容错调度方法，以提高MapReduce作业的整体性能，减少节点失效时的作业延迟。本发明结合检查点和主动复制两种技术，在Mapper任务执行时创建本地检查点和索引检查点两种检查点，当任务发生失效时，本地检查点能够将出错任务的状态和执行恢复到检查点处，减少了任务的重复执行时间；当发生节点失效时，副本节点能够根据索引检查点快速构造出失效节点上执行的mapper任务的中间结果数据，大大减少了重调度任务的执行时间。实验结果表明该方法能够比Hadoop的运行时性能提高30%以上，同时并不明显增加系统的存储和网络开销。
声明：
“MapReduce任务的容错调度方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
806
编辑：管理员
来源：北方有色网
咨询细节
