本发明涉及一种基于强化学习的异构MapReduce集群推测执行调度方法，属于大数据处理领域。本发明采用基于Q‑learning强化学习的节点权重动态更新方法，基于历史信息实现节点权重的自适应调整，有效提升了task剩余运行时间的估算准确性；对straggler进行是否迁移的判别，需同时满足备份task比例约束，以及迁移后的运行时间约束两项条件，straggler才能启动备份任务；同时结合map task快节点和reduce task快节点，这种方式提升了异构MapReduce集群的资源利用率。基于典型数据集的仿真试验结果表明，相比于现有算法，本文提出的算法对于大规模数据的处理效率明显提升。
声明：
“基于强化学习的异构MapReduce集群推测执行调度方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1208
编辑：管理员
来源：北方有色网
咨询细节
