本发明涉及一种流大数据处理任务的抗干扰调度方法和装置，方法包括获取由数据项组成的数据流，按时间窗口分批处理各个数据项，预测后续时间窗口的数据流；根据预测的后续时间窗口的数据流，在各个计算节点中分配任务；以每个计算节点的处理任务时间差距最小、每个计算节点中任务的共享资源需求总量不超过该计算节点一个时间窗口内能提供的共享资源的最大值、每个计算节点的处理任务时间不超过一个时间窗口长度为目标，进行任务分配；获取最终的任务分配结果，对实际到达的数据流进行处理。与现有技术相比，本发明从更细的粒度对流大数据处理任务进行调度，降低了任务在计算节点上执行过程中的干扰，大大提高了数据中心计算节点的资源利用率。
声明：
“一种流大数据处理任务的抗干扰调度方法和装置” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1039
编辑：管理员
来源：北方有色网
咨询细节
