本发明公开了一种分布式机器学习数据划分方法，分为四个步骤：初始化、神经网络训练、状态选取、数据划分。本发明首先进行了验证实验，观察到每个任务使用的资源量不同时，在BSP模式下，整个系统一轮完成时间总是取决于资源使用量最少的那个任务。这无疑浪费了大量的资源，严重拖慢整个系统的完成时间；然后根据量化分析结果，定义了问题模型和优化目标，即在保证分布式机器学习模型训练精度值的前提下，提高整个分布式机器学习模型训练作业的计算效率；最后本发明提出一种基于强化学习的分布式机器学习数据划分方法，并设计了一个双目标神经网络，与现在有的传统数据划分策略相比发明的数据划分方法使整个分布式机器学习模型训练的每轮计算效率显著提高，对加快分布式机器学习执行速度有较强的指导意义。
声明：
“面向分布式机器学习的数据划分方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1183
编辑：管理员
来源：北方有色网
咨询细节
