本发明公开了一种基于强化学习的神经网络自适应分布式并行训练方法，为大规模复杂神经网络的切分和调度提供最优化解决方案。本发明首先分析神经网络模型结构和计算属性对执行性能的影响，在此基础上提取包括计算代价、通信代价和内存使用率等性能因子，构建能够全面体现分布式训练性能的多维性能评价模型，提高并行策略综合性能；其次利用前馈网络根据算子属性特征实现算子自适应分组，确定并行度，减小搜索空间的同时实现了端到端的策略搜索；最后基于重要性采样，采用近端策略梯度迭代优化强化学习模型，搜索最优切分和调度策略，扩展策略网络离线学习能力，提高算法平稳性、收敛速率以及策略搜索性能。
声明：
“基于强化学习的神经网络自适应分布式并行训练方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1009
编辑：管理员
来源：北方有色网
咨询细节
