本发明提出了一种面向边缘设备深度学习模型推理的自适应批处理和并行调度系统，包括决策模块、动态批处理调度模块、模型并行模块、性能分析器四部分；决策模块对深度学习模型的批处理和并行推理进行调度建模并为不同模型选择合适的批处理大小和模型并行数量，动态批处理调度模块进行批处理推理；模型并行模块同时处理多个推理请求；性能分析器以在线方式实时收集边缘设备的系统状态；与传统的启发式和其他强化学习方法相比，本发明设计的基于最大熵强化学习的调度决策算法，在对系统吞吐量和推理延迟的权衡方面有着3.2～58％的性能提升，同时收敛速度是其他算法的1.8～6.5倍；此外，平均调度开销只有其他算法的49％。
声明：
“面向边缘设备深度学习模型推理的自适应批处理和并行调度系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1150
编辑：管理员
来源：北方有色网
咨询细节
