本申请公开了一种自适应蛋白质预测框架的实现方法、装置及设备，该方法包括：基于BERT式掩盖语言模型处理源数据，得到训练样本集；对Transformer模型进行无监督预训练，得到教师模型；固定教师模型的参数，对教师模型和学生模型进行协同训练，并仅优化学生模型的参数，以将教师模型的知识蒸馏到学生模型中，在知识蒸馏过程中，利用搬土距离算法自适应地学习预训练教师模型的中间隐藏层和学生模型的中间隐藏层之间多对多的映射关系；利用经训练的学生模型进行不同的蛋白质预测任务预测，输出预测结果。通过上述方式，能够显著中间缓解模型庞大带来的计算资源不足以及训练、推断时间过长的问题。
声明：
“自适应蛋白质预测框架的实现方法、装置及设备” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1008
编辑：管理员
来源：北方有色网
咨询细节
