本发明的目的是提供一种基于图神经网络的整体知识蒸馏方法，包括：给定老师和学生网络学习到的特征表示和分类预测的结果，以每个样本为节点，网络学习到的特征为节点的属性，分类预测结果的K近邻(KNN)关系为边，为每个网络构建一个属性图；使用拓扑结构自适应的图卷积神经网络聚合属性图中邻域样本的节点属性以及拓扑信息来提取整体性知识，表示为统一的基于图的嵌入向量；使用infoNCE估计最大化学生网络与老师网络的图嵌入表示的互信息，并使用特征记忆存储技术加速训练效率。该方法：可以同时整合老师网络中个体上的知识和关系上的知识，使学生网络学习到整体性的知识，从而提升学生网络的性能。
声明：
“基于图神经网络的整体知识蒸馏方法和系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1132
编辑：管理员
来源：北方有色网
咨询细节
