本发明公开了一种基于多粒度奖励机制的多注意力融合网络的图像字幕生成方法，它解决了在基于强化学习奖励机制的图像字幕生成方法中，每个生成单词不同重要性的问题。本发明首次提出了一种基于多粒度奖励机制的多注意力融合网络用于图像字幕生成，它包括多注意力融合模型、单词重要性重评估网络和标签检索网络。多注意力融合模型用作基于强化学习的图像字幕方法的基线；单词重要性重评估网络通过估算生成标题中每个单词的不同重要性而被用于奖励重估；标签检索网络能够从一批字幕中检索相应的真实标签作为检索奖励，然后通过训练该网络以最大化奖励的方式生成更好的字幕。本发明在MSCOCO数据集上进行了大量的实验验证，取得了非常有竞争力的评价结果。
声明：
“基于多粒度奖励机制的多注意力融合网络的图像字幕生成方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
857
编辑：管理员
来源：北方有色网
咨询细节
