本申请公开了一种图像描述模型的训练方法及训练装置。所述训练方法包括：针对图文对训练集中任一候选图像，首先输入词粒度训练后的图像描述模型得到候选预测文本，然后将候选图像和候选预测文本输入预训练的图文匹配模型确定图文相似度后，再将候选预测文本和候选标注文本的CIDEr与图文相似度按照预设比例相加，得到当前奖励值，根据当前奖励值获取参数更新梯度，进而完成词粒度训练后的图像描述模型在句子级别的微调。整个训练方法利用强化学习的方法把预训练的图文匹配模型与图像描述模型联系起来，使得训练后的图像描述模型能够生成与实际图像匹配程度较高的预测描述文本，可以提高图像描述模型的预测精度。
声明：
“图像描述模型的训练方法及训练装置” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1160
编辑：管理员
来源：北方有色网
咨询细节
