本发明涉及图像理解领域，其公开了一种基于推敲注意力机制的图像描述生成系统及方法，解决现有图像描述方案存在的缺少润色过程、训练和测试过程不一致、生成描述辨识度不高的问题。该方法包括：a.数据集的处理：提取图像的全局特征和局部特征，构建数据集，对数据集中的单词进行标记，生成对应的词嵌入向量；b.训练图像描述生成模型：采用第一层基于残差注意力机制的解码器生成粗略的图像描述，采用第二层基于残差注意力机制的解码器对已生成的图像描述进行润色；c.结合强化学习进一步训练模型：在训练过程中模拟模型的测试过程，并且以生成描述的CIDEr分数来引导模型的训练，结合强化学习对模型进行调整。
声明：
“基于推敲注意力机制的图像描述生成系统及方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
932
编辑：管理员
来源：北方有色网
咨询细节
