本发明涉及一种基于编解码网络的图像‑文本多模态融合方法，属于计算机视觉、自然语言处理、模式识别技术领域。该方法包括如下步骤：S1：在现有目标检测数据集的基础上对其进行手动标记生成文本信息，构建新的图像‑文本数据集，并将数据集划分为训练集、验证集和测试集；S2：选择适合的优化学习方法，设置相关超参数，将训练集和验证集通过编解码网络模型进行训练；S3：训练结束后，在测试集中任选一张图片，输入编解码网络模型，加载训练好的模型权重，最终检测出所对应的目标结果。本发明采用图像‑文本融合处理的方法，利用同一个事物的两种不同类型的数据进行融合处理，能够使网络训练时精确度更高，进而识别出相关所需让目标。
声明：
“基于编解码网络的图像-文本多模态融合方法” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1120
编辑：管理员
来源：北方有色网
咨询细节
