本发明公开了一种基于多模态融合的多目标跟踪的方法和系统，包括目标检测模块、特征提取模块、特征融合模块、相似度计算模块及数据关联模块；其中，所述目标检测模块采用yolov4算法从图像获取目标的2D检测框，并采用PointPillars算法从点云获取目标的3D检测框，所述特征提取模块用于对检测框进行处理，提取目标的2D、3D外观特征，本发明通过多个独立的传感器特征提取来保持可靠性，利用多模态加权融合方式，得到更全面的目标特征，提高精度，可以有效避免单一传感器失效问题，使用图神经网络和图卷积优化目标关联，提升准确度，滤波预测更新，弥补目标的丢失问题，对多个目标进行实时跟踪，生成对应ID，关联前后帧的同一目标，实现高精度定位的效果。
声明：
“基于多模态融合的多目标跟踪的方法和系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究，如用于商业用途，请联系该技术所有人。
我是此专利(论文)的发明人(作者)
1113
编辑：管理员
来源：北方有色网
咨询细节
