实验室2023级硕士研究生左绪涛(导师:彭锦佳)学术论文《Modality-perceptive Harmonization Network for Visible-Infrared Person Re-Identification》被计算机科学和人工智能领域的国际性学术期刊《Information Fusion》全文录用。
可见光-红外行人重识别旨在检索由可见光和红外摄像机捕获的同一个人的图像,由于数据分布的不一致性以及异构模态间的语义不一致性,该任务仍面临着巨大的挑战。目前一些利用辅助模态的可见-红外行人重识别方法已经取得了显著进展,但这些方法仅在原始图像上应用像素级的增强,限制了它们弥补模态差异和捕捉跨模态语义对应的能力。为了解决上述问题,本文提出了一种模态感知协调网络,通过利用可见和红外模态之间的相关性实现特征级融合。其中,为了缓解领域差异,本文提出了一种模态感知聚合模块,显式地捕捉了异构模态之间的跨模态一致性,从而促进协调的混合模态的自适应融合过程,并提取可靠的模态共享特征。为了解决语义不一致性问题,提出了一种维度细化模块,通过在通道和空间维度上解耦语义信息,进一步增强了模态内的多样性。此外,还进一步设计了模态协调损失和模态一致性损失,用于调整生成的混合模态的分布并增强异构模态中与身份相关的一致性。
《Information Fusion》是JCR一区,中科院1区期刊,影响因子14.8,该期刊聚焦计算机理论方法领域的重点研究和前沿进展,强调理论创新和应用价值。
河北大学网络空间安全与计算机学院