近日，先进技术研究院吴小俊教授团队的李辉博士等在深度学习及多模态视觉信息融合研究中取得重要进展，研究成果以“LRRNet: A Novel Representation Learning Guided Fusion Framework for Infrared and Visible Images”为题发表在人工智能领域顶级学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（IEEE TPAMI）上（IF：24.314），实现了江南大学在该刊的首次突破，标志着我校的人工智能研究上了新台阶。

论文的第一作者为李辉讲师，通讯作者为吴小俊教授，合作作者为徐天阳副教授、清华大学鲁继文教授、英国萨里大学Josef Kittler院士。（论文链接：https://doi.org/10.1109/TPAMI.2023.3268209 ）IEEE TPAMI是人工智能、模式识别、计算机视觉及机器学习领域最重要的学术期刊之一，也是目前信息领域中影响最大、水平最高的期刊。

深度神经网络在视觉信息融合任务中已经取得了优异的性能，网络结构在融合过程中扮演着非常重要的角色。然而在人工智能领域，神经网络结构的设计仍然是一个黑盒问题。为了探索这一问题，该文提出了一种视觉信息融合的数学优化模型，并揭示了模型最优解与融合网络结构之间的联系。基于上述思想，该文提出了一种新颖的构建轻量级深度学习方法，使用优化模型指导网络结构设计，避免了使用试错策略来设计深度网络结构，如图一所示。

基于这种新颖的网络搭建方式，构建了一种超轻量级的融合网络，并用于融合红外（Infrared）和可见光（Visible）信息。为了训练网络参数，提出了一种从细节到语义信息的损失函数来保留图像细节并增强源图像的显著特征。实验表明，所提出的融合网络在公共数据集上的融合性能优于现有最先进的融合方法。同时，所提网络所需的训练参数量也远小于其他融合网络。为促进相关领域的发展，论文相关程序和数据均已开源：https://github.com/hli1221/imagefusion-LRRNet。

图一 基于表示模型网络构建方法与一般网络构建方法的区别

图二 算法部分结果

上述研究工作得到了国家自然科学基金国际合作重点项目(62020106012)，国家自然科学基金联合基金重点项目(U1836218)，英国EPSRC项目(EP/N007743/1, MURI/EPSRC/DSTL, EP/R018456/1)等基金资助。

近年来，吴小俊教授带领的模式识别与计算智能团队深耕于人工智能与模式识别领域，在IEEE TPAMI、CVPR、ICCV、AAAI、IEEE TIP、IEEE TKDE、IEEE TCYB、IEEE TEVC、PR、EC、Information Fusion、IEEE TNNLS、IEEE TMM等顶级会议和期刊取得了一系列标志性高水平成果。以吴小俊教授团队为主的科研人员承担了江苏省人工智能国际合作联合实验室、江苏省模式识别与计算智能工程实验室和中国轻工联合会智能信息处理重点实验室的建设任务。该团队同时是江苏省高校科技创新团队、江苏高校“青蓝工程”优秀教学团队，承担国家和省部级以及国际合作项目五十余项。团队在人工智能领域为国内外提供了广泛的学术服务，连续14年承担了中国大学生服务外包创新创业大赛（A类竞赛）的组织工作，为全球大学生搭建了施展才华的舞台。团队培养了一大批优秀的人工智能人才，曾多次获得全国和省优秀博士、硕士论文奖。