近日，国际人工智能与图像处理领域权威期刊《IEEE Transactions on Image Processing》（IEEE TIP）发表了我院闫利教授研究团队在多模态遥感图像无监督变化检测的最新研究成果“MaCon: A generic self-supervised framework for unsupervised multimodal change detection”。我院博士生王剑与导师闫利教授为该论文共同第一作者，谢洪副教授为通讯作者。参与本研究的还有我院袁强强教授，博士生杨见兵、韦朋成，硕士生高召，英国布里斯托大学张策博士，英国兰卡斯特大学著名学者Peter M. Atkinson教授。

变化检测在地球观测、应急响应与时间序列理解中具有重要意义。近年来，随着多模态数据的快速增加，多模态变化检测逐渐成为研究热点。由于多模态变化检测任务中数据集和标签通常稀缺，无监督方法在多模态变化检测中更具实用性。然而，现有的方法往往仅通过变换减少多模态数据之间的巨大鸿沟，或直接将原始多模态数据输入判别网络以提取差异。前者在提取精确差异特征方面面临挑战，而后者由于原始多模态数据之间存在固有偏差，直接提取与比较特征通常会引入显著的噪声，从而削弱最终差异图的质量。

研究团队通过协同蒸馏共同表征和差异表征来解决这些问题，并提出端到端的自监督变化检测框架——MaCon（见图1）。MaCon框架耦合了掩码重建（MR）与对比学习（CL）两种自监督学习范式，其中掩码重建自监督起到变换作用，而对比学习自监督则专注于差异判别与增强。

图1 MaCon框架概览

此外，研究团队在对比学习自监督架构中提出了一种优化采样策略，使对比学习子网络能够提取更具区分性的差异表征。研究团队还开发了一种有效的静默注意力机制，不仅增强了输出表征的对比度，还稳定了训练过程。

在多个多模态和单模态数据集上均进行了实验，变化检测结果可视化分别如图2与图3所示，他们显示MaCon框架能够有效提取不同模态之间的内在共同表征，并在多模态和单模态变化检测任务中均展现出最优性能。MaCon可为变化检测及相关领域多模态数据处理的统一提供重要借鉴。

图2 在多模态数据集上的结果可视化

图3 在单模态数据集上的结果可视化

IEEE TIP是人工智能、图像处理与计算机视觉领域的国际顶级期刊，同时划归为CCF-A类、中科院一区Top期刊。本项研究得到了国家自然科学基金（42394061，42371451）、湖北省重大科技项目（42171416）、湖北珞珈实验室开放基金（220100053）以及国家留学基金委的资助。

论文链接：https://doi.org/10.1109/TIP.2025.3542276

图文：谢 洪

审核：闫 利 胡俊英