近日，国际摄影测量与遥感领域高水平期刊《ISPRS Journal of Photogrammetry and Remote Sensing》在线发表了我院詹总谦教授课题组在多传感器并发式准实时在线SfM方向的研究成果，论文题目为“SfM on-the-fly : A robust near real-time SfM for spatiotemporally disordered high-resolution imagery from multiple agents”。詹总谦教授为论文第一作者，王鑫副研究员为通讯作者。参与本项目的还有我院谢洪副教授，硕士研究生余逸飞、甘文天、夏锐，意大利FBK的Fabio Remondino研究员、博士生Luca Morelli、Giulio Perda。

传统的SfM方法或框架通常都在数据采集完后，采用离线事后的处理方式，无法满足实时/准实时的在线测量、动态评估等要求。当前主流的VSLAM技术虽然能取得实时定位与建图的性能，但其输入通常是视频帧，其中包含了数据时空连续性的先验条件，对数据采集的方法和模式有一定的约束。因此，如何处理高分辨率无序影像，实现准实时在线SfM仍是一个非常具有挑战的问题，而其中的关键技术难点在于如何提高新增检索效率、定向稳健性以及局部光束法平差速度和鲁棒性。

 图1 on-the-fly SfM 工作示意图及技术路线

针对上述问题，研究团队提出on-the-fly SfM：一种面向多代理并发式的高分辨率无序影像准实时SfM稳健处理框架，实现了“任意拍摄-实时图传-在线处理”。该框架主要由支持4G\5G的多代理影像采集与图传、基于HNWS在线影像匹配、融合分层结构树的自适应带权局部光束法平差、在线子地图重建与融合等模块构成。

图2 在公开数据集上的影像定向与三维点云精度评价实验结果

基于多个公开数据集和团队自己采集数据集的测试标明，本框架在准实时性和定向精度等方面都取得了state-of-the-art的性能。为促进相关领域的研究，本框架所有代码均已在github开源。

Github开源：https://sygant.github.io/onthefly

展示网页：https://yifeiyu225.github.io/on-the-flySfMv2.github.io/

论文链接：https://www.sciencedirect.com/science/article/abs/pii/S0924271625001388

图文：王 鑫

审核：闫 利 胡俊英