SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness-程序员宅基地

技术标签： 机器学习  计算机视觉  人工智能  

SuperFusion

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

具有语义感知的多功能图像配准与融合网络

背景：

现有的融合仅适用于配准后的图像，输入图像发生微小偏移或形变时，融合结果会出现伪影，忽略深层语义特征。提出将配准和融合放进同一个框架
融合网络框架

贡献、总结

  1. 图像配准、图像融合和高层语义需求统一建模到一个框架中，这是第一个充分考虑图像配准的图像融合方法；

  2. 对称双向图像配准，有效地进行多模态图像对齐，对称性使融合和配准相互促进进行；

  3. 引入语义分割的约束，促使融合网络响应高层视觉任务的需求，嵌入全局空间注意力，实现自适应特征融合；

  4. 总结：三个部分组成，图像配准、融合、分割。
    首先，设计配准网络估计双向形变场，以便使用光度和端点损失来提高精度。联合配准融合方案，平衡对输入模态的偏差，在融合域中通过相似性约束进一步促进配准。Lovasz-Softmax损失，促进融合网络生成结果更合理；

实验

数据集，MSRS、RoadScene与DASC、RIFT、GLU-Net、UMF-CMGR、Cross RAFT进行配准对比。
合成未配准影像
1.对红外图像合成随机仿射、弹性变换
2.对可见光图像合成随机仿射、弹性变换 合成未配准的影像
对于图像融合：MI，VIF，SSIM，FMI,Qabf，（评价指标）
分割实验，采用SeAFusion的分割模型 对多种方法得到的融合图像进行分割

配准可视化

紫色纹理为配准后红外图像的梯度，背景为对应的地面真实
配准可视化

融合可视化

融合可视化

方法：

  1. Dense Matcher用于估计形变场
  2. Fusion Network用于将配准后的图像和另一副图像融合
  3. Segmentation Network用于分割融合后的图像
  4. 进行双向配准，双向配准融合后的影像应该是一致的。Consistency Constraint双向优化配准和融合
    Iir’是合成的红外影像
    Ivi’是合成的可见光影像
    整体框架

Dense Matcher结构

输入是待配准的成对影像,第一层是共享的CNN，2、3、4层是不共享的CNN，多尺度的特征图可以学到不同大小的形变。Flow Esimator是粗略的光流估计器
DenseMatcher

融合网络

采用双编码器提取特征，使用全局注意力机制，让特征自适应融合。
GSAM是个全局注意力机制，用四方向的RNN得到上下文特征
Fusion Network

分割网络

分割网络是这篇论文作者的另一篇论文SeAFusion的分割部分

损失函数

  1. 配准损失
    请添加图片描述
    L1损失函数，光度损失，配准后Ireg应该与原始I一致
    在这里插入图片描述
    端点损失，L2损失可以放大两者之间的差异，应用于两者之间的差异很小的情况
    在这里插入图片描述
    一致性损失，红外配准到光学的f1，应该和光学配准到红外的f2一致
    在这里插入图片描述
  2. 融合损失
    在这里插入图片描述
    结构损失，指导融合网络保留结构信息
    在这里插入图片描述
    纹理损失，融合图像的梯度与源图像最大梯度聚合之间的误差，倒三角是Sobel gradient operator
    在这里插入图片描述
    融合强度信息，保留显著特征。设计了一个强度最大化损失LInt来指导融合网络自适应地融合源图像的强度信息（看着比较显著的信息）
    在这里插入图片描述
    融合损失=纹理+结构+强度
  3. 分割损失
    在这里插入图片描述
    IoU损失的差分替代Lovasz - Softmax损失
    在这里插入图片描述
    分割损失，seg1和GT，seg2和GT
  4. 总损失
    在这里插入图片描述
    总损失=配准+融合+分割，共同优化

Thinking

双向配准以及一致性损失的利用，对配准和融合都有很好的效果。如果融合的目的是用于分割，增加用于分割的语义约束，可以生成更有利于分割的融合效果

L1损失函数和L2损失函数的用处：
任务中预测值与真实值差异不大的时候用L2来放大差异
由于L1 梯度在极值点会发生跃变，并且很小的差异也会带来很大的梯度，不利于学习，在使用L1时通常会设定学习率衰减策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42489272/article/details/134123515

智能推荐

js-选项卡原理_选项卡js原理-程序员宅基地

文章浏览阅读90次。【代码】js-选项卡原理。_选项卡js原理

设计模式-原型模式（Prototype）-程序员宅基地

文章浏览阅读67次。原型模式是一种对象创建型模式，它采用复制原型对象的方法来创建对象的实例。它创建的实例，具有与原型一样的数据结构和值分为深度克隆和浅度克隆。浅度克隆：克隆对象的值类型（基本数据类型），克隆引用类型的地址；深度克隆：克隆对象的值类型，引用类型的对象也复制一份副本。UML图：具体代码：浅度复制：import java.util.List;/*..._prototype 设计模式

个性化政府云的探索-程序员宅基地

文章浏览阅读59次。入选国内首批云计算服务创新发展试点城市的北京、上海、深圳、杭州和无锡起到了很好的示范作用，不仅促进了当地产业的升级换代，而且为国内其他城市发展云计算产业提供了很好的借鉴。据了解，目前国内至少有20个城市确定将云计算作为重点发展的产业。这势必会形成新一轮的云计算基础设施建设的**。由于云计算基础设施建设具有投资规模大，运维成本高，投资回收周期长，地域辐射性强等诸多特点，各地在建...

STM32问题集之BOOT0和BOOT1的作用_stm32boot0和boot1作用-程序员宅基地

文章浏览阅读9.4k次，点赞2次，收藏20次。一、功能及目的 在每个STM32的芯片上都有两个管脚BOOT0和BOOT1，这两个管脚在芯片复位时的电平状态决定了芯片复位后从哪个区域开始执行程序。BOOT1=x BOOT0=0 // 从用户闪存启动，这是正常的工作模式。BOOT1=0 BOOT0=1 // 从系统存储器启动，这种模式启动的程序_stm32boot0和boot1作用

C语言函数递归调用-程序员宅基地

文章浏览阅读3.4k次，点赞2次，收藏22次。C语言函数递归调用_c语言函数递归调用

明日方舟抽卡模拟器wiki_明日方舟bilibili服-明日方舟bilibili服下载-程序员宅基地

文章浏览阅读410次。明日方舟bilibili服是一款天灾驾到战斗热血的创新二次元废土风塔防手游，精妙的二次元纸片人设计，为宅友们源源不断更新超多的纸片人老婆老公们，玩家将扮演废土正义一方“罗德岛”中的指挥官，与你身边的感染者们并肩作战。与同类塔防手游与众不同的几点，首先你可以在这抽卡轻松获得稀有，同时也可以在战斗体系和敌军走位机制看到不同。明日方舟bilibili服设定：1、起因不明并四处肆虐的天灾，席卷过的土地上出..._明日方舟抽卡模拟器

随便推点

Maven上传Jar到私服报错：ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all-程序员宅基地

文章浏览阅读437次。Maven上传Jar到私服报错：ReasonPhrase: Repository version policy: SNAPSHOT does not allow version: xxx_repository version policy snapshot does not all

斐波那契数列、素数、质数和猴子吃桃问题_斐波那契日-程序员宅基地

文章浏览阅读1.2k次。斐波那契数列（Fibonacci Sequence）是由如下形式的一系列数字组成的：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, …上述数字序列中反映出来的规律，就是下一个数字是该数字前面两个紧邻数字的和，具体如下所示：示例：比如上述斐波那契数列中的最后两个数，可以推导出34后面的数为21+34=55下面是一个更长一些的斐波那契数列：0, 1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584,_斐波那契日

PHP必会面试题_//该层循环用来控制每轮 冒出一个数 需要比较的次数-程序员宅基地

文章浏览阅读363次。PHP必会面试题1. 基础篇1. 用 PHP 打印出前一天的时间格式是 2017-12-28 22:21:21？ //>>1.当前时间减去一天的时间，然后再格式化echo date('Y-m-d H:i:s',time()-3600*24);//>>2.使用strtotime，可以将任何字符串时间转换成时间戳，仅针对英文echo date('Y-m-d H:i:s',str..._//该层循环用来控制每轮 冒出一个数 需要比较的次数

windows用mingw(g++)编译opencv，opencv_contrib，并install安装_opencv mingw contrib-程序员宅基地

文章浏览阅读1.3k次，点赞26次，收藏26次。windows下用mingw编译opencv貌似不支持cuda，选cuda会报错，我无法解决，所以没选cuda，下面两种编译方式支持。打开cmake gui程序，在下面两个框中分别输入opencv的源文件和编译目录，build-mingw为你创建的目录，可自定义命名。1、如果已经安装Qt，则Qt自带mingw编译器，从Qt安装目录找到编译器所在目录即可。1、如果已经安装Qt，则Qt自带cmake，从Qt安装目录找到cmake所在目录即可。2、若未安装Qt，则安装Mingw即可，参考我的另外一篇文章。_opencv mingw contrib

5个高质量简历模板网站，免费、免费、免费_hoso模板官网-程序员宅基地

文章浏览阅读10w+次，点赞42次，收藏309次。今天给大家推荐5个好用且免费的简历模板网站，简洁美观，非常值得收藏！1、菜鸟图库https://www.sucai999.com/search/word/0_242_0.html?v=NTYxMjky网站主要以设计类素材为主，办公类素材也很多，简历模板大部个偏简约风，各种版式都有，而且经常会更新。最重要的是全部都能免费下载。2、个人简历网https://www.gerenjianli.com/moban/这是一个专门提供简历模板的网站，里面有超多模板个类，找起来非常方便，风格也很多样，无须注册就能免费下载，_hoso模板官网

通过 TikTok 联盟提高销售额的 6 个步骤_tiktok联盟-程序员宅基地

文章浏览阅读142次。你听说过吗？该计划可让您以推广您的产品并在成功销售时支付佣金。它提供了新的营销渠道，使您的产品呈现在更广泛的受众面前并提高品牌知名度。此外，TikTok Shop联盟可以是一种经济高效的产品或服务营销方式。您只需在有人购买时付费，因此不存在在无效广告上浪费金钱的风险。这些诱人的好处是否足以让您想要开始您的TikTok Shop联盟活动？如果是这样，本指南适合您。_tiktok联盟

推荐文章

热门文章

相关标签