当前位置: 首页 > news >正文

图像泊松融合(convpyr_small版本)

一、背景介绍

        前面已经讲过泊松融合算法和它的fft快速版本实现了,想看下还有没有更快的版本,继续翻了下论文,找到了更快速的版本:Convolution Pyramids 。

        找到它的matlab代码跑了下,效果还不错。学习记录,并用c++复现了下它梯度重建部分相关代码。

二、实现流程

1、基本原理

        基本思路为:输入一张散度图像,在多尺度上用训练好的滤波器做卷积,恢复图像亮度信息到泊松重建的效果样子,因此整个流程分为训练和测试两个阶段。

        训练阶段:使用散度图作为输入,使用该散度图正常泊松重建后结果作为gt训练,得到需要的滤波器核。

        测试阶段:使用散度图和训练好的滤波器核,生成逼近泊松重建效果的结果图像。

2、测试部分

        (1). 输入:

                a、 训练的滤波器核。kernel=(-0.1820, -0.5007, -0.6373, 0.1767, 0.5589)

                b、待重建图像散度div。

 

        (2). 滤波器核拆解

 

        (3). 重建流程

                a、对div图像,使用h1进行滤波。

                b、滤波后图像下采样(采样方式需要和训练使用采样方式完全一样),并保存残差。

                c、迭代a,b步骤,得到残差金字塔。

                d、金字塔最底层,使用g进行滤波, 并上采样。

                e、倒数第二层残差使用h2进行滤波。

                f、d 和e步骤结果叠加。

                g、循环d,e,f步骤,金字塔重建得到结果图像。

3、训练部分

        (1)、输入:1、一张输入图像。

        (2)、设置训练kerenl参数为随机数。

        (3) 、计算输入图像散度div。

        (4)、迭代训练:

                a、对滤波器核拆解。

                b、对div图像进行重建。

                e、计算重建图像和原始输入图像均值差,迭代更新滤波器。

三、效果对比

        将如下图像进行图像散度融合,得到对应散度图信息。

 

        根据散度信息和训练好的滤波器核进行图像重建,得到结果图(左边为本文算法结果,右边为fft版本泊松重建结果):

 

        可以看到融合过度上和泊松版本基本持平,但是需要注意的是本文算法重建之后的图像整理亮度,对比原版泊松效果,会存在轻微差异。

        运行时间上:原始版本,处理一张80x40x3的图,花了42秒左右。

        fft加速版本,处理一张512x512x3的图,花了大概250ms左右。

        convpyr_small版本,处理一张512x512x3的图,花了大概40ms左右。

四、代码地址

包含了论文完整matlab版本和我这边本地复现的c++散度重建部分:

https://github.com/yulinghan/ImageQualityEnhancement/tree/master/image_fusion/convpyr_small_poisson

相关文章:

  • <uniapp><HBuilder><故障>HBuilder真机运行时,报“同步资源失败”故障解决
  • CET中电技术:变配电智能运维方案为工业安全与效率保驾护航
  • 124549-23-1,PBFI AM,测定细胞内区隔的钾离子水平变化
  • DNS DDoS攻击:网络世界中的“洪水猛兽”
  • 对PyTorch模块进行性能分析
  • k8s存储类型:emptyDir、hostPath、nfs、pvc及存储类storageclass的静态/动态创建pv
  • android 媒体框架
  • iOS App 安全性探索:源码保护、混淆方案与逆向防护日常
  • 操作系统基础知识
  • C#字段、属性、索引器、常量
  • ggplot2 | GO barplot with gene list
  • java 多核,多线程,分布式 并发编程的现状 :从本身的jdk ,到 spring ,到其它第三方。
  • ch09 题目参考思路
  • LVDS系列11:Xilinx Ultrascale系可编程输入延迟(一)
  • 第8章-4 查询性能优化2
  • U9C-SQL-调出单视图
  • 想更好应对突发网络与业务问题?需要一款“全流量”工具
  • SQL注入的绕过方式
  • MySQL基础关键_013_常用 DBA 命令
  • 三款实用电脑工具
  • 被取消总统候选人资格,金文洙:将采取政治法律措施讨回公道
  • 4月证券私募产品备案量创23个月新高,股票策略占比超六成
  • 菲护卫艇企图侵闯中国黄岩岛领海,南部战区:依法依规跟踪监视、警告驱离
  • 上海优化营商环境十大攻坚突破任务中,为何第一项是实施世行对标改革?
  • AI智能体,是不是可以慢一点? | ToB产业观察
  • 叙利亚政权领导人首访西方国家,与法国总统讨论叙局势