关于 MSER 特征区域提取

[mushuiyu]

我想做个图像配准和融合，用 MSER 来提取特征区域，但是不知道为什么感觉图像上一眼看过去就和周围不一样的区域硬是标记不出来……我感觉分水岭效果应该挺明显的啊…… https://imgur.com/qME1JQA 这是原图片，我想要的目标区域是中间三个杯子形状的东西 https://imgur.com/undefined 这个是标记过后的效果 随便问一下一般红外图像和可见光图像配准是用什么特征来参考配准的，角点、边缘还是区域特征，红外图像和可见光图像的信息差别比较大是怎么解决的啊

[lwh0328]

楼主第二个链接坏了，我是做医疗图像配准的，可以交流一下

[lwh0328]

https://imgur.com/ugqMqkz
没有必要特征提取，简单的 rigid mutual information 结果就很好

[mushuiyu]

补一下第二张图片的连接 https://imgur.com/m9rgkzN

[mushuiyu]

@lwh0328 效果这么好的吗，我也是临时换课题后初学的，各方面都还不是很清楚

[mushuiyu]

@lwh0328 我想问一下 rigid mutual information 是基于深度学习的方法吗

[mushuiyu]

@lwh0328 能加个联系方式吗，我的 qq329430840

[mushuiyu]

@lwh0328 还有我想问一下这种方法在配准时间上表现怎么样

[lwh0328]

@mushuiyu 不敢说甚于深度学习。无论深度学习还是图像配准，优化模式都是相似的， 但是个人觉得神经网络模型在图像配准上来应用不是很适宜，因为每个配准 case 的特征都不均一，不能单纯的用深度学习来概括预测，而且传统的基于 pixel intensity 的配准算法的效果已经很明显了。运算时间上，如果你想要做到 realtime 还是有难度的，因为整个过程需要迭代优化。。。按照你给的图像来计算，大概一两秒可以收敛, 上面你可以看到效果

[mushuiyu]

@lwh0328 对我来说一两秒收敛就够了，因为我最终也不用做到真实时计算，以前没有接触过这个方法，去查了一下，发现有个相关的语义分割的东西，就问一下。我看网上只有互信息的基本知识，一些配准时遍历搜索和迭代的相关细节也不是很清楚，不知道能不能发个相关实现方法和流程的文章想参考一下，谢谢

[lwh0328]

@mushuiyu 流程实现方法可以替参考开源的 ITK, 官方的 documentation 写的蛮清楚的,
链接在这里: https://itk.org/ITK/help/documentation.html.
主要看以下 book 2 就可以了, 内容偏理论一些. 还有一份 slides 你可以参考, https://www.creatis.insa-lyon.fr/~srit/tete/2012_master_eeap_si_m5.pdf.

[mushuiyu]

@lwh0328 非常感谢，请问能不能发给我看一下实现上面那个效果的代码啊，如果我用 python 的话是不是只要调用 itk 中的函数就可以了

[lwh0328]

@mushuiyu 不客气，ITK 有 python 的接口，https://simpleitk.readthedocs.io/en/master/Documentation/docs/source/installation.html

[mushuiyu]

@lwh0328 我想问一下，我在 python 里面调用了 itk 的相关函数，根据你之前说的 book2 中 3.5 部分的 Multi-Modality Registration 相关办法，我自己的图片配准效果很差……我用他自带的 example 又配准效果很好，后面我又用 3.6 部分的 Rigid Registration in 2D 办法，自己把 MetricType 换成 MattesMutualInformationImageToImageMetricv4，最后处理的效果是挺不错的，但是这个办法里面有个旋转参数，我配准本身其实是不需要旋转的，导致最后的结果还是有一些偏差，想问一下有没有办法可以解决这个问题啊。

[mushuiyu]

@lwh0328 我已经解决了，很感谢这两天的讨教