【前沿热点视觉算法|Sora|GPT4相关】-显著目标检测的深度增强交叉模态级联网络

计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。
sora 具体介绍和使用方法：OpenAI Sora 下一代生产力：最新小白必看教程 | 解剖Sora的前世今生 | Sora核心源码
目前 openai 官方还未开放 sora 灰度，不过根据文生图模型 DALL·E 案例，一定是先给 ChatGPT Plus 付费用户使用，需要注册或者升级 GPT Plus 可以看这个教程:ChatGPT Plus 1分钟一键升级

1 论文题目

显著目标检测的深度增强交叉模态级联网络

2 论文摘要

深度模态可以为RGB图像提供补充特征，大大提高了显著目标检测（SOD）的性能。然而，深度图像在采集过程中受到外部因素的干扰，导致采集质量较低。此外，RGB和深度模态之间存在差异，所以简单地融合两个模态不能完全补充深度信息到RGB模态中。为了提高深度图像的质量并有效地集成跨模态信息，我们提出了一种用于RGB-D SOD的深度增强跨模态级联网络（DCCNet）。整个级联网络包括一个深度级联分支、一个RGB级联分支和一个跨模态融合策略。在深度级联分支中，我们设计了一种深度预处理算法来提高深度图像的质量。在深度特征提取过程中，我们采用四个级联跨模态引导模块来指导RGB特征提取过程。在RGB级联分支中，设计了5个级联残差自适应选择模块，输出每个阶段输出RGB图像特征提取。在跨模态融合策略中，采用跨模态信道细化来融合不同模态特征分支的顶层特征。最后，采用多尺度损耗法来优化网络训练。在6个常见的RGB-D SOD数据集上的实验结果表明，所提出的DCCNet的性能可与最先进的RGB-D SOD方法相媲美。

3 论文创新点

提出了一种用于RGB-D SOD的深度增强跨模态级联网络（DCCNet），包括深度级联分支、RGB级联分支和跨模态融合策略。
在深度级联分支中，我们设计了一种DPA算法来提高深度图的质量，并采用了一个CMCR模块和四个CMG模块来有效地集成RGB-D数据的跨模态特征。在RGB级联分支中，我们采用了5个RAS模块来增强特性之间的相互关注。最后，采用5个不同层次的损失函数对网络训练进行了优化。
在6个基准数据集上测试了5个常见的评估指标。与12种最先进的RGB-D SOD模型相比，我们的DCCNet非常具有竞争力。

4 论文架构

在这里插入图片描述

5 不足之处

6 未来展望

在进一步的研究中，我们打算在保证模型加速检测的同时确保准确性。

7 论文地址

https://springer.dosf.top/article/10.1007/s11063-022-10886-7

8 论文代码

计算机视觉最新进展-Sora

计算机视觉算法分享。问题或建议，请文章私信或者文章末尾扫码加微信留言。
sora 具体介绍和使用方法：OpenAI Sora 下一代生产力：最新小白必看教程 | 解剖Sora的前世今生 | Sora核心源码
目前 openai 官方还未开放 sora 灰度，不过根据文生图模型 DALL·E 案例，一定是先给 ChatGPT Plus 付费用户使用，需要注册或者升级 GPT Plus 可以看这个教程:ChatGPT Plus 1分钟一键升级