Hyperspectral reconstruction from RGB images based on Res2-Unet deep learning network

针对高光谱成像设备价格昂贵而难以推广应用的问题，利用深度学习网络从易获得的RGB图像重建高质量的高光谱图像。提出的Res2-Unet深度学习网络以Unet框架为基础，以Res2Net为主要模块构建其骨干网络，可以在更加细粒度级别提取局部和全局的图像特征。引入通道注意力机制自适应调节通道特征响应，并在编解码间通过跳跃连接以充分融合不同尺度和不同深度的信息。最后在图像恢复与增强新趋势2020年国际挑战赛提供的数据集上进行训练和测试。实验结果表明，与自适应加权注意力机制网络、分层回归网络相比，提出的方法在平均相对绝对误差、均方根误差、峰值信噪比和平均光谱角制图等4种客观评价指标上均获得了最好的结果；在Clean赛道中平均峰值信噪比分别高出0.08 dB和1.73 dB，在Real World赛道中平均峰值信噪比分别高出0.72 dB和0.97 dB。对比高光谱参考图像与重建图像，无论是在图像的低频平坦区还是在图像的高频纹理区，提出方法均获得了更好的主观视觉效果。