【论文阅读】CROSS:基于跨域残差优化的有限角度CT结构强化重建

编程入门 行业动态 更新时间:2024-10-21 06:18:06

【论文阅读】CROSS:基于跨域残差优化的有限<a href=https://www.elefans.com/category/jswz/34/1771447.html style=角度CT结构强化重建"/>

【论文阅读】CROSS:基于跨域残差优化的有限角度CT结构强化重建

论文:《CROSS: Cross-Domain Residual-Optimization-Based Structure Strengthening Reconstruction for Limited-Angle CT》

文章目录

  • Abstract
  • Introduction
  • Methodology
    • A. CROSS Framework 框架
    • B. Structure Strengthening Network
    • C. ResNet
    • D. Residual Data Consistency
    • E. Perceptual Loss
    • F. Texture Extraction
    • Loss Function
  • Experiments
    • A. Simulated Data Results
    • B. Real Dataset Results
    • C. Comparison Between CROSS and DIOR
    • D. Computational Cost
    • E.Ablation Study 消融实验
  • Conclusion

Abstract

有限角度计算机断层扫描(computed tomography,CT)由于其在各种复杂扫描条件下的灵活性而成为一种有效的实际应用方法。然而,不完整的投影数据将导致严重的楔形伪影和图像退化,这大大降低了诊断价值。为了克服这一问题,我们提出了一种基于交叉域残差优化的有限角度CT结构强化(CROSS)重建方法

提出的CROSS框架包括三个步骤,分别在图像域和测量域交替进行。与传统的基于双域的算法不同,我们的CROSS方法不仅对图像空间的重建结果进行了正则化,而且对残差空间进行了正则化,在衰减系数较大的区域增强了器官的恢复。此外,采用结构强化网络增强组织保存。通过模拟和临床前数据集来评估所提出的CROSS方法。实验表明,该框架在伪影去除和边缘保存方面具有较好的性能。

Introduction

x射线计算机断层扫描(computed tomography, CT)已广泛应用于医学诊断、工业无损检测和安全检查等领域。然而,在非理想环境下,CT图像会遇到严重的噪声和伪影。特别是在实际场景[2]、[3]、[4]中,无法从全角度范围收集测量值。例如,在放射治疗(RT)中,锥束CT (CBCT)可用于患者设置和剂量计算[5]。然而,CBCT旋转一圈需要很长时间(通常为60秒),这可能导致患者或器官运动引起的运动伪影。有限角度扫描方式加快了采集时间,成比例地降低了辐射剂量。因此,获得的有限角度投影数据将导致图像退化,并伴有严重的楔形伪影,实用价值显著降低。为了解决这一问题,人们提出了许多先进的重建方法,可分为四类:1)分析方法;2)迭代优化(IR)方法;3)基于深度学习的方法;4)深度迭代方法。

滤波反投影(FBP)是一种经典的分析方法在CT重建中得到了广泛的应用。
在投影数据完整、无噪声的情况下,FBP可以快速提供高质量的图像。
然而,对于有限角度CT, FBP会引入阴影伪影并丢失组织细节。

为了保证重建图像与投影数据的一致性,进一步提高FBP的性能,人们提出了许多用于有限角度CT[6]的IR方法后来,各种IR方法被引入到CT成像中,以提高伪影去除和组织恢复的性能[7],[8]。Sidky等人([9])考虑到图像梯度的稀疏特性,将总变差(TV)最小化应用于有限角度CT,与代数重建技术(ART)相比,得到了改进。此外,注意到电视的各向同性不适合有限角度CT, Chen等人开发了一种基于各向异性电视(ATV)的红外方法[10],以更好地保存边缘和减少楔形伪影。为了更有效地利用图像稀疏性,Wang等人将重加权技术引入到ATV (RwATV)中。实验表明,RwATV可以产生更好的重建,结构更清晰,边缘更锐利,伪影更少。然而,RwATV可能无法消除大条纹,因为它依赖于规模。因此,研究了尺度空间ATV,以减少不同尺度[12]下的条纹伪影。L0 -范数是医学成像中另一个重要的先验约束,它可以提供比TV[13]更稀疏的解决方案。

例如,为了克服TV在过度平滑低对比度结构方面的缺点,Sun和Tao[14]尝试将L0范数优化引入到IR方法中,并取得了明显的提升。然后,Wang和Zeng[15]关注基于L0范数的小波系数惩罚,在抑制金属伪影方面优于经典CT重建。为了更好地提高特征恢复的性能,Xu et al.[16]将L0范数和字典学习(L0 DL)相结合用于有限角度CT。模拟和临床前数据集都声称,所提出的L0 DL生成了结构更清晰的高质量图像。此外,非局部相似[17]、低秩[18]、稀疏表示[19]、[20]等也常作为先验知识应用于CT重建的红外算法中,并取得了较好的效果。尽管先前的正则化红外方法可以改善CT图像,但它们有几个缺点,包括高计算成本、敏感的超参数设置和手工制作的正则化项。

近年来,基于dl的方法已成功应用于医学成像领域[21],[22],[23]。特别是,基于卷积神经网络(CNN)的方法比传统的重建图像[24],[25],[26],[27]带来了更有希望的结果。借助CNN模型强大的特征提取能力,Gu和Ye[28]直接从退化图像中预测小波域的伪影,并取得了较好的伪影还原效果。类似地,Li等人提出了一种修复网络来恢复有限角度扫描中缺失的投影数据。然后,采用经典的FBP或IR方法从恢复的投影数据中重建CT图像。实验表明,该方法可以有效地降低严重的伪影。与上述基于单一域的方法不同,Anirudh et al.[30]采用生成式对抗网络将不完整的扇形波束sinogram数据直接映射到CT图像中,获得了令人印象深刻的结果。同时,w<s:1> rfl等人([31])探索了一种fbp型算法,该算法采用了一种新的锥束几何反投影层,以提高计算效率。评价表明,该方案优于分析方法。Huang等人创新地引入了一种基于深度学习先验的数据一致性伪影还原(DCAR)方法,该方法首先对缺失的投影数据进行绘制,然后用红外方法迭代改进重建图像[32]。为了加强边缘保存,Hu等人提出了一种用于有限角度CT的多级重建框架(SPECIAL)。仿真和实际实验表明,SPECIAL方法在伪影去除和细节恢复方面优于现有的竞争算法。

此外,基于双域(dual-domain-based)的方法因其优越的性能而备受关注。通过联合约束投影数据和图像数据,这些方法优于基于单一域的方法。例如,为了充分利用图像域和投影域之间的互补相关性,开发了一种用于有限角度CT的混合域网络(hybrid domain network, hdNet)。实验表明hdNet在消除伪影方面效果很好。此外,Jiao等人([35])开发了一种用于CT重建的智能背投影网络(intelligent back-projection network, iBP-Net),可以提供更好的视觉效果。Zhou等人[36]采用双域法对低剂量CT进行金属伪影还原。考虑到DL方法在医学成像中的不稳定性,Wu等人[37],[38]专门设计了一种解析压缩迭代deep (analytic compressed iterative deep, ACID)方法来稳定深部断层成像重建。Wu等人在ACID的基础上,[40]将残差域处理技术集成到稀疏视图CT的双域方法中,在减少伪影和保留细节方面取得了很好的效果。

根据上述工作,IR方法和基于DL的方法都能有效地提高图像质量因此,研究了红外优化与深度先验相结合的深度迭代重建算法,用于图像恢复[41],[42]。Cheng等人通过实现可微的前向后算子,开发了一种展开方法(FSR-Net),共同重建高质量的CT图像及其相应的全视图投影数据。FSR-Net在图像域和投影域都部署了正则化,优于现有的变分方法和基于dl的方法[43]。接下来,为了提高深度先验的正则化能力,增强数据一致性(data consistency, DC), Zhou等人采用了带有专用数据保真层的密集空间关注网络进行有限角度CT重建。实验表明,[44]能够对主要病变产生有希望的结果。在[44]的基础上,进一步研究了Sam 's Net,利用基于混合域的方法作为主干,提高了[45]的稳定性和鲁棒性。尽管[43]、[44]和[45]代表了最先进的方法,但由于内存限制,它们不能直接应用于CBCT。因此,本文提出了一些基于离线方案的深度迭代方法。为了加快红外方法的收敛速度,Wang等人([46])采用了多个DL模型作为正则化函数来改善中间重建结果。因此,Wang等人[46]在边缘保存和伪影减少方面表现更好。此外,为了解决迭代过程中深度先验的泛化问题,Hu et al.[47]设计了一种嵌入红外方法的残差空间CNN模型,在细节恢复方面有了显著的提升。

然而,Wang et al.[46]和Hu et al.[47]由于计算迭代过程复杂,比其他竞争方法需要更长的时间。因此,本文提出了一种基于交叉域残差优化的结构强化框架,用于有限角度CT重建本文提出的CROSS方法包括三个步骤,分别在图像域和投影域交替执行CNN模型。具体而言,在第一步中,采用结构强化网络(SS-Net)去除伪影并保留纹理。接下来,可以根据[32]从第一步的结果中获得缺失的投影数据。为了改进DC,采用残差网络(ResNet)对恢复的投影数据进行增强。与[33]的最后一步不同,本文提出的CROSS在残差图上而不是在CT图像上使用SS-Net,可以提高衰减系数较大区域的恢复精度。与[44]、[47]等深度迭代方法相比,CROSS方法可用于CBCT重建,计算成本更低,同时提供具有竞争力的结果。基于仿真和真实数据集的实验验证了该方法在边缘保持、细节恢复和伪影去除方面的良好性能。

本文的其余部分组织如下。
第二节介绍了所提出的CROSS框架的工作流程以及本工作中使用的神经网络的细节。
第三部分给出了CROSS中不同成分的实验结果和分析。
在第四节中,我们将讨论一些相关问题,并对下一步的工作进行规划。

Methodology

A. CROSS Framework 框架

为了重建与[43]、[44]、[47]相似的高质量图像,但计算成本较低,提出了一种多步CROSS方法。CROSS框架包括三个步骤(如图1所示),分别在图像空间和投影空间交替使用CNN模型,逐步增强CT图像。

图1所示。
CROSS框架的流程图。

第一步,在图像域采用一种新的SS-Net来去除伪影,恢复大部分组织细节。具体来说,SS-Net以FDK算法对有限角度投影数据y重构的退化图像作为输入,生成高质量图像S1。与[28]、[33]和[48]不同,SS-Net设计了一个结构增强的分支,这可以在细节恢复方面产生令人印象深刻的结果。

虽然第一步获得的S1具有令人满意的视觉效果,但可能无法准确重建衰减系数较大的区域。因此,采用DC操作进一步提高S1。特别是,从S1重新投影的投影数据y1被输入到正常的ResNet中,并产生改进的全视图投影数据y2。接下来,利用残差DC (RDC)来评估S1与可用投影y之间的差值y3。与传统的DC[32],[44]不同,RDC侧重于投影域误差图的评估,可以提供更好的结果。

最后一步,首先从误差正弦图y3重构误差图像S2。尽管存在楔形伪像,但它包含了S1和地面真值之间的高频信息,这些信息可以很容易地恢复为S1。因此,再次使用SS-Net来纠正S2。然后将S3和S1相加,得到最终结果S4。

总的来说,CROSS方法的关键在于分别在残差图像空间和投影空间提升重构结果,有利于恢复具有高Hounsfield units (HUs)的较大器官。

B. Structure Strengthening Network

为了更好地对有限角度CT进行图像重构,在图像域采用了SS-Net,其结构如图2所示。SS-Net有三个分支,分别是图像恢复子网(IRS-Net)、结构增强子网[49]、[50]、[51]和特征融合子网。

Fig. 2.
Proposed SS-Net architecture. (a) Image restoration. (b) Structure enhancement. © Feature fusion module.

IRS-Net[如图2(a)所示]采用FED-INet作为主干[47],采用非对称卷积模块(ACM)改进特征提取,并已被有效验证用于组织恢复。IRS-Net是一种经典的基于图像域的方法,它以FDK重建图像为输入,生成结构多、伪影少的高质量图像B1。因此,IRS-Net保存了CT图像的低频信息。

不同的是,结构增强子网络(SES-Net)[如图2(b)所示]试图保留CT图像中包含的纹理信息。SES-Net也使用FED-INet作为主干,输入FDK结果,但输出结构细节B2。因此,CT图像的高频信息被存储在SES-Net的特征图中。

由于IRS-Net和SES-Net分别具有CT图像的低频和高频成分,因此可以通过融合它们的特征图来进一步改进它们。如图2©所示,特征融合模块(FFM)将分别从IRS-Net和SES-Net中提取的特征图连接在一起,并在边缘保存方面比S1有所改进。

C. ResNet

为了更好地重建高分辨率投影数据,我们使用了ResNet,其架构如图3所示。它由8个ResBlock组成,每个ResBlock都有一个残余连接,以避免消失或爆炸梯度[52]。此外,ResNet还采用了全局残差连接来加速收敛和稳定训练[53]。

Fig. 3.
Proposed ResNet architecture.

D. Residual Data Consistency

DC是医学成像[44],[54]中广泛使用的约束,它可以保证重建方法[55]的最坏情况性能。经典DC可以改写为[32]:

y3=y⊕y2		(1)

其中,y为可用的有限角度投影数据,y2为ResNet处理后的改进的高分辨率投影数据(如图1所示),⊕为复制y并将y2对应部分替换为y的替换操作。然后,可以使用更精确的投影数据y3进行后续操作[32],[44]。

为了改善组织保存,我们对RDC进行了研究,其配方如下:

y3=y⊕y2−y1		(2)

其中y1=AS1, A是投影运算。与(1)不同的是,RDC旨在评估投影域中S1与地面真值的差值,这可以提高S1在高衰减区域的性能。

E. Perceptual Loss

感知损失(Perceptual loss, PL)是一种广泛使用的工具,用于最小化两幅图像在特征空间中的距离,而不是像素相似性。在医学成像应用中,PL可以生成更多的组织细节和更好的视觉外观[56]。PL的定义为

式中,I为重建图像,gt为地面真值 ground truth。Ψi表示特征投影仪[47]。在这项工作中,VGG-16[57]的第2、4、6、9、12层卷积的输出作为特征提取器Ψi

F. Texture Extraction

基于CNN的模型容易模糊图像[33],因此为了增强CNN模型的边缘保持能力,在CROSS框架中使用了纹理提取(texture extraction, TE)。TE可以表示为:

其中 g ~ N(μ,σ2) 服从高斯分布,均值μ,标准差σ, F为滤波运算。利用(4)可以得到图像I的纹理和细节[如图2(b)中的B2所示]。在[33]和[47]中也使用了TE,这些TE直接对重建图像执行,以显式增强细节保存。然而,在我们的方法中,TE是使用隐式方法提取高频特征映射,然后将其输入最终结果。

Loss Function

对于CROSS中的三个步骤,分别有三个神经网络Φ1、Φ2和Φ3

在CROSS的第一阶段,Φ1的代价函数描述为
其中,ID为有限角度重构图像,IND为全视图投影数据重构的参考图像。Φ1b1、Φ1b2、Φ1b3分别代表图2中的三个子网,λ1代表平衡式(5)中不同项的超参数。

在第二阶段,Φ2的目标函数为:

其中yND为全视图投影数据。

对于Φ3,它具有与Φ1相同的优化功能,但具有不同的输入和参考图像:

其中S2=FDK(y3), RND=IND−S1, λ2是另一个控制所有项权衡的超参数。在对Φ1、Φ2和Φ3进行训练后,本文提出的CROSS可以通过替代图像域和投影域处理逐步改进图像。

Experiments

在这项工作中,所有的实验都是在一台CPU为Intel至强E5-2683, GPU为nvidia GTX TITAN的PC上进行的。
(5)和(7)中的超参数λ1和λ2分别设置为0.001和0.001
使用Adam算法[58]更新三个网络Φ1、Φ2和Φ3的所有参数。注意到这三个网络是相互依赖的,需要一个一个地进行训练。
学习速率最初设置为10−3,并在50个epoch内线性降低到1e−5。

为了评估所提出的CROSS框架,我们比较了5种重建方法,包括FDK算法(Ramp-filter)、TV[59]、DDNet[48]、MSWDNet[28]和DCAR[32]。具体来说,DDNet、MSWDNet和DCAR是用Python语言在TensorFlow框架中实现的。FDK和TV是通过MATLAB 2018a实现的。此外,我们选择峰值单噪比(PSNR)和结构相似性指数(SSIM)[60]作为定量评价。

A. Simulated Data Results

模拟实验的图像从癌症成像档案(TCIA)下载。在这项工作中,我们采用锥束几何来评估不同的有限角度CT重建方法。几何参数如下:源到探测器的距离为100 cm,源到轴的距离为50 cm。探测器尺寸为900×400,每个元件覆盖面积为1.5×1.5 mm2。对于一个圈子,收集了960个评论。用512×512×200重建体素,每个体素为0.9×0.9×0.9 m3。值得注意的是,当重建切片远离中心切片时,FDK会导致锥束伪影。为了克服这个问题,我们只选择了整个卷中中间的120个切片。这意味着在接下来的实验中,每个三维体积的大小只有512×512×120。特别地,在TCIA数据集中,从21例患者中选取9200张2d图像,大小为512×512,模拟本节描述的锥束几何形状,生成训练数据集。然后,使用来自不同三位患者的另外1000张相同大小的二维图像来生成验证数据集。最后,从另外三名患者中选择1200张二维图像用于生成测试数据集。具体来说,来自训练、验证和测试数据集的图像属于不同的患者。利用FDK算法从全采样投影数据重构参考图像。两个扫描角度范围[0,90°]和[0,110°]来评估不同的方法。对于基于dl的方法,输入和输出是从三维体中提取的二维切片。在训练阶段,采用基于patch的方案。每个patch的大小为128×128,从二维切片中提取,步长为64,批大小为16。在测试阶段,直接将大小为512×512的图像输入到训练好的模型中,输出生成的结果。

表1列出了扫描角度范围为[0,90°]和[0,110°]的重构图像的平均定量结果。从表1中可以看出,解析算法FDK的得分是最差的,说明在投影数据不完整的情况下,解析算法的性能在所有方法中都会受到较大的影响。在图像梯度最小化和迭代正向后校正的辅助下,TV获得了比FDK更好的评估结果,但仍然无法提供有竞争力的结果,这意味着传统方法无法在测量数据不完整的情况下重建令人满意的结果。由于强大的特征提取能力,基于dl的方法在所有扫描角度范围内都比传统方法获得更好的评价分数。与MSWDNet相比,DDNet在PSNR方面至少提升了0.7 db,这表明具有更复杂结构的网络可能改善重构结果。虽然DCAR在PSNR上的得分比DDNet差,但它在SSIM上的表现很好,这意味着DCAR提供的图像内容由于DC约束而更接近参考图像。值得注意的是,所提出的CROSS框架在所有方法中获得了最好的评价,这表明了基于多域的处理的有效性。
为了进一步直观地评价各种算法的性能,图4给出了扫描角度范围为110°的FDK、TV、MSWDNet、DDNet、DCAR和CROSS方法的重建结果和相应的兴趣区域(roi)。从图4(b1) - (b4)可以看出,FDK引入了严重的楔形伪影,组织和病变变得难以识别。得益于图像梯度最小化,TV在去除伪影方面优于FDK[如图4(c1) - (c4)所示]。然而,在电视重建中,大多数诊断信息仍然缺失,这暴露了传统方法在投影数据不完整时的缺陷。在大量训练样本对和深度卷积层的辅助下,基于cnn的模型可以挖掘CT图像中包含的本质特征。当然,基于dl的算法比传统方法具有更好的性能。具体来说,基于图像域的方法MSWDNet和DDNet可以抑制楔形伪像,恢复组织和细节,如图4(d1) - (e4)所示。这证实了基于图像域的医学成像方法的有效性。此外,DCAR可以促进组织修复的后处理方法[如图4(f4)中黄色箭头所示]。并且可以消除DDNet诱导的假结构[如图4(e3)中绿色箭头所示]。这是因为DCAR是一种基于ir的方法,可以通过迭代优化来提升重构结果。值得注意的是,所提出的CROSS方法比其他竞争对手基于dl的方法生成的图像在视觉上得到了更好的改善。特别是,CROSS能够保留细微的细节[如图4(g1)和(g3)中的红色箭头所示]和清晰的器官边界[如图4(g2)中的红色箭头所示]。

图4所示。
扫描角度为110°的模拟数据集重建结果。不同的行代表不同的切片。显示窗口为[−160,240]。

图5为扫描角范围为90°时的重建结果,以考察在较小扫描角范围下不同方法的性能。与图4(b1) - (c4)相比,FDK和TV在扫描角范围为90°时的重建效果较差[如图5(b1) - (c4)所示]。这意味着传统方法的性能受到投影数据完整性的显著影响。从图5(d1) - (g4)可以看出,基于dl的方法在去除伪影和组织修复方面促进了FDK和TV。与图4类似,MSWDNet和DDNet成功地恢复了大部分细节并减少了伪影。而且,它们能产生比DCAR更清晰的组织[如图5(d3)和(e2)中黄色箭头所示],这与图4中的现象相反。这说明DCAR依赖于投影数据,扫描角度范围越小,性能越差。与DCAR方法相比,本文提出的CROSS方法对不同的扫描角度范围具有很强的鲁棒性,并且仍然能够提供高质量的图像,具有清晰的边缘[如图5(g2)和(g3)中红色箭头所示]和准确的特征[如图5(g1)和(g4)中红色圆圈和箭头所示]。

图5所示。
扫描角度为90°的模拟数据集重建结果。不同的行代表不同的切片。显示窗口为[−160,240]。

图6显示了从模拟数据集的重建CT体中选择的冠状和矢状视图,以进一步评估不同重建方法的视觉性能。如图6所示,所有基于dl的方法都可以减少大部分伪影,保留大部分组织特征。更具体地说,我们提出的CROSS框架在细节恢复方面效果很好[如图6(e1)和(e2)中的红色箭头所示]。然而,本文提出的方法在不同的切片上会产生明显的水平伪影[如图6(e1)和(e2)中黄色箭头和圆圈所示]。这是因为所有的重建结果都是三维图像,但所提出的方法逐片处理,忽略了z轴方向上相邻切片之间的关系。为了解决这一问题,本文提出的CROSS方法扩展为以三维图像为输入的三维版本(3D-CROSS)。如图6(f1)和(f2)所示,3D-CROSS成功地抑制了水平伪影。更多3D-CROSS的结果可以在补充资料中找到。

图6所示。
选取模拟数据集中的冠状面和矢状面,扫描角度范围为90°。(a1) - (f1)参考、MSWDNet、DDNet、DCAR、CROSS和3D-CROSS方法的冠状图。(a2) - (f2)参考、MSWDNet、DDNet、DCAR、CROSS和3D-CROSS方法的矢状面视图。显示窗口为[−140,240]HU。

B. Real Dataset Results

为了进一步探讨不同的有限角度CT重建方法,我们进行了真实小鼠数据集实验。再次采用锥束扫描模型,其结构如下:试管为Hamamatsu L9421-02,检测器为Dexela 1512。管电压为60 kV,电流为130 μA。探测器的尺寸为944×768,每个元件代表0.072×0.072 mm2。源与探测器的距离为44 cm,源与物体的距离为22 cm。通过360°采集1000个投影作为全采样测量数据。重建的三维体为872×872×600,每个体素覆盖面积为0.072×0.072×0.072 mm3。有四只老鼠参与了这项工作。具体来说,两只老鼠(1200张图片)作为训练数据集,一只老鼠(600张图片)作为验证数据集,其余的(600张图片)作为训练数据集。与前一节类似,我们只重建每个鼠标的中央600个切片,以减轻锥束伪影。采用FDK算法从全采样投影数据重构参考图像。进行了一个扫描角度范围[0,110°]来评估各种方法。

图7显示了不同算法之间选择的重构图像。为了更好的视觉观察,图7中的所有图像都被裁剪为448×448的大小。与FDK算法相比,所有基于dl的方法都能以更少的伪影生成高质量的图像。此外,在比较方法中,DDNet在边缘保存方面的效果更好[如图7(d2)中的黄色箭头所示]。从图7(f1) - (f4)中的红色箭头可以看出,所提出的CROSS框架在组织修复和细节保存方面优于其他基于DL的方法。

图7所示。
扫描角度为110°的真实小鼠数据集重建图像。不同的行代表不同的切片。显示窗口为[−600,600]。

C. Comparison Between CROSS and DIOR

深度迭代重建方法已应用于有限角度CT,其性能优于传统的基于dl的方法[43],[44],[47]。为了比较深度迭代方法和所提方法,在扫描角范围为90°的模拟数据集上进行了附加实验。采用DIOR[47]作为代表性的深度迭代方法,在残差空间中采用CNN模型作为正则化函数,通过迭代过程提高图像质量。

图8为DIOR和CROSS方法的重构结果。DIOR和CROSS在伪影去除和组织修复方面都表现良好[如图8(b2)和(c2)中黄色箭头所示]。此外,CROSS框架可以还原准确的结构特征[如图8(c1)中红色圆圈所示]。综上所述,该方法可以获得与DIOR相媲美的结果,证明了CROSS中基于多域的策略对于有限角度CT是有效的。

图8所示。
扫描角范围为90°的模拟数据集重建结果。显示窗口为[−160,240]HU。

D. Computational Cost

表2列出了各种方法的计算成本。所有时间都是基于200幅图像的模拟数据集,扫描角度范围为110°。MSWDNet和DDNet是耗时最少的基于单一域的方法。基于IR的方法(DCAR和DIOR)比其他算法耗时更长。由于采用3个网络和1个正向-反向运算,因此该方法比MSWDNet和DDNet所花费的时间要长。然而,与DIOR相比,CROSS可以在适当的时间内带来类似的结果。

表2 MSWDNet、DDNet、DIOR、Cross方法的计算成本(单位:秒)

E.Ablation Study 消融实验

在本节中,基于90°扫描角范围的模拟数据,进行了烧蚀研究,以探讨所提出的CROSS框架的不同模块的影响。

以FED-INet[47]为基准模型。然后在基线中加入结构增强模块,建立第一个比较模型(SS-Net)。接下来,将y3=y⊕y1的DC和图像域网络(ID-Net)引入到第一个比较模型中,构建第二个比较模型。此外,与第二次比较不同的是,我们使用(1)中与ResNet学习到的DC (LDC)来创建第三次比较模型。最后,采用(2)中的RDC和残差空间网络构建第四个比较模型CROSS。

表3给出了渐进式消融研究的定量评价。可以看出,SS-Net在PSNR和SSIM方面比基线模型得分更高,因为SES-Net可以加强组织保存。同时,在DC和ID-Net的辅助下,第三种模型在CT值和图像特征上进一步提升了重建结果。用最不发达国家取代最不发达国家,第四种模型可以加强最不发达国家的约束,并导致所有评估的改进。值得注意的是,所提出的CROSS方法在所有比较模型中获得了最好的评价,证明了RDC和剩余空间处理的有效性。

表3消融研究的定量评价

此外,为了探索CROSS中不同成分的作用机理,对各种比较模型的重构结果进行了论证。基线模型可以恢复大部分组织特征并去除伪影,这在[47]中得到了验证。在结构增强模块的帮助下,SS-Net在细节恢复方面表现更好[如图9(c )中红圈所示]。然而,第三种模型在重建图像中引入了一些不均匀的伪影[如图9(d)中蓝色箭头所示],这可能是由于DC的不准确造成的。在投影域中增加一个ResNet后,第四种模型可以克服前一种模型的缺点,在边缘保存方面取得更好的效果[如图9(e)中绿色箭头所示]。最后,CROSS生成的图像最令人印象深刻,特别是对于衰减系数较大的区域[如图9(f)中的黄色椭圆所示]。

图9所示。
扫描角度范围为90°的不同模块模拟数据集重建结果。(a)参考。(b)基线模式。© SS-Net。(d) + DC + ID-Net。(e) + LDC + ID-Net。(f)。显示窗口为[−240,160]HU。

Conclusion

与现有方法[43]、[44]、[47]相比,深度迭代重建方法显示出显著的优越性。然而,这些方法在应用于实际CBCT成像时经常遇到两个问题,即内存受限[43],[44]和运行时间较长[47]。同时,基于混合域的方法也可以产生高质量的结果[33],[61],并且易于在适当的时间内用于三维成像。因此,基于混合域方法,我们开发了一种有限角度CT的CROSS重建方法,以获得与深度迭代方法相似的结果。与[33]不同的是,我们的CROSS框架交替利用网络在图像域和投影域对CT图像进行改进。此外,残差空间处理可以进一步提高CROSS在组织修复中的应用。此外,结构增强模块的使用也促进了重建图像的提升。在不同的扫描角度范围内对仿真数据和实际数据进行了验证。与现有方法相比,CROSS框架在伪影减少和边缘保存方面表现良好。

有一些与该方法类似的工作。例如,为了克服深度学习的不稳定性,Wu等人提出了一个结合深度学习和压缩感知理论[37],[38]的ACID框架。ACID的关键思想是利用预训练的网络对残差图像进行约束。受其启发,更先进的作品被开发为稀疏视图CT[39],[40]。该方法中使用的RDC也受到了ACID的启发,并应用于有限角CT。然而,为了进一步提高边缘保存,我们提出的方法采用了更有效的SS-Net。

尽管CROSS方法在有限角度CT重建方面取得了令人鼓舞的进步,但仍有一些问题需要注意。首先,SS-Net中使用的TE可能不是最优方案。因此,如何构建CT图像的纹理图和细节图仍然是一个有待解决的问题。其次,RDC为CROSS带来了改进。然而,在投影域评估重建图像与地面真值之间的距离仍然存在一定的误差。如何有效地保证直流供电仍然是一个具有挑战性的问题。最后,由于结构的提取,SS-Net中的噪声会被放大,这可能会对所提方法的性能产生负面影响。因此,如何避免CROSS中的噪声放大应引起重视。

在有限角度CT问题中,基于dl的方法表现出比传统重建方法更优越的性能。然而,这些方法大多侧重于模拟数据或临床前数据,无法令人信服地验证其在实际病例中的实用性。因此,将DL方法应用于临床有限角度成像还有很长的路要走。

更多推荐

【论文阅读】CROSS:基于跨域残差优化的有限角度CT结构强化重建

本文发布于:2024-02-06 10:17:49,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1748137.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:角度   结构   论文   跨域残差   CROSS

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!