[课程项目] 深度学习: 由诊断结论生成正側面胸部CT/X光图像

摘要:这是一个深度学习的课程项目。我们用医生的X光胸片报告作为输入,最终输出高分辨率(256*256)的正側面X光胸片图。网络中多层conditional GAN的结构可以帮助我们依次获得更高分辨率的胸片图。结构主要包括了Bilateral LSTMs; Conditional GAN; Siamese Network。点击这里查看pdf版报告。

背景:这是阳形意和我的ECE 271B期末课程项目。我们的网络可以用医生的X胸片检查报告单(检查所见+诊断建议)来生成高分辨率和统一的胸片正面和侧面,可以解决医学生X光胸片诊断训练中样本不足、无特殊对应症状的难题。

胸片诊断训练示意说明

模型结构:总体结构的草图如下。首先根据诊断意见,我们使用了Hierarchical Attentional Encoder (Attentional Word-level LSTM + Attentional Sentence-level LSTM)将它转换成一个向量c。然后将其作为第一层两个GAN的输入,产生32*32的正侧面X光胸片。第二层由第一层Generator的结果和向量c作为输入,经过conditional GAN生成64*64的图片。由此共四层最终生成256*256的胸片。数据方面使用的是Open-iMIMIC-CXR两个databases.

图一:总体结构

图二:LSTM

图三:conditional GAN图四:Siamese Network

损失函数:损失函数由三部分构成:

\begin{equation}
\min_{G^{(1,\dots,n)}} \max_{D^{(n)}} L_{adv}+\lambda_{cont} L_{cont}+\lambda_{vc}L_{vc} \label{total loss}
\end{equation}

Adversarial Loss (Improved Wasserstein GAN loss with gradient penality); Content Loss (pixel wise difference); Bi-planer View Consistency Loss

他们具体分别是

\begin{equation}
L_{adv} = \mathbb{E}_{x^{(n)}\sim \mathbb{P}_{data}}[D^{(n)}(x^{(n)}|\mathbf{c})]-\mathbb{E}_{\hat{x}^{(n)}\sim \mathbb{P}_{G}}[D^{(n)}(\hat{x}^{(n)}|\mathbf{c})]\\
+\lambda_{gp}[(|D^{(n)}(\gamma\hat{x}^{(n)}+(1-\gamma)x^{(n)}|\mathbf{c})|_2-1)^2]
\end{equation}

\begin{equation}
L_{cont}=\frac{1}{2}|\hat{x}^{(n)}-x^{(n)}|^2
\end{equation}

\begin{equation}
L_{vc}=y\log(\hat{y}(x^{(n)}_p,x^{(n)}_l))+(1-y)\log(1-\hat{y}(x^{(n)}_p,x^{(n)}_l))
\end{equation}

where \(\lambda_{gp}= 10\) is a penalty coefficient and \(\gamma \sim \mathcal{G}(0,1)\) is random mixing coefficient to blend the real and fake images.

实验结果:

图五:生成图像示例
图六:Evaluation Metrics
点赞

发表评论

电子邮件地址不会被公开。必填项已用 * 标注