自发性脑出血(spontaneous intracerebral hemorrhage，SICH)是一种高发病率的神经系统急症，年发病率为24.6/10⁵，并且据估计，12%～39%的患者在首次发病后有复发的风险^[1]。在高收入国家中SICH占脑卒中的9%～13%，在中国呈现更严峻的上升趋势，据估计目前在脑卒中的占比已达到25%^[2]。与其他脑卒中亚型相比，SICH具有高死亡率，高致残率的特点^[3]，患者一年生存率仅46%^[4]，且幸存者常伴有暂时性或永久性残疾。在自发性脑出血患者中，出血位置、血肿体积和周围水肿的体积会影响脑出血后血肿扩张，在脑出血诊疗决策中扮演重要角色，与患者的预后密切相关^[5]。脑出血后血肿扩张发生时间以发病后6 h内最多，6 ～24 h次之，超过24 h后发生率很低^[6]。因此，快速识别和量化出血区域是对自发性脑出血患者进行及时治疗干预的必要条件。

在出血区域的检测和诊断中，磁共振成像（MRI）和计算机断层扫描（CT）是广泛使用的成像方式。尽管MRI比CT更早用于脑卒中的诊断中，但CT成像以其速度快、成本低、且能够获得合理良好的对比图像以进行精确的研究的优良特性而使用更为广泛^[7]。目前，手动标记分割仍然是从CT图像中获取出血区域血肿体积的金标准^[8]。但是这种方法不仅费时费力且效率低下，同时由于大多数患者血肿边界的确定并不十分明确，存在较大的测量者个体及个体间分割误差，且严重依赖医生的经验，以上缺点常常会导致检测准确率下降。因此，基于计算机算法的自动识别分割方法不仅可以减少人工分割的主观误差，且省时省力，能有效地辅助临床诊疗决策。

对此，已有众多工作者进行了大量的研究，致力于开发高效自动的脑CT图像识别和分割技术。其中深度学习近年来在图像的检测、分类和分割等诸多任务中成绩显著^[9]。LONG等^[10]在2015年提出全卷积网络（fully convolutional network, FCN），FCN将传统CNN网络末尾的全连接层替换为卷积层，可以实现任意与输入图像尺寸相同的输出，产生较为准确的分割结果。FCN网络有三种结构，分别是FCN-32s、FCN-16s和FCN-8s，其中FCN-8s网络的分割效果最好^[11]。RONNEBERGER等^[12]在FCN的基础上进行改进和拓展后提出Unet，Unet的网络结构完全对称，主要包含编码-解码结构和跳跃连接两部分，其融合上下文特征和细节特征在一定程度上提高了分割准确度。Unet适用于各种生物医学图像的分割问题，且赢得2015年国际生物医学成像研讨会（ISBI）细胞追踪挑战赛。ZHOU等^[13]在2018年提出的Unet++网络是将Unet编码器与解码器之间的直接跳跃连接部分调整为嵌套的密集跳跃连接，缩短编码器与解码器之间的语义鸿沟。Unet++网络在炭疽芽孢杆菌检测和分割^[14]以及充血性心力衰竭诊断^[15]等场景中得到应用，但仍不能从多尺度特征中探索足够的信息。这些网络在语义分割领域发挥着重要作用，但FCN网络没有充分考虑像素与像素之间的关系，忽略了在通常的基于像素分类的分割方法中使用的空间规整（spatial regularization）步骤，缺乏空间一致性。患者脑CT图像出血区域和非出血区域在灰度特征上具有较高的相似性，且既往类似研究的实验样本相对较少^[16]，由于Unet（Base）网络的结构简单，出血区域的特征提取能力不足，导致其模型训练易出现过拟合现象，且分割结果相对较差。鉴于此，本研究提出了一种改进型Unet网络，并将其用于脑CT图像出血区域的识别与分割，对颅内不同大小和位置的疑似出血区域实现端到端的全自动识别分割，以期为自发性脑出血患者的CT图像出血区域的识别和分割提供一种可能的方法，以辅助临床诊疗决策，改善患者预后。

1.   资料与方法

1.1   研究对象

回顾性选择2018年1月−2019年6月因自发性脑出血于四川大学华西医院神经外科就诊患者，纳入与排除标准为：①采取手术治疗的自发性脑出血患者；②手术治疗前有头部CT影像检查，影像检查数据完整且为标准的Dicom格式，有完整的标记参数；③排除脑血管畸形破裂、创伤后脑出血、蛛网膜下腔出血、硬膜外出血、硬膜下出血的患者。共纳入研究对象117例，其中男性40例，女性77例。年龄主要分布在45～90岁，45岁以下3例，45～90岁112例，90岁以上2例，平均年龄为67.2岁，中位年龄为67岁。本研究经过四川大学华西医院生物医学伦理审查委员会批准（2020年审第716号）。

1.2   数据来源及处理

本研究共收集CT影像资料476份，所用数据由专业临床医生基于ITK-SNAP 3.8软件对出血区域进行手动标记和划分，以此作为本研究提出的算法分割结果的参考标准。为满足本研究所用Unet网络的数据格式需求，在实验前对CT图像数据做进一步预处理。首先利用区域生长法提取图像中的脑实质区域，原图对应标签图进行二值化处理；接着使用图像裁剪工具对原图和对应标签二值图进行同等裁剪，将裁剪后的图像尺寸缩放为416×416大小；最后通过数据清洗去除因脑实质提取不完整等因素受影响的图像。

调用random.shuffle函数，即采用随机排序的方式，选取纳入研究的106例患者的430份影像样本进入训练集、11例患者的46份影像样本进入测试集，将所有Dicom格式样本转换为Png格式图像。随后对原始图像A1进行脑实质提取处理得到A2图像，对A1对应的金标准图像B1进行掩膜处理得到B2图像，并将处理后的数据进行同等裁剪和缩放为416×416大小。再通过数据清洗和有监督的单样本数据增强操作^[17]扩大实验数据量，即通过几何变换（此处采用图像n×90°旋转和图像平移操作）生成新的语义不变且不失真的图像^[18]，并使用DropBlock正则化方法^[19]有效避免模型训练过拟合。这样将数据增强后的430×4份数据用于模型训练，生成46×6（清洗无效数据8份）即268份数据用于模型测试。数据处理结果如图1所示。

图  1  处理结果示意图

Figure  1.  Schematic diagram of processing results

A1: Original image; B1: Ground truth image; A2: Original image after extracting brain parenchyma; B2: Ground truth image after mask processing. The first row is A1, B1, A2 and B2 in order, the second row is the result of A2 data augmentation, and the third row is the result of B2 data augmentation.

下载: 全尺寸图片 幻灯片

1.3   改进型Unet网络结构设计

1.3.1   Unet网络

Unet网络采用编码器-解码器（encoder-decoder）的思路，其编码区的层结构主要包括浅蓝色代表的两个3×3卷积层，浅灰色代表的是大小为2×2的最大池化层，解码区的层结构主要包括反卷积层里浅灰色代表的2×2上采样和浅绿色代表的2×2卷积层，浅蓝色代表的两个3×3卷积层，所有卷积均使用整流线性单元（rectified linear unit, ReLU）作为激活函数。Unet网络结构如图2所示。

图  2  Unet网络结构示意图

Figure  2.  Schematic diagram of Unet network

下载: 全尺寸图片 幻灯片

1.3.2   相关工作

本研究在Unet网络中引入残差机制和跨阶段层次结构（CSP），用残差块和CSP组合的RCSP结构替代编码区的2×2卷积，用CBM4结构替代解码区的2×2卷积。本研究RCSP结构采用的残差块用于改变网络拟合的目标，即实现残差机制^[20]，其公式表示为：

式中，x和y分别表示残差块的输入、输出向量，函数F(x,{W_i})表示被训练的残差映射，其中σ(m)表示Mish激活函数。残差块的实现是通过shortcut层，将输入输出向量进行element-wise addition操作，此操作不会增加额外的参数和计算量，且能增加网络的学习速度，提高训练效果^[21]。本研究采用的RCSP结构是在一个阶段中利用通道$ {x_0} = [x_0',x_0''] $将基础层的feature map划分为两部分，前者通过1×1卷积连接到阶段的末尾，后者通过1×1卷积连接到残差块，再从残差块通过1×1卷积连接到阶段的末尾，随后与前者通过张量拼接（concatenate）操作进行特征融合。在Unet网络的编码区中用步长为2的卷积层替代池化层（MaxPooling），旨在减少下采样过程中出血区域特征信息的损失。

本研究在Unet网络中加入特征金字塔（feature pyramid attention, FPA）结构，其具体为：输入X，X通过1×1卷积得到X₁，X通过平均池化、5×5、3×3以及3×3卷积核和扩张率为3、5的卷积得到H(X)，并与X₁相乘，X再通过全局平均池化、1×1卷积以及上采样得到X₂，并与H(X)通道相加，得到输出的F^[22]，其公式表示为：

扩张卷积（dilated convolution）^[23]与普通卷积相比，引入扩张率（dilation rate）参数，用来表示卷积核处理数据时各值的间距。在卷积核大小相同的情况下（即对应神经网络参数量不变），扩张卷积的感受野更大，且不会减少和遗漏感受野的覆盖区域^[16]。扩张卷积在降低计算成本的同时让每个卷积输出都包含较大范围的信息。本文采用的FPA结构使用扩张率为3和5的3×3卷积层。

本研究改进Unet网络的skip connection部分，将不同尺寸特征图的低级语义与高级语义进行融合（concatenate操作），可以有效地减少编码器和解码器间的语义差距。至此，本研究改进的Unet网络结构如图3所示。

图  3  改进型Unet网络结构示意图

Figure  3.  Schematic diagram of improved Unet network structure

RCSP: Residual mechanism and cross stage partial; FPA: Feature pyramid attention; CBM4: Four convolution, batch normalization and mish layers.

下载: 全尺寸图片 幻灯片

1.3.3   Mish激活函数与Dice损失函数

本研究提出的改进型Unet网络采用Mish激活函数和Dice损失函数。

新的激活函数Mish^[24]解决了ReLU会导致非正梯度消失和数据分布不均的问题。Mish激活函数的平滑性允许更好的信息深入神经网络，使模型具有较好的泛化能力和准确性，以提高脑出血分割性能。其公式表示为：

Dice（相关性系数）是医学图像分割任务中最常见的衡量指标，本研究是测量标签和模型分割结果的重叠区域。其公式表示为：

式中，①和②为Dice指标的两种表示方式，公式①中A、B分别代表标签图和分别代表标签图和分割图轮廓区域，公式②中TP、FP、FN分别代表真阳性、假阳性、假阴性的个数。本研究使用的Dice损失函数的公式表示为：

式中，p代表预测图像，r代表标签图像，$ \varepsilon $一般称为平滑系数，起到平滑loss和梯度的作用。本研究使用Dice作为损失函数旨在解决数据中的类不平衡问题，适应背景和脑出血区域非常不平衡的情景^[25]。

1.4   评价指标与方法

本研究采用Dice（相似性系数）、PPV（正向预测系数）和 SC（灵敏度系数）三个指标来衡量改进型Unet网络对脑CT图像出血区域分割的准确率^[25]，并通过与Base网络和FCN-8s网络上述之指标的对比，以验证改进型Unet网络的分割性能的优越性。

Dice评价指标如公式(4)的②所示，用来评估两个轮廓之间相似程度，一般认为Dice>0.7表示模型分割和医生手动分割区域两者的重复度高，分割效果好^[26]。

PPV评价指标表示在实验结果中，正确被分类的正样本在所有被分类为正样本中所占的比例。其公式表示为：

SC评价指标表示在实验结果中，正确被分类的正样本在所有被分类的正样本中所占的比例。其公式表示为：

1.5   统计学方法

采用R 4.0.3软件进行统计分析。使用Shapiro-Wilk方法检验数据是否满足正态分布。根据各评价指标正态性和方差齐性检验的结果，采用Wilcoxon符号秩和检验进行本文提出的改进型Unet网络与其他各网络得到的性能评价指标的统计学检验，并采用Benjamini and Hochberg FDR (BH)方法进行校正，α_双侧=0.05。

2.   结果

2.1   改进型Unet网络的参数设置和分割效果

本研究实验采用显卡配置为NVIDIA Quadro RTX 4000的Windows操作系统和Keras深度学习框架搭建实验环境，在Pycharm软件上运行。具体实验网络代码可通过通讯作者获取。

本研究所有实验的网络输入的图像形状均为416×416×1，位深度均为8，均使用Adam优化器优化神经网络。根据图形处理器显存和图像数据尺寸，为提高网络训练效率，以及为模型在训练后期更加稳定，通过大量调参实验对比，得到以下较优的网络参数经验值：所有网络的训练样本数batch_size设为3，根据参数间关联设定每轮网络训练的训练次数steps_per_epoch为573（即数据集样本数/batch_size=430*4/3），总训练轮数epochs设为240（网络总迭代次数为137520），学习率初始化为0.00004，使用exponential_decay函数实现指数突变衰减学习率，其中衰减速度decay_steps设为8595，衰减系数decay_rate设为0.8（网络每迭代8595次即15轮学习率下降20%）。

本研究改进的Unet网络训练的Loss曲线和Accuracy曲线变化如图4所示。

图  4  Loss曲线和Accuracy曲线变化图

Figure  4.  Loss and Accuracy curves

下载: 全尺寸图片 幻灯片

2.2   改进型Unet网络和FCN-8s网络、Base网络以及Unet++网络的分割效果对比

图5为本研究提出的改进Unet网络和FCN-8s网络、Base网络以及Unet++网络的分割效果示意。

图  5  FCN-8s、Base、Unet++和本文改进型Unet网络分割结果示意图

Figure  5.  Schematic diagram of FCN-8s, Base Unet，Unet++ and improved Unet segmentation results

下载: 全尺寸图片 幻灯片

2.3   多项对比实验结果

本研究使用的实验网络包括FCN-8s网络、Unet++网络、以使用Mish激活函数与Dice损失函数的Unet网络为基准（Base），在此基础上加入RCSP结构与CBM4结构（Base+RCSP+CBM4），并分别加入FPA结构（Base+RCSP+CBM4+FPA）与多尺度特征跳跃连接（Base+RCSP+CBM4+Multi），以及本研究提出的改进Unet网络（Base+RCSP+CBM4+FPA+Multi）。所有网络的性能评价指标参照本文1.4节，最终实验结果如表1所示。

表  1  实验网络数据对比

Table  1.  Data comparison in the experimental network

Item	Dice				PPV				SC
	Median (P25, P75)	$ \bar x \pm s $	P*		Median (P25, P75)	$ \bar x \pm s $	P*		Median (P25, P75)	$ \bar x \pm s $	P*
Ours	0.91 (0.85, 0.94)	0.87±0.11	−		0.93 (0.88, 0.96)	0.90±0.09	−		0.91 (0.84, 0.96)	0.86±0.15	−
FCN-8s	0.86 (0.75, 0.91)	0.79±0.20	<0.001		0.89 (0.80, 0.94)	0.83±0.18	<0.001		0.86 (0.70, 0.94)	0.78±0.22	<0.001
Base	0.91 (0.81, 0.94)	0.83±0.20	<0.001		0.93 (0.84, 0.97)	0.86±0.21	0.373		0.90 (0.81, 0.95)	0.82±0.21	<0.001
Base+RCSP+CBM4	0.90 (0.81, 0.93)	0.84±0.16	<0.001		0.91 (0.82, 0.96)	0.86±0.16	<0.001		0.90 (0.80, 0.94)	0.84±0.18	<0.001
Base+RCSP+CBM4+Multi	0.89 (0.83, 0.93)	0.85±0.14	<0.001		0.92 (0.85, 0.96)	0.88±0.14	0.003		0.89 (0.79, 0.94)	0.84±0.16	<0.001
Unet++	0.90 (0.84, 0.94)	0.85±0.14	0.001		0.92 (0.87, 0.95)	0.88±0.12	0.024		0.92 (0.80, 0.96)	0.84±0.16	0.001
Base+RCSP+CBM4+FPA	0.90 (0.82, 0.94)	0.86±0.14	0.195		0.93 (0.85, 0.96)	0.88±0.13	<0.001		0.90 (0.81, 0.96)	0.86±0.16	0.249
* Median (P25, P75) data, vs. Ours

下载: 导出CSV 

| 显示表格

在表1中，所有网络的训练参数一致，该表展示了各项实验在本研究所用CT图像数据集上的脑出血区域分割性能。本研究改进Unet网络的Dice、PPV和SC三项指标均值分别为0.873 8、0.901 1和0.864 8，相较于Base网络的数值分别为0.828 3、0.856 7和0.823 4的三项指标，分别提升4.56%、4.44%和4.15%。同时可以看出，本研究提出的改进型Unet网络的性能表现明显优于FCN-8s网络，Dice、PPV和SC这三项指标分别提升8.80%、7.14%和8.96%；相较于Base+RCSP+CBM4网络和Base+RCSP+CBM4+Multi网络，Dice、PPV和SC三项指标均有明显提升（分别提升3.23%、4.05%和2.71%，以及2.36%、2.28%和2.32%）；相较于Unet++网络，Dice和SC两项指标分别提升2.35%、2.11%；相较于Base+RCSP+CBM4+FPA网络，PPV指标提升1.96%。从表1中的P值可见，上述性能提升均有统计学意义，提示本研究提出的基于Unet网络的改进方法对出血区域的分割效果有效。

3.   讨论

在自发性脑出血患者中，对脑CT图像中出血区域进行快速、准确的识别与分割是进行诊疗决策的关键步骤，对于预防血肿的早期扩张，改善患者预后，从而降低死亡率和伤残率具有至关重要的意义。目前，采用3D-DenseNet网络的脑出血区域分割方法准确率为82%左右^[27]，采用Faster R-CNN网络与LGLP模型结合的脑出血区域分割算法性能较好，但人为标注对分割效果影响较大且时间成本高^[28]。本研究通过将改进型Unet网络用于脑CT图像中出血区域识别与分割，并通过与Base网络、FCN-8s网络和Unet++网络分割性能的对比，验证了改进型Unet网络对于脑CT图像中出血区域具有良好的识别与分割性能，是进行自发性脑出血患者CT图像出血区域分割的一种适用方法，对于辅助临床决策和预防早期血肿扩张具有潜在应用价值。

本研究方法改进Unet网络的编码-解码区结构，引入残差机制，能有效避免因出血区域尺寸不一和出血区域细节信息在经过多层卷积后易消失，出现训练过拟合导致模型性能退化的问题，同时开创性地将神经网络的层数提高。引入跨阶段层次结构（CSP）^[29]，通过分割梯度流，让梯度流在不同的网络路径中传播后再合并，本研究采用的RCSP结构增强了网络的学习能力，使得模型在轻量化的同时保持准确性，降低了模型训练的计算瓶颈和内存成本。本研究方法在Unet网络的编码-解码区结构之间，引入特征金字塔注意力机制，融合多尺度信息，将更多的关注点放在高维特征上，挖掘脑CT图像样本的困难信息。采用多尺度特征跳跃连接，避免语义上有较大差异的编码区的低层次特征与解码区的高层次特征进行直接拼接，有助于网络还原下采样所带来的信息损失。本研究方法改进Unet网络的激活函数和损失函数，采用避免非正梯度消失和数据分布不均问题出现的Mish激活函数，采用Dice损失函数，能更好地适应背景和脑出血区域非常不平衡情景。

同时需要指出的是，本研究提出的改进方法虽进一步提升了Unet模型对患者颅内疑似出血区域的分割性能，但模型分割精度仍有一定的提升空间，且本研究实验数据处理中进行了脑实质提取操作，若使用未提取脑实质的CT图像数据去训练网络或许能进一步提升模型的泛化能力，这些是在未来科研中需要研究和解决的内容。

*　　　　*　　　　*

利益冲突　所有作者均声明不存在利益冲突