基于深度主动学习的眼底图像左右眼识别方法与流程

本发明属于计算机视觉领域以及医疗影像领域，涉及一种眼底图像左右眼识别的方法，具体涉及一种基于深度主动学习的眼底图像左右眼识别方法。

背景技术：

眼底照相是检查玻璃体、视网膜、脉络膜和视神经疾病的重要方法，许多全身性疾病如高血压病、糖尿病等均会发生眼底病变，因此眼底图像是一种重要诊断资料。基于眼底图像进行左右眼的区分识别是大量后续任务的必要基础，主要依据眼底视神经盘和黄斑的相对位置，以及视网膜中央动脉的弯曲方向进行左右眼的区分识别。若在眼底图像上能够清楚地辨认出眼底视神经盘与黄斑的位置，且以黄斑中心凹为拍摄视野的中心，成像至少涵盖45度视网膜区域，眼底视神经盘位于黄斑左侧，视网膜中央动脉左凸，则为左眼主视野眼底图像，反之则为右眼主视野眼底图像。

近年来，随着深度学习的不断发展，尤其是卷积神经网络在模式分类上的优异表现，使得越来越多的图像分类任务能够实现高效自动化。一些研究已将卷积神经网络应用于眼底图像左右眼识别的任务中。

然而，目前的左右眼识别模型对数据的依赖性较强，仅仅对图像质量较好的主视野眼底图像具有较强的识别能力。在现实情况中，由于拍摄仪器、光照、技术、角度等原因，可能出现难以辨别左右眼的非主视野眼底图像，如眼底视神经盘位于图像中央位置且黄斑位置较难辨认的图像，一般的左右眼识别模型很难在这些难样本上具有强泛化与高精度的识别表现。

技术实现要素：

为解决上述问题，提供一种能够针对识别难度相对较大的非主视野眼底图像完成精确的左右眼识别的眼底图像左右眼识别方法，本发明采用了如下技术方案：

本发明提供了一种基于深度主动学习的眼底图像左右眼识别方法，其特征在于，包括如下步骤：步骤s1，对待测图像进行预处理获得预处理图像；步骤s2，将预处理图像输入至少用于对主视野眼底图像以及非主视野眼底图像进行左右眼识别的眼底图像左右眼识别模型从而得到待测图像的左右眼分类结果，其中，眼底图像左右眼识别模型通过如下方法训练获得：步骤t1，构建初始眼底图像识别模型；步骤t2，将多张已标注的主视野眼底图像作为训练集输入构建好的初始眼底图像识别模型进行模型训练并得到主视野眼底图像识别模型；步骤t3，采用主动学习方法并利用主视野眼底图像识别模型从多张未标注的眼底图像中选出非主视野眼底图像作为难样本；步骤t4，将难样本进行人工标注后作为增加的训练集对主视野眼底图像识别模型进行模型训练并得到眼底图像左右眼识别模型。

本发明提供的基于深度主动学习的眼底图像左右眼识别方法，还可以具有这样的技术特征，其中，步骤t2的训练部分包括如下步骤：步骤t2-1，将训练集中的各个训练图像依次输入构建好的眼底图像左右眼识别模型并进行一次迭代；步骤t2-2，采用最后一层的模型参数分别计算出损失误差并将损失误差反向传播从而更新模型参数；步骤t2-3，重复步骤t2-1至步骤t2-2直至达到训练完成条件，得到训练后的初始眼底图像左右眼识别模型。

本发明提供的基于深度主动学习的眼底图像左右眼识别方法，还可以具有这样的技术特征，其中，步骤t4包括如下子步骤：步骤t4-1，给定步骤s2训练完成的主视野眼底图像左右眼识别模型；步骤t4-2，依次获取一批增加的训练集中的训练图像并输入主视野眼底图像左右眼识别模型进行一次迭代；步骤t4-3，采用最后一层的模型参数分别计算出损失误差并将损失误差反向传播从而更新模型参数；步骤t4-4，重复步骤t4-2至步骤t4-3直至达到训练完成条件，得到训练后的眼底图像左右眼识别模型；步骤t4-5，利用验证集对训练后的眼底图像左右眼识别模型进行模型效果的检验，若分类准确度达到则得到最终的眼底图像左右眼识别模型，若分类准确度未达到则重复步骤t3至步骤t4直至分类准确度达到。

本发明提供的基于深度主动学习的眼底图像左右眼识别方法，还可以具有这样的技术特征，其中，分类准确率的为正确分类的眼底图像数量与总数之比在95％以上。

本发明提供的基于深度主动学习的眼底图像左右眼识别方法，还可以具有这样的技术特征，其中，眼底图像左右眼识别模型的输出为分别表示该图像被识别为左眼和右眼的概率得分，若左眼得分大于右眼得分则左右眼分类结果为左眼，若右眼得分大于左眼得分则左右眼分类结果为右眼。

本发明提供的基于深度主动学习的眼底图像左右眼识别方法，还可以具有这样的技术特征，其中，眼底图像左右眼识别模型包括依次设置的输入层、卷积层、最大池化层、3个残差模块c1、4个残差模块c2、6个残差模块c3、3个残差模块c4、平均池化层、全连接层以及softmax归一化层。

发明作用与效果

根据本发明的基于深度主动学习的眼底图像左右眼识别方法，因为通过已标注的主视野眼底图像对进行初始模型进行训练，所以使得模型初步具有对主视野眼底图像的准确识别性能，进一步，采用主动学习方法并利用训练后的主视野眼底图像识别模型识别未标注的眼底图像，因此能够方便且准确地获取到最有价值及代表性的非主视野眼底图像，通过人工标注并将这些非主视野眼底图像作为增加的训练集对主视野眼底图像识别模型进行再一次的训练，能够有效地提高模型对非主视野眼底图像等难样本的识别效果，从而获得了能够同时对主视野眼底图像以及非主视野眼底图像同时进行高精度识别的眼底图像识别模型。根据本发明提供的基于深度主动学习的眼底图像左右眼识别方法，能够通过眼底图像左右眼识别模型高效地识别由不同拍摄仪器、光照、技术、角度得到的眼底图像，具有强泛化和高精度的优势。

附图说明

图1是本发明实施例中主视野眼底图像与非主视野眼底图像的示意图；

图2是本发明实施例中基于深度主动学习的眼底图像左右眼识别方法的流程图；

图3是本发明实施例中眼底图像左右眼识别模型的模型训练步骤的流程图；

图4是本发明实施例中眼底图像左右眼识别模型的结构示意图；以及

图5是本发明实施例中眼底图像左右眼识别模型的残差模块结构图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的基于深度主动学习的眼底图像左右眼识别方法作具体阐述。

<实施例>

本实施例中，基于深度主动学习的眼底图像左右眼识别方法通过一台计算机运行，该计算机需要一张显卡进行gpu加速从而完成模型的训练过程，训练完成的眼底图像左右眼识别方法的模型以及图像识别过程以可执行代码的形式存储在计算机中。

本实施例中，采用的数据集由两位专业医生对眼底图像进行左右眼标注得到，包括训练集和验证集。其中，训练集包含1.2万张左眼图像，1.4万张右眼图像，共计2.6万张训练数据，用于初始模型训练；验证集包含主视野左右眼图像各80张，非主视野左右眼图像分别为68张和72张，共计300张验证数据，用于模型效果的检验。另外，本实施例还采用了一个无标注的左右眼底图像数据集。主视野眼底图像与非主视野眼底图像的示例如图1所示。

图2是本发明实施例中基于深度主动学习的眼底图像左右眼识别方法的流程图。

如图2所示，基于深度主动学习的眼底图像左右眼识别方法100包括如下步骤：

步骤s1，对待测图像进行预处理获得预处理图像。

本实施例中，预处理包括尺寸调整、中心裁剪以及标准化操作。

步骤s2，将步骤s1处理得到的预处理图像输入预先训练获取的眼底图像左右眼识别模型从而得到待测图像的左右眼分类结果，

本实施例中，眼底图像左右眼识别模型为预先通过模型训练步骤训练获得并存储在计算机中，计算机可以通过可执行代码调用该模型并同时批量处理多张眼底图像，得到并输出每张眼底图像的左右眼分类结果。

本实施例中，眼底图像左右眼识别模型的输出维数为二维，分别表示该图像被识别为左眼和右眼的概率得分，若左眼得分大于右眼得分则判断该眼底图像的左右眼分类结果为左眼，反之，则该眼底图像的左右眼分类结果为右眼。

图3是本发明实施例中眼底图像左右眼识别模型的模型训练步骤的流程图。

如图3所示，模型训练步骤具体包括如下步骤：

步骤t1，构建初始眼底图像识别模型。

本实施例的初始眼底图像左右眼识别模型的各层包含不同的模型参数，这些模型参数在构建时为随机设置。

本实施例中，初始眼底图像模型以残差网络resnet34模型为骨干，利用现有的深度学习框架pytorch完成模型的搭建。同时，该模型采用残差模块来加深网络层数，能够表达图像中的高层特征，因此在图像分类任务上有着优异的表现。本实施例的模型由残差模块(卷积层)、池化层、激活层以及批量归一化层(batchnormalization)组成，具体结构将在后文详述。

步骤t2，将多张已标注的主视野眼底图像作为训练集输入构建好的初始眼底图像识别模型进行模型训练并得到主视野眼底图像识别模型。

本实施例的步骤t2中，将训练集中的图像分批次进入网络模型进行训练，每次进入网络模型的训练图像批次大小为32，一共迭代训练20次。该步骤t2包括如下子步骤：

步骤t2-1，将训练集中的各个训练图像依次输入构建好的眼底图像左右眼识别模型并进行一次迭代；

步骤t2-2，迭代后，采用最后一层的模型参数分别计算出损失误差，然后将计算得到的损失误差反向传播，从而更新模型参数；

步骤t2-3，重复步骤t2-1至步骤s2-2直至达到训练完成条件，得到训练后的初始眼底图像左右眼识别模型。

上述的模型训练过程中，每次迭代(即训练图像通过模型)后，模型的最后一层的模型参数会分别计算出损失误差(即交叉熵损失crossentropyloss)，然后将计算得到的损失误差反向传播，采用随机梯度下降算法进行参数优化，学习率为0.001，从而更新模型参数。另外，模型训练的训练完成条件与常规的卷积神经网络模型相同，即各层的模型参数收敛后就完成训练。

本实施例中，在步骤t2完成训练后，将得到的主视野眼底图像左右眼识别模型在验证集上进行验证，实验结果显示，对于160张主视野眼底图像，主视野眼底图像左右眼识别模型的识别准确率达到100％，即初始模型能够完全正确地识别主视野眼底图像；然而对于140张非主视野眼底图像，初始眼底图像左右眼识别模型的识别准确率仅达到48.57％。

步骤t3，采用主动学习的方法利用主视野眼底图像识别模型从多张未标注的眼底图像中选出非主视野眼底图像作为难样本。

本实施例中，在步骤t3中，利用步骤s2得到的主视野眼底图像识别模型对另一个包含2万张无标注的眼底图像数据集进行左右眼识别，得到每张图像的左右眼概率得分，进一步根据左右眼概率得分得到相应的非主视野眼底图像。

例如，假设只考虑左眼概率得分，令得分为1表示左眼，得分为0表示右眼，那么挑选出左眼得分在0.4到0.6之间的眼底图像，即初始模型对其识别把握度不高的眼底图像，就能获得非主视野眼底图像。本实施例共采集了140张，经人工检查，这些眼底图像主要属于眼底视神经盘位于图像中央位置且黄斑位置较难辨认的非主视野眼底图像。

步骤t4，将难样本进行人工标注后作为增加的训练集，并利用该增加的训练集对主视野眼底图像识别模型进行模型训练，从而得到眼底图像左右眼识别模型。

本实施例中，步骤t4中被训练的主视野眼底图像识别模型的各层同样包含不同的模型参数，这些模型参数为在步骤s2中模型完成训练后各层的模型参数。将上述增加的训练集中的图像分批次进入网络模型进行训练，每次进入网络模型的训练图像批次大小为32，一共迭代训练20次。该步骤t4包括如下子步骤：

步骤t4-1，给定步骤s2训练完成的主视野眼底图像左右眼识别模型；

步骤t4-2，依次获取一批增加的训练集中的训练图像并输入主视野眼底图像左右眼识别模型进行一次迭代；

步骤t4-3，迭代后，采用最后一层的模型参数分别计算出损失误差，然后将计算得到的损失误差反向传播，从而更新模型参数；

步骤t4-4，重复步骤t4-2至步骤t4-3直至达到训练完成条件，得到训练后的眼底图像左右眼识别模型；

步骤t4-5，利用验证集，对训练后的眼底图像左右眼识别模型进行模型效果的检验，若分类准确度达到标准则得到最终的眼底图像左右眼识别模型，若分类准确度未达到标准则重复步骤t3至步骤t4直至分类准确度达到标准。

本实施例的步骤t4-5中，分类准确度的标准为正确分类的眼底图像数量与总数之比在95％以上。若分类度未达到标准，则需要通过步骤t3再次筛选更多的非主视野眼底图像，并再次通过步骤t4-1至步骤t4-4进行训练，最终使得分类准确度达到标准，

上述模型训练过程中，每次迭代(即增加的训练集图像通过模型)后，最后一层的模型参数分别计算出损失误差(crossentropyloss交叉熵损失)，然后将计算得到的损失误差(crossentropyloss)反向传播，从而更新模型参数。另外，模型训练的训练完成条件与常规的卷积神经网络模型相同，即各层的模型参数收敛后就完成训练。

经过上述迭代训练并在迭代过程中进行误差计算和反向传播的过程，即可获得训练完成的眼底图像左右眼识别模型。

将最终得到的眼底图像左右眼识别模型在验证集上进行验证，实验结果显示，对于160张主视野眼底图像，经过主动学习训练后的眼底图像左右眼识别模型的识别准确率达到100％，即模型能够完全正确地识别主视野眼底图像；对于140张非主视野眼底图像，经过主动学习训练之后的眼底图像左右眼识别模型的识别准确率达到95.71％，相较初始模型的识别效果提升了47.14％，即主动学习的训练策略使得眼底图像左右眼识别模型能够以较高的准确率识别非主视野眼底图像。最终的眼底图像左右眼识别模型能够以较高的准确度识别主视野眼底图像与非主视野眼底图像。本实施例采用该最终的眼底图像左右眼识别模型进行眼底图像的左右眼识别任务。

本实施例中，眼底图像左右眼识别模型学习到的是眼底图像中视网膜中央动脉的弯曲方向，根据这一特征来进行左右眼的识别。

图4是本发明实施例中眼底图像左右眼识别模型的结构示意图。

如图4所示，眼底图像左右眼识别模型的具体结构包括依次设置的输入层i、卷积层c0、最大池化层、3个残差模块c1、4个残差模块c2、6个残差模块c3、3个残差模块c4、平均池化层、全连接层、softmax归一化层。眼底图像左右眼识别模型的具体结构如下：

(1)输入层i，用于输入原始眼底图像，经过尺寸调整、中心裁剪和归一化等图像预处理操作，得到尺寸为512×512×3的归一化图像；

(2)卷积层c0，卷积核大小为7×7，滑动步长为2，输出为256×256×64；

(3)最大池化层，池化大小为3×3，滑动步长为2，输出为128×128×64；

(4)多个残差模块，包括3个残差模块c1(卷积核大小为3×3，滑动步长为2，输出为128×128×64)、4个残差模块c2(卷积核大小为3×3，滑动步长为2，输出为64×64×128)、6个残差模块c3(卷积核大小为3×3，滑动步长为2，输出为32×32×256)、3个残差模块c4(卷积核大小为3×3，滑动步长为2，输出为16×16×512)；

(5)平均池化层，在每个维度上求平均，输出为1×1×512；

(6)全连接层，进行矩阵变换，输出为1×2；

(7)softmax归一化层，利用softmax函数将输出值归一化至0-1之间，可看作图像被识别为左眼和右眼的概率得分。

上述眼底图像左右眼识别模型的残差模块中，如图5所示，每一个卷积层之后都做批量归一化操作。

实施例作用与效果

根据本实施例提供的基于深度主动学习的眼底图像左右眼识别方法，因为通过已标注的主视野眼底图像对进行初始模型进行训练，所以使得模型初步具有对主视野眼底图像的准确识别性能，进一步，采用主动学习方法并利用训练后的主视野眼底图像识别模型识别未标注的眼底图像，因此能够方便且准确地获取到最有价值及代表性的非主视野眼底图像，通过人工标注并将这些非主视野眼底图像作为增加的训练集对主视野眼底图像识别模型进行再一次的训练，能够有效地提高模型对非主视野眼底图像等难样本的识别效果，从而获得了能够同时对主视野眼底图像以及非主视野眼底图像同时进行高精度识别的眼底图像识别模型。根据本发明实施例提供的基于深度主动学习的眼底图像左右眼识别方法，能够通过眼底图像左右眼识别模型高效地识别由不同拍摄仪器、光照、技术、角度得到的眼底图像，具有强泛化和高精度的优势。

另外，实施例中，由于眼底图像左右眼识别模型基于深度卷积神经网络resnet34模型，因此能够表达图像的高层特征，有利于图像分类任务。同时，还由于眼底图像左右眼识别模型仅基于深度卷积神经网络resnet34模型，因此模型结构简单，不需要使用模型混合、多任务训练以及度量学习等方法就能够完成主视野眼底图像以及非主视野眼底图像的高精度识别，所以，本实施例的模型构建快速方便，训练集也不需要过多数据就能够实现训练，因此训练过程可以快速完成，且训练消耗的计算资源也较少。

上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。