卷積神經網絡下的病理細胞核分割范文

本站小編為你精心準備了卷積神經網絡下的病理細胞核分割參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要:針對病理圖像中細胞核的精準分割問題，結合全卷積網絡框架和高分辨率網絡框架的特點，提出一種卷積網絡對細胞核進行自動精準地分割;基于稀疏非負矩陣分解的方法將具有嚴重顏色分布差異的病理圖像進行顏色分布歸一化，以歸一化后的圖像為輸入，利用所提出的卷積網絡對細胞核進行分割;該網絡通過減少下采樣算子的使用，使圖像信息在前向計算過程中不會過分丟失，并使用擴張卷積擴大深層神經元的局部感受野尺度大小;所采用的分割方案在2017年MICCAI病理數字圖像分割數據集中達到0.848的平均dice分數;實驗表明，融合全卷積網絡框架和高分辨率網絡框架的卷積網絡在病理圖像中實現了細胞核自動精準的分割，可以有效減輕影像醫師的工作負擔。

關鍵詞:病理圖像;細胞核分割;卷積神經網絡;顏色歸一化

引言

在各種疾病檢查方法中，病理診斷一直是最可靠的診斷方式。該診斷方式主要是根據顯微鏡下所觀察到的病變組織細胞結構做出診斷，相比于臨床上根據超聲、CT影像所作出的診斷分析更加準確和客觀。由于各種癌癥病變的根本原因在于細胞核中遺傳物質的改變，導致癌變后的細胞和癌變前的正常細胞在形狀大小上有了明顯的差異，所以病理圖像中細胞核的精準分割是病理診斷的基礎性工作。所幸的是，細胞核可以通過特定染色而呈現出來，使得病理圖像中細胞核的精準分割這個目標得以實現［1］。形變模型是目前細胞核精準分割的流行方法，包括CV模型、GAC模型和Snake模型及其變種模型，其思想是極小化由輪廓曲線所定義的能量泛函，從而使得初始化邊緣輪廓向目標邊界演變進化。Qi等［2］提出了基于GAC模型的細胞分割模型，并通過增加約束項使得兩個相鄰細胞的輪廓曲線不會互相合并;Lu等［3］則將形狀先驗約束引進了距離正則化水平集模型上，為宮頸重疊細胞的分割提供了一個解決思路;Kong等［4］先是獲取形狀先驗信息，然后將其和水平集模型結合起來，并添加稀疏性約束對細胞核進行分割;近年來，卷積神經網絡模型在大量視覺領域的應用問題中達到甚至超越了人類水平，所以該模型逐漸成為大量圖像應用問題的首要選擇;Sirinukunwattana等［5］根據卷積神經網絡模型對結腸腺癌病理圖像中的細胞核進行檢測;Xing等［6］則是先通過卷積神經網絡模型得到分割結果概率圖，然后利用稀疏形狀模型和局部形變模型在病理圖像中分割細胞核。本文首先使用保持結構的基于稀疏非負矩陣分解的方法對病理圖像做顏色分布歸一化，然后結合全卷積網絡框架(FullyConvolutionalNetwork，FCN)［7］和高分辨率網絡框架(HighResolutionNetwork，HRN)［8］的特點，提出一種卷積神經網絡結構對病理圖像中的細胞核進行自動精準地分割。所提出的網絡結構對2017年MICCAI(MedicalImageComputingandComputerAssistedIntervention)病理數字圖像分割比賽數據集中4種不同癌癥病變的病理圖像的細胞核進行分割，并分析比較每種病理圖像中細胞核的分割情況。

1病理圖像顏色歸一化

MICCAI數據集由4種不同癌癥病變的病理圖像組成，包括非小細胞肺癌(NSCLC)、頭頸部鱗狀細胞癌(HNSCC)、多形性膠質母細胞癌(GBM)和低級別膠質瘤(LGG)。每種癌癥病變各8張病理圖像，每張圖像的空間尺寸大小為500×500或600×600，且每張圖像都配備有專業醫師勾勒的細胞核邊界圖，稱為分割金標準。在染色過程中，由于染色手法和染色時間等因素，造成不同的病理圖像呈現出不同的顏色分布，為細胞核的精準分割帶來了極大的困難。所以在利用卷積神經網絡對細胞核進行分割之前，首先需要對每張病理圖像做顏色歸一化。所采用的顏色歸一化方法是保持結構的基于稀疏非負矩陣分解的顏色歸一化方法［9］。首先根據Beer-Lambert定律將給定的RGB圖像轉化成光密度圖像:其中I為原始病理圖像，而I0為入射光強度，W∈Rm×r表示染料顏色矩陣，其每一列代表顏色基，r為染色劑種類數，H∈Rm×n為染色密度矩陣。然后，通過增加對染色混合系數Hj的稀疏正則化提出了改進的代價函數，代價函數為其中，V為原始圖像的光密度圖，λ為稀疏正則項系數，j=1，2，…，r為染劑指標。在式(1)中對W的限制條件是為了防止產生多個類似(W/α，αH)的解。式(1)根據交替迭代的算法求解W和H，即固定一組參數的情況下求解另一組參數。這樣，一張圖像可以被分解成兩個矩陣相乘的形式。對整個數據集做顏色歸一化操作時，首先從數據集中隨機選取一張病理圖像T，然后將其余病理圖像的顏色分布歸一化成圖像T的顏色分布。具體地，對待處理圖像S做如下分解:然后結合S的染色密度矩陣和T的染料顏色矩陣，其中，HMT(j，:)和HMS(j，:)分別表示T和S的染色密度矩陣第j行最大值，Inorm為顏色歸一化后的圖像。在圖1中，展示的是原病理圖像和顏色歸一化后的圖像數據。注意原本的顏色分布差異過大，而歸一化后顏色分布差異變小。

2卷積神經網絡

卷積神經網絡模型是一個多層級的計算模型，通過在輸入圖像上反復使用線性卷積運算和非線性激活運算，將表示圖像中目標物體的特征逐步提取出來，且其含有語義信息的高級抽象特征是通過低級特征如邊緣、角點特征等逐步整合形成的［10］。卷積神經網絡的卷積層、池化層或和殘差層等算子都遵守以下計算公式:Xl+1=h(Xl)+f(Wl，l+1*Xl+b)其中Xl+1，Xl分別表示第L層的輸出特征圖和輸入特征圖;Wl，l+1表示該層的卷積核，b表示偏置項，而*表示卷積運算;f表示非線性激活函數，而h在卷積層和池化層中是零算子，即其函數值一直為0，而在殘差層則是恒等算子。卷積層是卷積神經網絡的基本部件，該層的計算過程可以用4個參數K，F，P，S完全表達，其中K是卷積核個數，F是卷積核空間尺寸大小，P是輸入特征圖的補零數，而S是卷積核在各個空間維度上的移動步長。自FCN框架提出之后，卷積神經網絡得以全卷積化，從而可以應用于圖像語義分割任務中。但在FCN網絡框架中由于過多下采樣算子(如池化層作用或步長大于1的卷積層作用)的存在，使得大量圖像信息在前向傳播過程中被強制丟失。這些信息不僅僅包括圖像中背景和噪聲的信息，還包含目標物體的特征信息。因此，HRN框架是繼FCN框架之后的一個必然嘗試。在HRN框架中，網絡不采取任何下采樣算子，所以圖像數據的分辨率在前向計算過程中保持不變。但深層神經元在輸入層局部感受野的尺寸大小是卷積神經網絡性能卓越的必要保證，所以HRN框架利用擴張卷積擴大卷積核的作用區域，從而擴大深層神經元的局部感受野。擴張卷積完全由擴張率d所定義，設卷積核W的空間尺寸大小為F×F，擴張后的卷積核為V。W中任意兩個元素的相對位置在V中保持不變，而根據預設的擴張率d，其相鄰兩個元素在水平或垂直方向上相距d－1個單位，且每個單位上的值都是0。

3分割卷積神經網絡結構

在HRN框架中，需要保證深層神經元在輸入層的局部感受野的尺度大小，僅使用擴張卷積需要堆疊大量的卷積層，這往往會導致梯度彌散現象的發生。為了克服這個問題，在使用殘差連接輔助梯度信息后向傳播的同時，仍然需要少量的下采樣算子。而且，下采樣算子可以丟棄輸入圖像中的背景信息和噪聲信息，所以我們提出的分割卷積神經網絡包含且僅包含一個下采樣算子，該下采樣算子是步長為2的卷積層作用，實現了特征圖空間維度的減半。相對應地，需要使用一個由轉置卷積算子定義的上采樣操作，將特征圖的空間尺寸大小恢復原圖大小。在本文中，分割卷積網絡輸入圖像的空間尺寸大小是200×200，在經過一個參數為(K，F，P，S)=(16，5，2，1)的卷積層conv1作用之后，就根據參數為(32，3，1，2)的卷積層conv2作用進行特征圖空間尺寸的下采樣。之后conv2的輸出特征圖將經過連續7個殘差層res1～7的作用，其中每個殘差層包含兩個卷積層作用，參數都是(32，3，1，1)，并且每個殘差層各配備一個擴張率。這7個殘差的擴張率分別為(1，1，1，2，4，8，16)。之后，res7的輸出特征圖將通過轉置卷積的作用進行上采樣，并與conv1的輸出特征圖做逐位加和，所得到的輸出特征圖將通過3個卷積層的作用得到分割結果概率圖，這3個卷積層的參數分別是(16，5，2，1)，(8，3，1，1)和(2，1，0，1)。分割卷積神經網絡的結構及其參數在表1中詳細給出。

4實驗與分析

在MICCAI數據集上驗證了所搭建的分割卷積神經網絡。對4類不同的癌癥病理圖像，每類各選取7張病理圖像進行訓練，且各留下1張尺寸大小為600×600的圖像用于測試網絡的分割性能。對每張訓練圖像，根據步長30在各個空間維度上進行游走并裁剪尺寸大小為200×200的圖像塊作為網絡的輸入。對500×500的歸一化病理圖像，可裁剪100張輸入圖像;而對于600×600大小的歸一化病理圖像，可裁剪169張輸入圖像。最終，共有訓練圖像3940張，并且需要對分割金標準做同樣的操作。對4類癌癥的測試圖像，根據步長200在兩個空間維度上進行游走并裁剪圖像塊。由于每張測試圖像的大小為600×600，所以剛好可以得到9張輸入圖像，從而分割網絡對測試圖像的量化指標值就是網絡在這9張輸入圖像上的量化指標值的平均值。在實驗中，我們使用ddice作為主要量化指標，并以ddiceLoss=1－ddice作為網絡訓練的誤差函數，而其他量化指標分別是查準率(pprecision)和查全率(rrecall)。表2詳細給出了分割卷積網絡在4類病例圖像上的分割情況。分割卷積神經網絡在整個數據集上的平均ddice分數是0.848，平均查全率是0.813，平均查準率是0.893。圖3中展示的是HNSCC測試圖像，而圖4給出了網絡在HNSCC測試圖像上的分割結果和分割金標準的對比。其中灰色區域表示分割金標準，而黑線表示分割結果。

5結束語

細胞核的精準分割是病理診斷的基礎工作，有十分重要的應用價值和研究價值。由于染色過程造成的病理圖像顏色分布的差異，我們首先使用保持結構的基于稀疏非負矩陣分解的方法對所有病理圖像進行顏色分布歸一化，避免直接在原病理圖像中分割細胞核會碰到的困難。然后以歸一化后的圖像數據作為網絡輸入，利用所提出的分割卷積神經網絡對細胞核進行自動精準地分割。該分割卷積網絡結構結合了FCN框架和HRN框架的特點，通過減少下采樣算子的使用，使得圖像信息在前向計算過程中不過分丟失，并使用擴張卷積算子擴大深層神經元在輸入層的局部感受野尺度大小，保證卷積網絡的分割性能。所采用的分割方案在2017年MICCAI病理數字圖像分割數據集中達到0.848的平均dice分數。實驗表明，融合全卷積網絡框架和高分辨率網絡框架的卷積神經網絡在病理圖像中實現了細胞核的自動精準地分割，可以有效減輕影像醫師的工作負擔。另一方面，深度學習方法的性能主要依賴于訓練數據量的大小，而病理圖像數據集屬于小數據集。如何在小數據集中更好地應用卷積神經網絡模型，進一步提升病理圖像中細胞核的分割精度，是未來需要持續研究的工作。

作者：吳宇靂 李淵強 單位：南京理工大學