卷積神經網絡的高光譜圖像分類方法范文

本站小編為你精心準備了卷積神經網絡的高光譜圖像分類方法參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：為解決在樣本有限的情況下高光譜圖像分類精度不高的問題，提出一種基于卷積神經網絡的高光譜遙感圖像分類方法。引入濾波、增加虛擬樣本、標準化等預處理技術，使分類模型對地物樣本種類和數量的敏感度降低；通過對梯度下降法和學習率計算方法進行優化，降低計算復雜度和計算時間；設計符合高光譜數據特點的網絡結構，提高分類方法的泛化性。實驗結果表明，與傳統分類方法進行比較，該方法有較高的分類精度。

關鍵詞：卷積神經網絡；高光譜圖像分類；虛擬樣本；循環學習率；動量批處理梯度下降

0引言

高光譜遙感技術不僅可以獲得被測物體的空間信息，還可以獲得被測物體的光譜信息。因此高光譜圖像具有“圖像立方體”的形式和結構［1］。對于具有復雜特征的高光譜圖像，簡單的分類模型通常不能提取出各類地物的有效特征。深度分類架構在提取有效特征方面能夠體現出優勢。并且，深度結構學習特征時需要用的先驗知識較少。卷積神經網絡（convolutionalneuralnetworks，CNNs）是深度學習的一個重要分支，也是眾多科學領域的研究熱點，特別是在圖像識別領域。在有大量訓練樣本和高性能GPUs的前提下，在許多視覺任務包括自然圖像分類、目標檢測、場景識別、人臉識別等，CNNs勝過其它傳統方法甚至人工操作的效果。然而，相比之下目前將卷積神經網絡用于高光譜圖像分類的研究并不多。文獻［2］中將卷積神經網絡分類模型和超像素分割結合，分別用于提取光譜特征和空間特征，融合多特征后的分類效果優于只有單特征的分類效果。文獻［3］中分別構造了一維、二維和三維卷積核的卷積神經網絡，通過修改代價函數、加入Dropout層和用ReLU函數代替Sigmoid激活函數的方式對原始卷積神經網絡進行改進，降低了網絡復雜度，提升了收斂速度。最后提出了基于隨機特征選擇的卷積神經網絡集成模型，提高了基于光譜信息的卷積神經網絡分類模型的泛化能力。文獻［4］中在卷積神經網絡模型的基礎上提出基于譜信息灰度圖像的分類方法。實驗結果表明，該方法略優于基于譜信息波形圖的分類。以上文獻中，對高光譜影像分類的實驗結果均優于目前較為流行的基于核的支持向量機分類方法，說明將卷積神經網絡用于高光譜圖像分類是一個值得探索的研究方向。然而現階段面臨的挑戰有：現有的卷積神經網絡模型對高光譜數據分類任務中的樣本種類和樣本數量比較敏感，導致同一個網絡不一定適用于所有數據集，泛化性能較差；卷積神經網絡中參數的設置依然憑經驗試錯確定，花費時間較長；隨著卷積神經網絡層數和每層的特征數的增加，計算復雜度和計算時間也相應的大幅增加，這將極大限制方法的應用。本文提出一種卷積神經網絡模型用于高光譜圖像分類。設置了適合高光譜圖像的網絡深度和參數，控制模型復雜度的同時使該網絡泛化性能較好。在循環學習率的設置和梯度下降法上做了改進，使損失函數更快收斂。實驗結果表明，該方法能較好利用高光譜圖像的光譜信息，與傳統分類方法如K最近鄰、邏輯回歸和RBF－SVM等方法相比，分類精度更高，處理速度較快。

1卷積神經網絡高光譜影像分類

首先輸入三維的高光譜影像數據。受傳感器影響，高光譜影像各波段都存在噪聲［5］。因為影像的有效性很大程度上受其所包含的噪聲影響，因此在分類之前先用維納濾波進行降噪處理。對每個波段的圖像進行濾波，之后對三維高光譜圖像數據進行標準化。此時根據數據集各類地物樣本數量選擇樣本數量極少的類別生成虛擬樣本，補充到訓練集。最后將經過預處理的高光譜影像數據輸入到卷積神經網絡進行分類。

1．1均值標準差標準化對原始數據進行標準化或歸一化是分類前的一項基礎工作。在卷積神經網絡分類模型中，將輸入數據用不同方法標準化到不同區間會產生差異較大的分類結果。原始圖像每個像素的光譜反射值為幾百到幾千不等，數值跨度較大但不同類別地物像素譜線整體趨勢相近差別不明顯，并且數值較大時會為計算增加難度。本文采用均值標準差法，將三維高光譜圖像數據的每一個波段的圖像分別進行標準化。該方法使得每個像素的光譜曲線波動更為明顯，波形差異變大，降低了計算復雜度，可以提升訓練速度和分類準確率。

1．2虛擬樣本以概率模型為基礎的卷積神經網絡采取大的樣本數據量更能發揮它在高光譜影像分類中的優勢。但是在實際應用中，獲取大量高光譜遙感影像標注樣本十分困難。比如本文實驗用到的IndianPines數據集中16類地物樣本分布不均，如果每類抽取10％的樣本用于訓練，那么第一類、第七類和第九類分別只抽到了5、2和2個樣本。訓練樣本過少會限制卷積神經網絡提取出有效的特征，最后影響分類精度。因此提出利用少量已標記的高光譜圖像數據樣本生成一定數量的虛擬樣本，擴充訓練樣本集，提高分類方法的泛化能力，提高分類準確率。虛擬樣本的思想最早由Poggio和Vette提出，之后在機器學習的小樣本學習領域得到了廣泛應用［6］。但在高光譜圖像分類中提及的很少。

1．3卷積神經網絡卷積神經網絡（convolutionalneuralnetworks，CNNs）是由卷積層、池化層、全連接層組成的前饋神經網絡［8］。輸入原始圖像，輸出對特征進行分類后的結果。CNNs由一對或多對卷積層和池化層組成，最后連接全連接層。卷積神經網絡的訓練采用的是有監督訓練方式。CNNs的特點：①局部感受野：每個特征圖上的神經元只與上一層的一個小區域的神經元連接。②權重共享：同一個特征圖的權值相同，使得參數的數量大大減少。③空間或時間上的子采樣：在卷積層后的子采樣層可以實現局部的均值化。它的非全連接和權值共享的網絡結構減少了權值的數量，降低了網絡模型的復雜度。子采樣可以減少輸出時關于平移和變形的靈敏度。卷積神經網絡的這種結構可以對平移、旋轉、比例縮放、傾斜或者其它形式的變形具有高度不變性［9］。基于卷積神經網絡的高光譜圖像分類首先對網絡結構進行改進。通常多層的神經網絡能夠提取更加深層的特征，但是高光譜圖像訓練樣本有限，層數的增加并不會使分類精度一直上升，而參數以及計算開銷則會一直增大。因此本文在設置必要的層數的情況下，減小卷積核的長度來增加網絡深度，達到深層學習的目的。圖中b為輸入的高光譜圖像波段數，m為卷積核的長度，k為地物類別個數。網絡輸入為每個像素的光譜特征向量，第一個卷積層設置25個特征，卷積層的輸出即為平均池化層的輸入，池化后輸入到第二個卷積層，第二個卷積層相當于一個全連接層，設置了300個特征，最后以概率值輸出分類結果。在此結構框架下對卷積神經網絡分類中的算法進行改進。

（1）循環學習率卷積神經網絡中的可調參數眾多，其中學習率是需要調節的一個重要參數。如果學習速率過小，則會導致收斂速度很慢。如果學習速率過大，則會阻礙收斂，即在極值點附近振蕩。并且在實際應用中選擇一個合理的學習速率需要經過多次實驗。本文用循環學習率代替單一學習率，加快收斂速度，減少參數試錯次數。循環學習率是通過簡單的實驗選定學習率上下邊界后，將學習率設定在這一范圍內以一定步長進行循環。

（2）動量批處理梯度下降法全量梯度下降法需要將完整的訓練集學習一次后更新參數，其優點是可以保證梯度下降方向正確，從而使得函數最終收斂于極值點。但其缺點是時間成本過高，并且訓練集越大消耗的內存空間越大，不利于實際應用。隨機梯度下降法在計算效率上有明顯提高，但是不能保證每次參數更新方向都正確，所以存在優化波動。由于波動，使得迭代次數增多，即收斂速度變慢。本文采用小批量梯度下降方法（mini－batch）。mini－batch梯度下降綜合了全量梯度下降與隨機梯度下降，使更新速度和更新次數達到平衡。小批量梯度下降比隨機梯度下降收斂波動性低，即參數更新的方差低，因此更新更加穩定。小批量梯度下降比全量梯度下降學習的速度快、占用內存小。

2實驗

本文選取AVIRIS和ROSIS傳感器獲取的高光譜影像作為實驗數據集。數據集為公開的標準測試數據集，經過了大氣校正等預處理，所有的地面真實值數據經過了數據提供者的實地調查和驗證。下面對數據集進行簡要介紹。

（1）IndianPines數據集IndianPines數據集是由機載成像光譜儀AVIRIS在美國印第安納州西北部某農林混合室驗場采集得到的。圖像具有145×145像素以及224個光譜波段，波長范圍0．4～2．5μm，空間分辨率25m，去除了覆蓋區域水吸收的影響的24個波段，保留了其中200個波段，最后實驗所使用的實際圖像大小為145×145×200，包含了16個地物類別。

（2）PaviaUniversity數據集PaviaUniversity數據集是由成像光譜儀ROSIS在意大利西北部的帕維亞城市上空采集而來。圖像具有610×340像素以及115個光譜波段，波長范圍0．43～0．86μm，空間分辨率為1．3m，去除受噪聲和水汽影響較大的波段剩余103個波段，包含了9個地物類別。用卷積神經網絡模型對IndianPines數據集進行分類實驗。抽取數據集中已標注樣本的10％作為訓練樣本，每次實驗訓練集均為隨機抽取，剩下的90％為測試樣本。訓練樣本數和測試樣本數見表1。將原始數據進行維納濾波，然后進行標準化，此時經過預處理的數據作為輸入層的數據，輸入每個像素為1×200的列向量。經過第一層卷積層，卷積核大小為1×3，特征數設置為25，采用ReLU激活函數，此時每個像素經卷積層輸出為25個1×198的列向量。卷積層的輸出作為平均池化層的輸入，平均池化層窗口大小為1×2，經過這一層后每個像素輸出為25個1×99的列向量。之后輸入到第二個卷積層，卷積核大小為1×99，設置300個特征數，第二個卷積層起到相當于全連接層的作用。最后連接到softmax進行分類，該數據集有16類地物，因此設置為輸出16類。網絡訓練中循環學習率上界為0．07，下界為0．001，學習率循環步長為500。梯度下降中動量系數初始設置為0．5，更新100次后設置為0．95。訓練共迭代58次，30個樣本更新一次參數。

3結束語

本文提出基于卷積神經網絡的高光譜圖像分類方法，通過IndianaPines數據集和PaviaUniversity數據集進行分類實驗，并與傳統分類方法如KNN、LR和RBF－SVM等比較。結果驗證了先進行維納濾波可以達到降噪的目的，提高分類精度；基于卷積神經網絡的高光譜圖像分類方法在神經網絡的結構和算法上改進后，分類精度優于傳統方法KNN、LR和RBF－SVM等；在計算時間上本文方法與當前流行的分類方法基本持平。在目前研究的基礎上，加入高光譜圖像的空間信息或進一步對網絡結構和算法進行改進是下一步研究的方向。

作者：路易1；吳玲達2；朱江1 單位：1．裝備學院研究生管理大隊，2．裝備學院復雜電子系統仿真實驗室