海量地理國情普查數據存儲研究范文

本站小編為你精心準備了海量地理國情普查數據存儲研究參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

摘要：針對地理國情普查成果數據量大、復雜且多樣化、管理難度大、應用效率低等特點，提出了一種基于ISCSI構建ORACLERAC數據庫和GlusterFS分布式文件系統來管理地理國情普查數據的方法。實驗結果表明，該方法能夠充分利用普通的硬件和網絡資源來構建數據存儲環境，保障地理國情普查數據庫快速穩定地運行，并且能夠無縫地擴展存儲資源。

關鍵詞：地理國情普查數據；ISCSI；ORACLERAC；分布式文件系統

1技術介紹

ISCSI（internetsmallcomputersysteminterface，網絡小型計算機系統接口）是一種在TCP/IP協議網絡上進行數據塊傳輸的標準[1]。其目的是用IP協議將存儲設備連接在一起，使服務器可以與使用TCP/IP網絡的存儲設備互相交換存儲資料[2]，它包括發起端和目標端，其工作原理是發起端將SCSI指令和數據封裝成ISCSI協議數據單元，提交給TCP，最后封裝成IP數據包在IP網絡上傳輸，到達目標端后通過解封裝還原成SCSI指令和數據，實現SCSI命令和數據在IP網絡上的透明傳輸。ORACLERAC（ORACLErealapplicationclusters）通常稱作ORACLE真正應用集群[3]，其實質是使位于不同服務器系統的ORACLE實例可以同時訪問同一個ORACLE數據庫。一個ORACLE集群由多臺服務器組成，每臺服務器是一個獨立的數據庫實例[4]，用于監聽自己的網絡端口；每臺服務器有自己的ORACLERAC服務，用于數據庫的集群訪問；所有的服務器通過自己的操作系統訪問一個共享的存儲設備，數據庫存儲在共享設備上。GlusterFS是一個開源的分布式文件系統，能夠利用普通的存儲設備來部署可集中管理、橫向擴展、虛擬化的存儲池，使用單一全局命名空間來管理數據，支持PB存儲容量[5]，支持運行在任何標準IP網絡上標準應用程序的標準客戶端。

2基于ISCSI技術的地理國情普查數據分布式存儲

2.1研究路線地理國情普查

數據量大，如何有效進行管理，是必須考慮的問題。本文利用計算資源、網絡資源、存儲資源等構建數據庫服務器集群和文件服務器集群，提供分布式存儲環境。在數據庫服務器集群和文件服務器集群上結合ISCSI技術，搭建ORACLERAC數據庫和分布式文件系統，其架構如圖1所示。根據《第一次全國地理國情普查數據庫建設技術設計》的要求，將地理國情普查的地表覆蓋、地理國情要素及其元數據等矢量數據存儲于ORACLERAC數據庫中，地形地貌數據、遙感影像數據、遙感影像解譯樣本數據等存放在分布式文件系統中，實現海量地理國情普查數據的分布式管理，然后驗證使用ISCSI構建的存儲環境能夠滿足海量地理國情普查數據的存儲和讀取；最后通過對比驗證基于ISCSI的分布式管理和普通管理方式在數據存儲和負載均衡方面的性能。

2.2分布式存儲系統構建

2.2.1基于ISCSI的ORACLERAC數據庫使用相同配置的兩臺服務器部署ORACLERAC集群，集群節點同時作為數據存儲服務器，其配置信息如表1所示。基于ISCSI將服務器上的存儲資源通過網絡輸送到所有ORACLERAC節點，再利用ORACLE的ASM[6]（automaticstoragemanagement，自動存儲管理）將這兩臺服務器上的存儲資源創建成共享存儲來管理地理國情普查數據，集群內部實現分布式存儲設備的維護。構建過程如下：1）整體部署，包括硬件和軟件環境部署，如表1。2）配置公共網絡和專用網絡。3）基于ISCSI配置共享存儲。在網絡協議的基礎上，在集群節點上配置好ISCSI協議并添加ISCSI虛擬磁盤，啟動ISCSI發起程序，連接至虛擬磁盤，從而綁定磁盤，實現磁盤的本地使用，再配置成共享存儲。4）安裝集群軟件和數據庫。5）配置客戶端連接ORACLERAC。2.2.2基于ISCSI的GlusterFS分布式文件系統在GlusterFS中將服務器上剩余的存儲空間使用ISCSI技術虛擬成網絡存儲設備，并加載多個網絡存儲設備和本地存儲設備，采用兩臺配置信息如表1的服務器，搭建分布式文件系統環境。其構建過程如下：1）將服務器上的空閑存儲資源以虛擬ISCSITarget服務的方式出來，形成私有的存儲區域網絡SAN。2）在5臺存儲服務器上分別安裝GlusterFS，創建GlusterFS集群，各臺服務器上使用GlusterFS將ISCSI存儲設備或本地存儲掛載為數據塊并納入管理。3）配置多個節點的數據存儲數據塊融合成組，合并創建成大容量的網絡存儲卷，在網絡上形成NAS存儲網絡。4）主服務器節點，通過掛載分布式集群創建的NAS卷，使用Samba(Linux下的文件共享服務軟件)為選定的目錄建立網絡共享，將NAS卷的存儲空間提供出來，供網絡內的其他服務器進行共享訪問。

2.3存儲性能測試

選用一臺配置為Intel(R)Core(TM)i5-2400、內存為4GB、操作系統為Windows7的臺式機作為客戶端，以某地地理國情普查成果數據為實驗數據，分別對本文提出的分布式存儲與普通集中式管理方式進行了存儲效率和負載均衡性能的測試。2.3.1存儲效率性能測試1）選取記錄數目分別為3萬條、10萬條和100萬條的地理國情普查矢量數據，其對應的數據大小分別是50M、200M、1000M，比較導入基于ISCSI的ORACLERAC數據庫和ORACLE數據庫的耗時，從ORACLE數據庫中查詢分別需要70s、185s和354s；基于ISCSI的ORACLERAC數據庫查詢分別需要31s、93s和159s，其效率提高2.3倍，如圖2所示。2）選取數據量分別為0.1TB、1TB、5TB的地理國情普查影像數據，比較導入基于ISCSI的分布式文件系統和普通文件系統的耗時，導入普通文件系統分別需要4min、360min和1800min；導入基于ISCSI的分布式文件系統分別需要2min、240min和1200min，其效率提高1.5倍，如圖2所示。從圖2可以明顯看到，基于本文提出的分布式存儲方式具有優勢，存儲效率高于普通的數據管理方式。2.3.2負載均衡性能測試在ORACLERAC集群上，首先關閉節點1上的數據庫實例，在節點2上頻繁執行查詢操作，節點2的大量資源被占用，CPU利用率迅速升高，達到90%；再啟動節點1上的數據庫實例，此時節點1的CPU利用率升高到46%左右，節點2的CPU利用率降低到55%左右，幾分鐘之后兩個節點的CPU利用率都保持在20%左右，如圖3所示。通過測試驗證，當集群某一節點的負載過高，而其他節點負載較小時，將請求分配給當前負載較小的節點上，從而實現數據交互的均衡分配。

2.4測試結論

在反復的驗證測試中，最終得出結論，基于ISCSI的ORACLERAC數據庫和分布式文件系統完全可以應用于地理國情普查數據的管理，且具有硬件成本低、存儲效率高、負載能力強等優勢。

3結語

深入研究了利用ISCSI技術構建的ORACLERAC集群來管理地理國情普查數據，將數據分散地存儲在多個普通的存儲物理設備上，降低了硬件成本，實現了數據的高并發讀寫和海量數據存儲，提高了系統的響應效率，并且系統具備靈活的分布式體系結構，支持橫向伸縮；即便隨著地理國情普查后續工作的推進造成數據量的幾何級增長，也可以無縫擴展該存儲系統以滿足需求。

參考文獻

[1]張立,徐學雷.ISCSI技術在數據圖書館中的應用[J].現代圖書情報技術,2005,128(9):14-16

[2]任建奇.基于ISCSI的虛擬存儲系統設計與實現[D].西安:西北工業大學,2006

[3]呂元海,孫江輝,馬龍.基于ORACLERAC的校園網數據庫集群系統設計與實現[J].現代電子技術,2016,39(4):72-75

[4]史超.基于linux的ORACLERAC集群數據庫優化研究[D].天津:天津師范大學,2014

[5]楊勇.基于GlusterFS的分布式冗余存儲[J].西安文理學院學報(自然科學版),2010,13(4):67-70

[6]李勇.基于ORACLERAC的海量數據管理系統優化設計[D].上海:復旦大學,2012

[7]趙陽.地理信息公共服務平臺集群架構的研究與設計[D].昆明:昆明理工大學,2013

作者：齊東蘭 向娟 杜鑫 魏永強 楊雨佳 單位：國家測繪地理信息局重慶測繪院