氣象數據共享服務網絡技術論文范文

本站小編為你精心準備了氣象數據共享服務網絡技術論文參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

1P2P技術的解決方案

1.1P2P傳輸模型在P2P傳輸模型中，各個節點所起的作用是對等的，一個節點（同一時刻）既可以是資源的提供者，也可以是資源的需求者，如圖2所示。P2P技術將各節點互相結合成一個網絡，共享其間的帶寬、共同處理其中的信息。

1.2P2P協議P2P技術發展至今，產生了許多不同的文件共享協議，根據拓撲結構的關系可分為4種形式。（1）以Napster為代表的中心化拓撲，所有節點的位置關系依然需要中心節點的參與，可擴展性差。（2）以Gnutella為代表的全分布式非結構化拓撲，是一種純粹的P2P網絡，網絡節點可以隨意擴展，但可靠性較差。（3）以KaZaA為代表的半分布式拓撲，具備一組超級節點提供服務，支持復雜查詢但是可維護性不高。（4）以BitTorrent為代表的全分布式結構化拓撲，自適應節點的變化，可擴展性、可維護性好。氣象寬帶網是一個結構穩定的網絡，為了在減小中心節點壓力的同時保證網絡系統的可擴展性和可維護性，最適合采用BitTorrent協議。另外，BitTorrent協議采用數據塊傳輸機制，支持斷點續傳，這種方式能夠保障數據的完整性。

1.3P2P技術的優缺點P2P技術可以充分利用氣象寬帶網MPLS－VPN的網狀結構，將中心節點分發壓力分攤到各個節點上，利用所有節點的參與實現數據從單數據源到多目標節點的共享，如圖3所示，針對國家級節點A需要向若干省級節點（至少大于1）共享數據，國家級節點會將數據拆分成若干數據包，分別傳輸給廣東、湖北、河北3個省級節點，然后這3個節點再分別進行交換傳輸直到數據包接收完整。然而，在氣象通信業務中直接使用現有的互聯網P2P軟件存在著一些不足：一是節點的可控性、可管理性差，網絡中各個節點隨時可能退出系統，共享交換的信息隨時可能被刪除或者被終止共享；二是節點間傳輸不可控，容易造成骨干網擁塞、網絡流量風暴等問題。

1.4解決方案（1）內容可靠性。為了解決傳統P2P傳輸中內容可靠性的問題，需要融合CDN網絡［8］的思想，CDN的全稱是ContentDeliveryNetwork，即內容分發網絡。其目的是通過在現有的網絡中增加一層新的網絡架構，將中心節點的內容到最接近用戶且服務能力最好的節點（即超級節點），使用戶可以從超級節點取得所需的內容，解決網絡擁塞問題，提高用戶訪問節點的響應速度。為了將P2P和CDN有機融合，設計了一種基于節點－服務器的模型（P2SP）：在一個共享網絡環境中，保證有足夠的服務能力較好的超級節點已經具備初始數據源能力，然后與所有節點進行共享。如圖4所示，當國家級節點A需要向各省提供共享數據時，首先選擇向國家級節點B和服務能力較好的北京節點進行數據拷貝，生成BitTorrent協議中的數據源，然后由這3個數據源節點同時向其他省級節點服務，各省級節點會根據實際網絡狀態選擇優先連接的節點。這樣做的好處在于解決傳統Bit－Torrent協議可靠性差的問題。（2）傳輸控制。為了解決P2P技術中節點間傳輸不可控的問題，需要在BitTorrent協議基礎上，在軟件中合理設置和調整節點間傳輸的最大上行和下行速率，避免網絡流量風暴和擁塞問題。

2應用實現

2.1功能組成基于P2P的氣象數據共享應用主要目標是實現從單一資料源節點以BitTorrent協議將資料共享給網絡中所有的節點。從邏輯上由以下幾部分構成：（1）數據服務器，保存需要共享氣象數據的一份原始拷貝，又稱為種子。該數據服務器和業務系統存在接口，實時獲取并更新種子，氣象數據可以按照指定的目錄進行存儲。每一組共享傳輸試用特定的P2P通信端口。（2）torrent文件，即種子文件，記載BitTorrent協議的相關信息。BitTorrent軟件負責制作和生成種子文件，邏輯上把將要共享的數據文件重新編排，然后按照議約定的256KB大小進行切割，最后將編排和切割后的索引信息存放入torrent文件中。（3）Web服務器，用于存放和分發種子文件。（4）Tracker服務器，保存整個P2P網絡信息的中心服務器。（5）節點客戶端，負責定時或根據需要從Web服務器下載并解析torrent文件，實現P2P方式數據的共享傳輸。節點客戶端通過與Tracker服務器以HTTP協議進行交互，能夠得知網絡中已下載完成的節點數以及正在下載的節點數，每個節點的IP地址和端口號等。節點客戶端（A）與另一個節點客戶端（B）建立TCP連接過程如下：A首先向B發送握手消息，等待B返回相同格式的握手反饋信息，達到完全握手狀態。與此同時每個節點客戶端都需要維護一張所有與自己連接節點的鏈表。

2.2應用流程基于P2SP的氣象數據共享應用流程如下。（1）中心節點源數據制作并：中心節點從邏輯上包括數據服務器、Tracker服務器和WEB服務器，中心節點需要將所有需要共享的數據組織成torrent文件并到Web服務器上，如圖5中流程①②③。（2）超級節點獲取torrent文件并獲得原始拷貝：中心節點臨近的超級節點會首先獲得種子文件和完整的共享數據從而成為超級節點。如圖5中流程④⑤。（3）所有節點參與共享：各節點客戶端會實時下載torrent文件并進行解析，然后從中心節點或超級節點下載數據片段并從其他節點獲取余下的片段，如圖5中流程⑥⑦⑧。

3業務試驗和比較

考慮到實時氣象業務的不可中斷性，不可能在全國31個省級節點實際業務環境開展大規模的試驗。針對P2SP技術在氣象業務中應用的性能評估，采用網絡仿真和小規模的比較試驗成了最佳可供選擇的測試和驗證方法。

3.1可行性模擬驗證PeerSim是意大利博洛尼亞大學開發的基于生物啟發技術的P2P模擬器［16］。PeerSim由配置管理器、網絡拓撲對象、結點對象、協議對象、動態對象、觀察對象以及模擬引擎對象等組成。PeerSim是一個模擬P2P覆蓋網絡的軟件，支持結構化和非結構化P2P網絡模擬。通過BitTorrent協議的修改和部署，實現了基于P2P的仿真試驗。使用PeerSim模擬BitTorrent協議從1個中心節點向固定的30個節點共享100000KB數據的表現情況。100000KB的文件將被拆分成391塊（390×256KB＋160KB＝100000KB），限制上傳、下載速率不超過100KB／s。在試驗的時候，為了模擬P2SP場景，隨機選取了部分節點作為超級節點。試驗結果表明，在1800s內這些數據完成了全部節點的共享拷貝。經過10次的模擬，所獲得的試驗結果相似。

3.2性能比較試驗為了評估該應用在實際業務中效率以及穩定性，搭建了一個利用中國氣象局局域網環境的試驗平臺，有針對性的開展一系列試驗。由于P2P需要多節點的參與，因此在試驗中除中心節點外至少選擇2個節點參與。現在國內通信傳輸業務比較多的使用AFD，它是一個自動的支持多協議的本地和遠程數據收發軟件，在氣象通信系統中目前使用較多的還是AFD的FTP協議。AFD支持并發傳輸，因此在進行單數據源多目標節點分發時，會通過消耗中心節點的資源獲得傳輸效率。為了使兩種應用具備可比性，通過軟件功能限制中心節點平均速率，并且AFD的傳輸并發數設置為1，P2SP傳輸應用也設置為1個TCP連接。（1）數據總量對于傳輸效率的影響。在測試中選擇文件大小為1MB至300MB的數據文件。當子節點個數為4時，兩種應用傳輸效率結果如圖6，測試次數為3次，結果取平均值。當數據量逐步增大時，在中心節點同等網絡流量條件（不超過1MB）下，當數據文件大于10MB時，P2P應用傳輸效率優于AFD應用。從理論上分析，P2P應用通過子節點之間的網絡流量消耗換取了效率的提高。在數據總量較小時，由于P2P應用還存在節點相互握手和與Tracker服務的交互訪問導致效率低于AFD應用，而當傳輸大文件時，P2P應用對提升多節點互傳的效率起到明顯的作用。（2）節點個數對于傳輸效率的影響。為了與實際業務場景更接近，進行大量小文件在不同節點數條件下的傳輸測試，選擇單個文件大小在50B～150KB的總大小約28MB的1000個小文件，這些文件被打散分布在至少3級層次的目錄中。子節點個數分別設定為2～6個，將3次測試的平均結果記錄在圖7中，可以看出：當節點個數逐步增大時，在中心節點相同網絡流量條件下（不超過30KB），AFD應用的傳輸時間成線性增長，而P2P應用隨節點增多產生了明顯的加速效應。

3.3小規模業務試用通過可行性模擬驗證和性能比較試驗，基于P2P的氣象數據共享應用可以滿足單數據源多目標節點的氣象數據共享需求，并且在不增加中心節點資源消耗的情況下隨著數據量和目標節點增加，P2P的傳輸效率也隨之提高。考慮實際業務應用效果，我們將該應用部署在氣象寬帶網的部分省級節點上開展小規模業務試用。選取北京、四川、河北、廣東、湖北、內蒙等省級節點，在MPLS－VPN網絡中使用PC服務器進行試驗，操作系統為SUSELinux，選擇實時衛星資料進行傳輸，各節點傳輸速率控制在1MB／s內，試驗結果表明，全部數據在150s內完成了176MB文件在所有省級節點的傳輸。此外，在相同的網絡環境下，我們還進行了氣候模式數據文件的傳輸試驗，模式數據量為2GB，在各節點傳輸速率控制在1MB／s內時，P2P用時20min完成了全部數據在6個省級節點的共享傳輸。而對于AFD應用，采用單線程方式，即使不限制中心節點傳輸速率，全部共享完所有數據耗時也超過了1h。利用P2P技術的一個附加好處是：不需要對共享的目錄結構進行傳輸配置，因為P2P應用將所有目錄信息都記錄在torrent文件中，接收端的目錄結構和發送端的目錄結構在默認情況下會保持一致。而AFD應用必須逐一配置指定路徑來保證資料傳輸到目標節點的對應目錄，當目錄數過大時容易導致中心節點配置錯誤。

4結論

為解決單一數據源節點向多目標節點共享傳輸氣象資料業務的中心節點性能瓶頸，設計并實現了一種基于P2SP模式的氣象數據共享應用，采用BitTorrent協議以充分利用各節點間的網絡資源來提高傳輸效率。同時，通過節點流量控制來保證整個傳輸對網絡帶寬資源消耗的可控。在單源多目標共享場景中，消耗中心節點相同資源，基于P2P的應用效率高于傳統的C／S模式，并且隨著共享節點數的增多以及數據量的增大，效率的提升越明顯。盡管基于P2P的氣象數據共享應用在特定場景試驗中取得了比較好的結果，但是氣象實時數據共享傳輸業務是一個復雜場景的時效和安全要求均很高的業務，P2P的實際業務應用仍需要進行深入的研究和更廣泛的試驗，才有可能成為現有業務通信傳輸的一種有效補充。致謝：感謝北京市、湖北省、河北省、廣東省、內蒙古自治區、四川省等氣象信息相關單位對本文研究工作的大力支持。

作者：王甫棣王鵬何恒宏單位：國家氣象信息中心通信臺