電力計(jì)量主站采集鏈路監(jiān)測技術(shù)探討范文

本站小編為你精心準(zhǔn)備了電力計(jì)量主站采集鏈路監(jiān)測技術(shù)探討參考范文，愿這些范文能點(diǎn)燃您思維的火花，激發(fā)您的寫作靈感。歡迎深入閱讀并收藏。

摘要:隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈爆發(fā)式增長趨勢，如何建立一套切實(shí)有效的電力計(jì)量關(guān)鍵業(yè)務(wù)全鏈路監(jiān)測體系，加強(qiáng)對各關(guān)鍵業(yè)務(wù)鏈路級的監(jiān)測，進(jìn)一步提高電力計(jì)量主站運(yùn)維效能，值得深入探討與研究。本文以南方電網(wǎng)某省電力公司為例，通過分析電力計(jì)量主站運(yùn)行監(jiān)測現(xiàn)狀問題以及南方電網(wǎng)相關(guān)政策要求，設(shè)計(jì)了基于典型場景分析、監(jiān)測對象與指標(biāo)界定、技術(shù)路線設(shè)計(jì)、監(jiān)測信息攔截收集、傳輸與匯聚、數(shù)據(jù)處理展現(xiàn)的電力計(jì)量主站采集鏈路監(jiān)測整體方案。

關(guān)鍵詞:電力計(jì)量;主站采集;鏈路監(jiān)測;技術(shù)設(shè)計(jì)

當(dāng)前電力行業(yè)發(fā)展面臨供給側(cè)結(jié)構(gòu)性改革、售電市場放開、能源新技術(shù)涌現(xiàn)等變化，隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈暴發(fā)式增長趨勢，對電力計(jì)量主站運(yùn)行水平提出了更高要求，如何建立一套切實(shí)有效的電力計(jì)量主站采集鏈路監(jiān)測體系，加強(qiáng)對各關(guān)鍵業(yè)務(wù)鏈路級的監(jiān)測，進(jìn)一步助力電力計(jì)量主站運(yùn)維效能提高，值得深入探討與研究。

1電力計(jì)量主站采集鏈路監(jiān)測技術(shù)架構(gòu)

1．1系統(tǒng)架構(gòu)

電力計(jì)量主站采集鏈路監(jiān)測系統(tǒng)是由電力計(jì)量主站、通信網(wǎng)絡(luò)和采集終端共同構(gòu)成的，以此實(shí)現(xiàn)對所有電力用戶數(shù)據(jù)信息的采集、分析、處理以及應(yīng)用。

1．2系統(tǒng)主站

電力計(jì)量主站采集鏈路監(jiān)測系統(tǒng)主站是由應(yīng)用服務(wù)器、接口服務(wù)器、業(yè)務(wù)處理器以及通信前置機(jī)共同組成的。其中，應(yīng)用服務(wù)器可以向廣大電力用戶提供數(shù)據(jù)和Web等的優(yōu)質(zhì)服務(wù)，接口服務(wù)器可以實(shí)現(xiàn)數(shù)據(jù)信息的存儲和管理，業(yè)務(wù)處理器可以實(shí)現(xiàn)對數(shù)據(jù)信息的實(shí)時備份，更進(jìn)一步保證了數(shù)據(jù)信息的安全性;通信前置機(jī)具有通信調(diào)度、鏈路管理以及信息數(shù)據(jù)統(tǒng)計(jì)等的功能。

1．3通信網(wǎng)絡(luò)

通信網(wǎng)絡(luò)作為整個電力計(jì)量主站采集鏈路監(jiān)測中的一個重要組成部分，對于系統(tǒng)的優(yōu)劣和應(yīng)用范圍要求很高，其需要借助先進(jìn)的技術(shù)手段，才能將搜集到的數(shù)據(jù)信息匯總到系統(tǒng)主站上，使其具備主端命令下達(dá)的重要功能。

2電力計(jì)量主站采集鏈路監(jiān)測的建設(shè)必要性

2．1省公司計(jì)量主站采集運(yùn)維現(xiàn)狀及問題

南方電網(wǎng)某省電力公司計(jì)量主站自上線至今已穩(wěn)定運(yùn)行多年，在服務(wù)器、中間件、數(shù)據(jù)庫等系統(tǒng)狀態(tài)及覆蓋率、自動抄表率等業(yè)務(wù)指標(biāo)全部實(shí)現(xiàn)了高效的監(jiān)測。伴隨著公司系統(tǒng)規(guī)模的不斷壯大和業(yè)務(wù)量的逐年增加，導(dǎo)致內(nèi)部資源對象、業(yè)務(wù)層級和容器層級的監(jiān)管和排查變得越來越麻煩。當(dāng)前電力計(jì)量主站系統(tǒng)監(jiān)控暴露出以下幾方面的問題:

(1)故障定位效率需提升。在對系統(tǒng)進(jìn)行一段時間的迭代建設(shè)以后，完善功能層面的各項(xiàng)信息，架構(gòu)也隨之優(yōu)化升級，監(jiān)控系統(tǒng)故障定位效率也面臨著新的機(jī)遇，如監(jiān)控資源對象動態(tài)可變，無法進(jìn)行預(yù)先配置［1］;缺乏一致性的監(jiān)控視角，使得故障排除效果不夠理想。

(2)趨勢預(yù)測能力差。以往使用的傳統(tǒng)監(jiān)控預(yù)警算法里，監(jiān)控?cái)?shù)據(jù)影響著預(yù)警閾值的選取，暗漲和陰跌的數(shù)據(jù)變化不夠明顯，數(shù)據(jù)變化趨勢控制非常困難，漏報(bào)、誤報(bào)的情況時有發(fā)生。借助被動預(yù)警方式的系統(tǒng)擴(kuò)容手段對異常問題進(jìn)行處理，因此，需要有完善的預(yù)測機(jī)制來高效地預(yù)測可能會發(fā)生的問題。

(3)傳統(tǒng)抄表弊端。由于傳統(tǒng)的抄表工作不論是管理方式還是作業(yè)流程都比較分散，且受人為的影響因素較大。加之，傳統(tǒng)抄表工作主要由抄表人員通過使用電話、短信或者上門等的方式實(shí)現(xiàn)電費(fèi)的催繳，缺少統(tǒng)一的繳費(fèi)管理，無法有效完成電費(fèi)的收繳，且監(jiān)管力度不夠以及催繳效果不理想等的弊端。

2．2南網(wǎng)數(shù)字化轉(zhuǎn)型與電能量數(shù)據(jù)深化應(yīng)用要求

近年來，南方電網(wǎng)公司提出了“數(shù)字南網(wǎng)、智慧南網(wǎng)”的建設(shè)目標(biāo)，而計(jì)量自動化系統(tǒng)作為南網(wǎng)關(guān)鍵組成系統(tǒng)之一，是支撐南網(wǎng)數(shù)字化轉(zhuǎn)型成功的關(guān)鍵組成要素，其在“數(shù)據(jù)資源、數(shù)字電網(wǎng)、數(shù)字運(yùn)營、數(shù)字能源生態(tài)”建設(shè)中發(fā)揮著巨大的作用。同時，南方電網(wǎng)公司在2020年也提出了“開展新一代計(jì)量自動化主站技術(shù)研究”“加強(qiáng)主站性能在線監(jiān)測”等要求。隨著電力計(jì)量設(shè)備種類、數(shù)量的持續(xù)增長，采集數(shù)據(jù)項(xiàng)、頻次的逐漸增多，電能量數(shù)據(jù)量呈暴發(fā)式增長趨勢，進(jìn)一步凸顯了電力計(jì)量主站要提升計(jì)量采集能力、加強(qiáng)主站性能監(jiān)測等方面要求。因此，本文建立一套切實(shí)有效的電力計(jì)量主站采集鏈路監(jiān)測體系，加強(qiáng)對各關(guān)鍵業(yè)務(wù)鏈路級的監(jiān)測，進(jìn)一步助力電力計(jì)量主站運(yùn)維效能提高，具有十分重要的意義。

3電力計(jì)量主站采集鏈路監(jiān)測整體設(shè)計(jì)

3．1典型場景分析

監(jiān)控系統(tǒng)的主要作用是全面掌握現(xiàn)場所有場景的運(yùn)行情況，仔細(xì)觀察監(jiān)控系統(tǒng)，能夠及時發(fā)現(xiàn)潛在的問題，并采取措施予以處理。借鑒其他行業(yè)領(lǐng)域全鏈路監(jiān)測技術(shù)應(yīng)用情況，典型全鏈路監(jiān)測場景主要包括以下幾個方面:(1)獲取監(jiān)控?cái)?shù)據(jù)。在對監(jiān)測內(nèi)容、全鏈路調(diào)用等監(jiān)控樣本信息從實(shí)例中獲取時，具有較強(qiáng)的周期性，使用時間序列數(shù)據(jù)庫來儲存這些獲取的信息。(2)可視化展示拓?fù)浒l(fā)現(xiàn)與數(shù)據(jù)狀態(tài)。從客戶端到服務(wù)器端，使網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)、數(shù)據(jù)庫、中間件和應(yīng)用系統(tǒng)等得到了全面的展現(xiàn)，對服務(wù)端應(yīng)用代碼進(jìn)行自動監(jiān)測。(3)應(yīng)用系統(tǒng)報(bào)警。業(yè)務(wù)系統(tǒng)的狀態(tài)信息被及時記錄，科學(xué)設(shè)計(jì)預(yù)警閾值，系統(tǒng)出現(xiàn)問題以后，其某一狀態(tài)就會超出閾值的范圍會自動報(bào)警，顯示出現(xiàn)問題的具體鏈路節(jié)點(diǎn)信息，監(jiān)測系統(tǒng)及時反應(yīng)出來，管理員在第一時間做出判斷。(4)故障診斷分析與定位。鏈路請求分析工具的慢請求，借助深入診斷工具鉆取鏈路信息，從系統(tǒng)網(wǎng)絡(luò)拓?fù)涔?jié)點(diǎn)開始直到代碼型號級別，在分析歷史數(shù)據(jù)和監(jiān)控指標(biāo)以后，及時找到問題的根源，給研發(fā)人員和運(yùn)行維護(hù)人員對問題進(jìn)行處理提供依據(jù)。

3．2監(jiān)測對象和指標(biāo)界

定運(yùn)行全鏈路監(jiān)測是指從全局上下游視角出發(fā)，利用信息采集、計(jì)算與展示技術(shù)，反映呈現(xiàn)監(jiān)測對象即端到端調(diào)用鏈路節(jié)點(diǎn)的健康狀況監(jiān)測指標(biāo)信息，助力業(yè)務(wù)運(yùn)維人員快速發(fā)現(xiàn)、定位、排查問題。其中，端到端調(diào)用鏈路節(jié)點(diǎn)、健康狀況監(jiān)測指標(biāo)信息是運(yùn)行全鏈路監(jiān)測的核心概念。(1)合理的監(jiān)測對象，即端到端調(diào)用鏈路節(jié)點(diǎn)是承載運(yùn)行全鏈路監(jiān)測的必要前提。端到端調(diào)用鏈路節(jié)點(diǎn)，即從請求源頭到最后的結(jié)束調(diào)用的所有中間環(huán)節(jié)，這就是通常意義上的業(yè)務(wù)服務(wù)的調(diào)用路徑。在跟蹤分析調(diào)用路徑以后，及時發(fā)現(xiàn)前后端響應(yīng)報(bào)錯或者是遲緩的根本原因，明確最佳使用路徑，優(yōu)化升級使用性能。(2)符合真實(shí)業(yè)務(wù)特性的健康狀況監(jiān)測指標(biāo)信息是開展運(yùn)行全鏈路監(jiān)測的關(guān)鍵。健康狀況監(jiān)測指標(biāo)，通常包括響應(yīng)時間［2］、TPS［2］(流量)、并發(fā)數(shù)［2］等。監(jiān)測指標(biāo)的計(jì)算因子為指標(biāo)基礎(chǔ)數(shù)據(jù)，使用該計(jì)算因子以后，能夠快速地將指標(biāo)數(shù)據(jù)準(zhǔn)確的計(jì)算出來，從監(jiān)控對象中直接獲取相關(guān)信息，為整個監(jiān)控系統(tǒng)提供可靠的依據(jù)。該系統(tǒng)監(jiān)控的核心內(nèi)容為整個調(diào)用鏈路和監(jiān)控服務(wù)，服務(wù)鏈路和節(jié)點(diǎn)為監(jiān)控對象，以計(jì)算公式和指標(biāo)定義為基礎(chǔ)，最終確定指標(biāo)基礎(chǔ)數(shù)據(jù)的內(nèi)容有請求服務(wù)名稱、接收請求時間、發(fā)送請求時間、響應(yīng)服務(wù)名稱、調(diào)用鏈路ID(即ParentSpanID)、調(diào)用URL以及調(diào)用鏈路全I(xiàn)D(即TraceID)等。

3．3技術(shù)路線設(shè)計(jì)

為確實(shí)保障電力計(jì)量主站采集鏈路監(jiān)控?cái)?shù)據(jù)的真實(shí)性及客觀性，將獨(dú)立開發(fā)建設(shè)監(jiān)控系統(tǒng)，并針對性的開發(fā)實(shí)用化監(jiān)控?cái)?shù)據(jù)采集客戶端，嵌入計(jì)量系統(tǒng)采集監(jiān)控?cái)?shù)據(jù)，并集中采集到監(jiān)控系統(tǒng)服務(wù)端進(jìn)行分析統(tǒng)計(jì)及實(shí)時展示，最終實(shí)現(xiàn)鏈路監(jiān)控的建設(shè)。因此，設(shè)計(jì)開源監(jiān)控組件和分布式組件結(jié)合的監(jiān)測系統(tǒng)技術(shù)架構(gòu)，整個電力計(jì)量主站采集鏈路監(jiān)測從技術(shù)架構(gòu)上會根據(jù)具體業(yè)務(wù)不同有所變化，分為物理層、服務(wù)層、應(yīng)用層。其中:

(1)物理層。應(yīng)用層和服務(wù)層為虛擬化Docker容器，調(diào)度系統(tǒng)和容器管理為Kubernetes，使各項(xiàng)任務(wù)部署變得更加快捷，最大化的完成資源使用和遷移。

(2)服務(wù)層。包括監(jiān)測信息攔截收集、數(shù)據(jù)傳輸與匯聚以及數(shù)據(jù)存儲與處理。

(3)應(yīng)用層。通過可視化Web界面來查詢電力計(jì)量關(guān)鍵業(yè)務(wù)全鏈路、采集信息和監(jiān)測指標(biāo)，同時還提供根據(jù)不同維度的綜合統(tǒng)計(jì)分析應(yīng)用。

3．3．1監(jiān)測信息攔截收集

監(jiān)控的核心問題在于對業(yè)務(wù)系統(tǒng)運(yùn)行數(shù)據(jù)的實(shí)時采集上，為保障數(shù)據(jù)來源可靠和真實(shí)，并且對原業(yè)務(wù)系統(tǒng)的性能影響較小，因此采用了非侵入式探針技術(shù)。非侵入式探針技術(shù)監(jiān)測在采集方式上屬于旁路連接方式，由于不需要在業(yè)務(wù)系統(tǒng)中安裝客戶端，減少了對業(yè)務(wù)系統(tǒng)的影響，避免了給現(xiàn)有業(yè)務(wù)增加管理復(fù)雜度，減少了業(yè)務(wù)運(yùn)行故障點(diǎn)，在監(jiān)測系統(tǒng)出現(xiàn)問題以后，現(xiàn)有的監(jiān)測系統(tǒng)不會受到任何的影響，使系統(tǒng)的穩(wěn)定性得到保證，同時，通過采集方式的熱部署和無縫銜接，還可以保證監(jiān)測系統(tǒng)的可擴(kuò)展性。應(yīng)用在監(jiān)測信息攔截技術(shù)選型上采用Pingpoint。Pin-point是一款全鏈路分析工具，提供了無侵入式的調(diào)用鏈監(jiān)控、方法執(zhí)行。通過選用Pinpoint工具開展探針及數(shù)據(jù)采集工作，公司根據(jù)業(yè)務(wù)需求對其進(jìn)行探針優(yōu)化改造和插件開發(fā)，使它能夠更大程度滿足設(shè)計(jì)需求。

3．3．2傳輸與匯聚

通過監(jiān)測信息攔截收集功能，系統(tǒng)完成了對鏈路監(jiān)測信息的收集后，再由收集器將這些數(shù)據(jù)通過數(shù)據(jù)發(fā)送器負(fù)責(zé)將采集到的數(shù)據(jù)以數(shù)據(jù)流的方式發(fā)送給數(shù)據(jù)匯聚器。其中，數(shù)據(jù)發(fā)送器通常和監(jiān)測信息收集器通常一起部署在同一臺服務(wù)器上，根據(jù)設(shè)置的發(fā)送數(shù)據(jù)間隔，將監(jiān)控?cái)?shù)據(jù)收集器中的信息采用異步線程同步的方式發(fā)送給數(shù)據(jù)匯聚器，減低對計(jì)量系統(tǒng)數(shù)據(jù)采集本身的性能影響。為了使數(shù)據(jù)能夠在監(jiān)測系統(tǒng)服務(wù)端和發(fā)送器之間實(shí)現(xiàn)高效的傳輸，也為了降低海量數(shù)據(jù)入庫和準(zhǔn)實(shí)時計(jì)算導(dǎo)致的性能問題，我們引入了實(shí)時消息隊(duì)列Kafka以及Zookeeper集群的模式作為監(jiān)測數(shù)據(jù)統(tǒng)一匯聚器，以此為基礎(chǔ)，搭建數(shù)據(jù)高速傳輸路徑，使可插拔式集成得以實(shí)現(xiàn)，用戶能夠更加迅速、準(zhǔn)確地獲得監(jiān)測信息，使服務(wù)端與客戶端的流數(shù)據(jù)整合得以較好實(shí)現(xiàn)，為數(shù)據(jù)存儲和流式計(jì)算提供數(shù)據(jù)。

3．3．3數(shù)據(jù)處理展現(xiàn)

數(shù)據(jù)處理是監(jiān)測系統(tǒng)的核心部分，主要通過獲取Kafka中的鏈路、指標(biāo)數(shù)據(jù)，完成數(shù)據(jù)存儲和數(shù)據(jù)計(jì)算兩部分。其中，數(shù)據(jù)存儲采用ElasticSearch，一方面對調(diào)用鏈路、指標(biāo)原始數(shù)據(jù)進(jìn)行存儲，另一方面支持對經(jīng)數(shù)據(jù)計(jì)算后的數(shù)據(jù)進(jìn)行存儲。監(jiān)控?cái)?shù)據(jù)分析是數(shù)據(jù)計(jì)算處理的核心內(nèi)容，以匯總的監(jiān)控?cái)?shù)據(jù)為基礎(chǔ)，使調(diào)用鏈各個節(jié)點(diǎn)上的響應(yīng)時間、TPS、并發(fā)數(shù)和調(diào)用鏈得到準(zhǔn)確的計(jì)算，以此為特征完成邏輯回歸模型的創(chuàng)建。以歷史數(shù)據(jù)中獲取的調(diào)用鏈節(jié)點(diǎn)響應(yīng)時間和并發(fā)數(shù)為基礎(chǔ)，對邏輯回歸模型的有關(guān)參數(shù)信息進(jìn)行有效的訓(xùn)練，準(zhǔn)確地判斷出調(diào)用鏈在正常運(yùn)行狀態(tài)下的安全置信區(qū)域。在預(yù)測調(diào)用節(jié)點(diǎn)響應(yīng)時間、TPS、并發(fā)數(shù)以及給定時間是否正常時，可以使調(diào)用鏈安全置信區(qū)域和邏輯回歸模式來快速預(yù)測出準(zhǔn)確的結(jié)論。一旦發(fā)生問題，要第一時間報(bào)警。在應(yīng)用過程中，針對監(jiān)測系統(tǒng)做了很多定制化的改造，以更高的提高查詢效率，主要表現(xiàn)在以下兩個方面:(1)優(yōu)化查詢［3］。第一，優(yōu)化查詢請求。將“時間戳”參數(shù)加入查詢請求中，實(shí)現(xiàn)相應(yīng)日期索引文件的查詢，防止遍歷Elasticsearch中的全部索引文件。第二，優(yōu)化單個traceID查詢。以往使用的查詢策略會遍歷Elasticsearch中全部的索引文件，并且“時間戳”數(shù)據(jù)也沒有包含在查詢請求中，使具體要訪問的索引文件得不到準(zhǔn)確的確定。依據(jù)具體的天數(shù)來生成索引文件，將“時間戳”數(shù)據(jù)加入請求中以后，只能訪問對應(yīng)日期的索引文件。針對“時間戳”相近索引文件創(chuàng)建時間點(diǎn)時，調(diào)用鏈的span會在兩天內(nèi)的索引文件中查詢到，使時間戳當(dāng)天和第二天的索引文件實(shí)現(xiàn)有效的訪問。(2)預(yù)警算法［6］。監(jiān)控?cái)?shù)據(jù)的暗漲、持續(xù)陰跌或者是微量波動不會被傳統(tǒng)的監(jiān)控預(yù)警算法所發(fā)現(xiàn)，使得故障漏報(bào)的情況時有發(fā)生。對于此類問題，將機(jī)器學(xué)習(xí)算法與mean-shift等均值漂移模型結(jié)合在一起后引入監(jiān)控系統(tǒng)中，實(shí)現(xiàn)對監(jiān)控?cái)?shù)據(jù)變點(diǎn)的準(zhǔn)確查詢。變點(diǎn)主要是指在持續(xù)微量下跌到一定時間以后，變化量累積到一定程度時，變點(diǎn)前后監(jiān)測指標(biāo)會在一段時間范圍之內(nèi)發(fā)生均值漂移。傳統(tǒng)監(jiān)測預(yù)警算法難于識別的陰跌趨勢被均值漂移模型轉(zhuǎn)化成為CUSUM時間序列，通過對歷史數(shù)據(jù)的分析，使用機(jī)器學(xué)習(xí)算法將其變化趨勢自動地反映出來。使用支撐Web應(yīng)用將處理好的數(shù)據(jù)展示出來，工具展現(xiàn)端為用戶提供各項(xiàng)服務(wù)，針對不同的角色提供不一樣的服務(wù)，還能夠?qū)⒇?fù)載預(yù)測、應(yīng)用瓶頸以及采集全鏈路等指標(biāo)狀態(tài)進(jìn)行完美的實(shí)現(xiàn)，最大程度的支撐了典型場景的實(shí)現(xiàn)。

結(jié)語

本文以南方電網(wǎng)某省電力公司為例，通過分析電力計(jì)量主站運(yùn)行監(jiān)測現(xiàn)狀問題以及南方電網(wǎng)相關(guān)政策要求，設(shè)計(jì)了基于典型場景分析、監(jiān)測對象與指標(biāo)界定、技術(shù)路線設(shè)計(jì)、監(jiān)測信息攔截收集、傳輸與匯聚、數(shù)據(jù)處理展現(xiàn)的電力計(jì)量主站采集鏈路監(jiān)測整體設(shè)計(jì)方案。這些內(nèi)容已實(shí)現(xiàn)并開展應(yīng)用，進(jìn)一步提高了電力計(jì)量主站運(yùn)行水平，助力了電力計(jì)量主站運(yùn)維效能提高。且可滿足常見電力計(jì)量采集業(yè)務(wù)運(yùn)行鏈路監(jiān)測需要，對其他電力公司研究設(shè)計(jì)電力計(jì)量采集運(yùn)行全鏈路監(jiān)測具有較強(qiáng)的借鑒意義與可擴(kuò)展性。

作者：林曉慶 單位：貴州電網(wǎng)有限責(zé)任公司計(jì)量中心