數據集市的信用風險論文范文

本站小編為你精心準備了數據集市的信用風險論文參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。

1信用風險數據集市構建探索

1.1信用風險數據集市定位信用風險數據集市的定位是構建一個適應商業銀行數據特點和信用風險管理需求的數據中心系統，為進一步完善商業銀行全方位、多層次的信用風險管控體系服務。通過對海量的內外部數據按不同主題進行區分和加工，計算出各類指標等中間數據和衍生數據，將數據中的隱含信息最大程度的加以挖掘、表達和運用,為信用風險管理提供服務。

1.2信用風險數據集市建設目標信用風險數據集市的總體建設目標是建立一個以信用風險管理為主、面向全行各業務部門的、支持各類信用風險應用的數據集市環境。數據集市的數據范圍需要覆蓋銀行內部客戶方面、交易與投資業務方面、信貸資產業方面的所有細節數據與相關風險應用的派生數據，為各個不同的風險應用系統之間提供數據共享服務，以保證全行一致的風險數據視圖根據信用風險數據集市的定位，并結合商業銀行信用風險管理的需求和特點，系統的建設目標主要包括以下幾方面：1)解決各系統數據分散、彼此獨立的問題，構建全行性的數據平臺,對來自不同系統的數據進行整合后的共享，實現數據的統一管理和利用。2)盡可能多的收集并利用與信用風險相關的各類外部數據，如工商、稅務、征信等方面的數據，使商業銀行內部的信用風險管理從有限的內部資源中延伸到廣闊的外部環境中，利用更多有價值的數據信息為信用風險管理服務。3)對獲取的基礎數據進行掘取和加工，提煉出客戶、產品、行業、機構等不同維度中的隱含信息，分析并掌握數據背后的潛在規律，為信用風險管理提供依據，完成業務數據向信用風險管理信息的過渡。4)面對信用風險管理中不同下游應用系統的數據需求，在集市內部區分不同的數據模型，在集市外部提供統一的數據供應平臺，保證各應用系統間數據的統一性。5)解決行內各部門間信息不對稱的問題，統一內外部監管報表數的據口徑，實現集市自動對不同系統、不同報表之間數據的校驗，提高報表數據質量,并提供靈活查詢工具實現隨時、隨需提取數據生產報表。

2系統總體架構

2.1數據采集方案

信用風險數據集市是對數據進行應用的系統，因此數據采集是保證系統性能和應用效果的前提和基礎。在設計數據采集方案時需要重點考慮數據質量、采集效率、ODS數據庫建設以及數據處理過程ETL的實現。為保證數據質量，除了在系統建設初期通過數據分析和業務部門訪談來查找和修正錯誤數據外，在系統架構的設計中也應該引入數據質量管理和控制機制，在數據采集的源頭上做好數據質量管理和控制，避免因數據質量問題造成上層應用的失真。數據質量管理和控制機制的工作原理如圖1所示。采集來的數據被存儲在數據存儲區中，在數據存儲區之后設定一系列的數據質量檢查規則對數據質量進行檢查。質量檢查規則是通過數據質量規則庫來完成的，數據質量規則庫是事先定義好的檢查規則，當然也可以隨時對其中的規則進行修改和補充。ODS數據庫對數據的采集應當實現的目標是：將內部各業務系統數據及外部不同來源的數據采集至統一的ODS數據倉庫，再經過統一的ETL處理過程后供應給信用風險數據集市，如圖2所示。各業務系統數據先經過ODS匯總后，再統一供應給集市，這樣可大大提高數據采集效率，同時減少數據冗余問題，并節省存儲空間。ETL的處理過程是指數據的抽取、轉換和裝載，主要作用是減少對數據倉庫時間窗口的占用，減少數據的轉換過程。隨著基于信用風險數據集市應用的增多，ODS到ETL的過程應減少依賴性，避免應用的增加造成ETL的重復開發。上述的數據采集架構，從數據的采集路徑與環節看，數據流明確，環節簡單，對原業務系統影響很小。而信用風險數據集市的數據統一來源于ODS，也能保證系統的安全性也較高，且有效避免了重復的數據整合與轉換工作[3]。

2.2系統邏輯結構設計

信用風險數據集市以挖掘數據中的信用風險信息為目的，對于數據的應用應打破關系型數據庫理論中標準泛式的約束，將業務系統的數據重新組織和整理，為各類信用風險應用提供數據支持。在對整個系統的邏輯結構進行設計時，應從面向應用的角度出發，采用“自頂向下”的設計方法，對數據分層處理、逐層加工。按照這個思想，將信用風險數據集市的邏輯結構設計如圖3所示。系統邏輯架構自下而上分為三層：基礎層、模型層和應用層?；A層包括從ODS數據倉庫以及ETL處理過程；模型層包括數據緩沖層、基礎整合層、加工匯總層和應用接口層；應用層指針對信用風險數據的各類應用，如：為相關系統供數、RWA及經濟資本計算、固定報表、靈活查詢、指標查詢等。

2.2.1基礎層的設計基礎層的關鍵在于ETL過程的設計。ETL過程的作用是將ODS獲取的數據，經過一系列加工處理加載進信用風險數據集市的過程。ETL處理流程主要包括以下主要步驟[4]：數據抽?。簲祿槿【褪菍⒓行枰臉I務數據從ODS數據倉庫抽取到ETL的數據轉換區的過程；數據檢查和出錯處理：在數據轉換區中，對源數據質量進行檢查，形成檢查報告，并進行相應的出錯處理，對于嚴重錯誤，需要系統維護人員現場做出相應的處理。數據轉換：數據轉換包括對源系統數據進行整理、剔除、合并、驗證等一系列轉換工作，最后形成集市數據結構所需的數據，存放在轉換區的數據表中。數據加載：數據加載將數據轉換的結果數據加載到集市，并形成數據加載情況的報告。經過以上ETL處理流程，能夠使數據源穩定的、周期性的導入到信用風險數據集市中。

2.2.2模型層的設計模型層是信用風險數據集市的核心，這層的作用是組織信用風險管理所需的數據，形成信用風險類應用的數據基礎?；A區按不同風險主題采用模型化結構存儲信用風險應用所需的各類明細業務數據。因為各類信用風險采用的計量方法不盡相同，因此基礎區按不同風險主題對數據進行整合。又因基礎數據來自不同的源系統，結構復雜多樣，為將這些數據整合、關聯起來，形成完整的信用風險數據信息，同時在結構上保持一定的穩定性和一致性，因此在不同主題下采用模型化結構對帶有同樣業務特征的數據進行分類存儲。在模型層，經過ETL處理后的數據被存儲在數據緩沖層中。數據緩沖層是一個數據臨時存儲區，其作用是等待數據被進一步調用。在數據緩沖層之上是基礎數據整合層，在這層中，集市將按照不同主題域對數據做初步的區分和整理。主題域的劃分是逐層細化的，基礎整合層主要有對公信貸、零售信貸、公共主題、投資交易幾個主題。其中對公信貸包括參與主題、客戶評級、交易活動、業務流程、風險緩釋、債項評級、不良資產、財務信息等二級主題；零售信貸包括個貸、個人征信、信用卡、零售分池、中小企業等二級主題。經過基礎整合層的主題域劃分，各類業務明細數據和外部數據已被做出初步匯總和區分，不同來源的數據經過主題的劃分被有效關聯起來，數據間的聚合程度得到了提高，有利于數據的進一步運用。基礎整合層之上是加工匯總層，加工匯總層完全由應用驅動，根據信用風險管理應用需求來存儲和加工匯總后的指標數據等。該部分可以根據不同應用系統的指標進行劃分二級主題，也可以根據風險的收益、資本、敞口等等進行劃分主題對基礎整合層的數據加以挖掘和提煉，進一步從基礎數據中提取有效信息，產生更多的中間數據、指標數據和衍生數據。信用風險數據集市中，直接與各類應用對接的是應用接口層。這層定義了集市與具體應用間的數據接口、數據文本、視圖和建模款表等，將數據模型中的信息通過具體應用表達出來，使信用風險應用得以實現。

2.2.3應用層的設計應用層是信用風險數據集市建設的目的所在，根據商業銀行信用風險管理方面的具體需求可通過信用風險數據集市支持內部評級系統、風險預警系統等系統的建設，完成RWA及經濟資本和各類指標的計算，提供內外部監管報表的查詢等。在下文中將對信用風險數據集市的具體應用展開進一步探討。

3信用風險數據集市的應用

信用風險數據集市的應用總體可分為三個方面：數據支持、報表和統計分析和決策支持，如圖4所示。

3.1數據支持類應用

數據支持是指為各類信用風險管理類的系統供數，滿足各類信用風險應用系統的數據采集需求，保證這類系統的應用的順利實現。同時也與這類信用風險應用系統進行交互，即不僅為下游應用系統提供數據支持，也吸收這類系統產生的數據結果，用于更多的信用風險管理當中。因此，信用風險數據集市在數據支持方面是雙向的，數據流的進、出兩條線是并行的。

3.2報表和統計分析類應用

報表和統計分析的應用分為定制報表和靈活查詢。定制報表指根據信用風險管理的內外部監管報表需求，按確定的報表樣式、數據口徑、取數規則、勾稽關系和報表頻度等制作出直接可用的報表。靈活查詢則是不針對具體報表需求的數據提供，只提供足夠多的數據字段，由用戶自己根據需求選取所需字段并加以組合，形成符合自身需求的報表或查詢結果。

3.2.1風險分析主題的劃分在實現報表和統計分析類的應用中，應重點考慮兩方面問題：一是如何最才能大程度的滿足各類不同的報表或數據查詢需求，二是需要考慮隨著業務的發展以及信用風險管理的不斷深入，報表和統計分析的需求還將不斷增長和擴展。從這兩點出發，需要將數據區分成不同的風險分析主題。風險主題的劃分應從報表及統計分析的需求出發，先把集市中已有的數據區分成諸如資產質量、不良資產、預警監控等不同主題，再對每個主題進行挖掘和補充，利用已有數據產生更多隱含數據，豐富每個主題的數據字段。每個主題之間是彼此獨立但又相互調用的關系。除了劃分風險分析主題外，商業銀行還可以針對自身的需求和特點建立專題話的分析主題，如集團客戶分析，關聯交易分析等。

3.2.2報表工具的選擇報表和統計分析類應用的另一個難點就是靈活查詢的實現問題。提供靈活查詢功能的目的在于使用戶可根據需要隨時提取數據信息或生成報表。因此，靈活查詢需要結合專門的報表工具才能得以實現。綜合考慮報表工具的緩存能力、數據提取的靈活程度等方面，選擇了ORACLE公司的BIEE報表工具。它不僅在數據緩存和提取上表現良好，還可以完整的連接企業內各個異構數據源，從而使報表制作變的更加智能。用戶可以通過不同數據字段、度量維度和分析維度輕松組合出所需的報表，必要時還可以通過圖形展示。

3.3決策支持類應用

決策支持引進不同的決策分析模型，通過大量的數據計算對某個風險專題進行推演，其計算結果可反映管理決策的可行性或給出可供選擇的方案。如RWA及經濟資本的計算、壓力測試、組合管理等都是信用風險數據集市在決策支持方面的應用。

4結束語

本文從商業銀行信用風險管理發展的需要出發，結合內外部監管要求，探討了信用風險數據集市的建設方法，并詳細闡述了系統在數據質量控制、數據模型設計和具體運用方面的構建思路并給出解決方案。從商業銀行信用風險管理的發展趨勢來看，信用風險數據集市必將過渡更為包含更多數據信息的大數據系統，并且還要從獨立的系統發展成為與云端數據交互的共享系統。

作者：管薇薇周凱單位：江蘇銀行風險管理部