作者 |陳浩（交通銀行蕪湖分行，九瓜財經圈專欄作家）。
* |九瓜金融圈。
隨著企業資訊化的發展，銀行建立了眾多的資訊系統，幫助企業處理和管理內外部業務，從而產生了大量的資料資源。
金融行業大量的資料資源由於行業特點存在以下困難：
1.金融業務中存在大量非結構化資訊。 金融行業在資料分析方面有著悠久的歷史和豐富的經驗，這就是為什麼它以紙質形式積累了大量的業務資料，如合同文字等資訊。
2.財務資料分布廣泛。 以商業銀行為例，大量的資料會分散在總行、分行、二級分行等不同層面，並沒有完全集中在總行層面，更不用說不同機構之間的資料共享了。
3.資料標準不一致。 以個人徵信業務為例，不同資料庫系統在資料賬戶標準、資料編碼標準、資料介面標準、資料分類標準、資料安全標準等方面存在重大不一致。
4.資訊孤島現象嚴重。 金融機構資料庫系統異構較多，隨著業務的發展，外掛程式系統難以整合到核心系統中，造成資訊孤島問題。
銀行如何處理大量的資料資源是研究的熱點和難點。
經過多年的資訊化建設，國內金融機構也通過傳統的“先建資料倉儲，再用人力開發報表”的方案積累了大量資料，但其產生的有限分析結果極其有限。 這種模式由技術人員主導，他們可能不知道“哪些資料是有用的”，而業務人員則不清楚“有用的資料在哪裡”。 在資料運營中，兩個部門的合作不可避免地會出現響應慢、靈活性差、共享困難等問題。
商業智慧型（BI）的應用，讓業務使用者通過自然語言完成資料自動抽取、自主資料分析、自助資料探勘、自助資料視覺化，甚至完成資料探索。 除了在前端設計更優化的UI布局邏輯外，在後端搭建資料治理合作平台，將金融行業雜亂的資料轉化為簡潔明瞭的分析結果也同樣重要。 所有這些流程都需要技術人員和業務人員打破孤島，保持親密關係並協同工作。
商業智慧型（BI）是利用資料倉儲技術，通過資料預處理（資料提取、轉換、載入、ETL），並通過各種查詢分析工具、線上分析處理（OLAP）工具或資料探勘工具，將各種源系統資料儲存到資料倉儲中，實現資料的收集、管理、分析和呈現，並將業務和管理資料轉化為可用於企業決策的資訊。 系統主要包括資料預處理、資料倉儲、資料呈現和資料探勘四個模組。
a） 資料倉儲的概念。
資料倉儲，根據 William H根據 Inmon 在《構建資料倉儲》中的定義，資料倉儲是面向主題、整合、時間變化且不可丟失的資料集合，支援管理部門的決策過程。 資料倉儲具有以下優秀功能：
1）資料倉儲中的資料是面向主題的。資料倉儲中的資料是按主題區域組織的，這些主題區域通常是使用者使用資料倉儲進行決策的重點。 銀行資料倉儲的典型主題包括應收賬款、理財產品、銀行**、電子票據、貸款、存款、客戶等。
2）資料倉儲中的資料是整合的。資料倉儲中的資料可以來自多個分散的運營資料，資料倉儲的建立就是對資料進行提取、提純、轉換、載入、編碼的過程。
3）資料倉儲中的資料會隨時間而變化。一般來說，企業資料倉儲中的資料時間段通常為 3-5 年，這比作業系統中的資料時間段要長得多。
4）資料倉儲中的資料不可更新。由於資料倉儲中的資料是在某個時間點生成的一系列複雜快照，因此為決策提供資料所涉及的操作主要是對資料的查詢。
2）銀行資料倉儲建設。
為了實現分散在各地、以各種形式儲存的金融資料的整合，建立科學合理的指標體系和資訊採集機制，整合資訊資源，構建系統完整、內容全面、資料質量高、權威可靠、提取和查詢分析方便的資料中心，資料倉儲是最佳選擇。
銀行資料倉儲系統需要收集企業內部生產管理系統與市場運作相關的所有資料來源，包括核心業務系統、信貸系統、財務管理系統、特色業務系統、ECIF系統（企業客戶資訊系統）、風險管理系統、ECRM（企業客戶關係系統）等方面的資訊， 對它們進行標準化和整合，然後根據客戶資訊、存款、貸款、財務管理、風險管理、特色業務等主題進行標準化和整合，將資料以資料集市的形式儲存，並提供多維度的報表和挖掘工具，為分析師提供資料倉儲系統和分析平台，解決分析師之前面臨的資料分散和不一致問題。
1.分析工作缺乏連續性。
銀行資料倉儲的架構由資料整合層、業務處理層、決策支援層和資料表示層組成，如圖1所示。
圖 1：銀行資料倉儲架構圖。
1）資料整合層。
資料整合層資料整合層提取現有業務系統的資料，補充歷史資料的採集，匯入外部資料，對這些資料進行採集、清洗、轉換（ETL）和分類儲存。 資料操作的提取、轉換和載入就是我們通常所說的 ETL 過程，非常複雜，約佔構建資料倉儲總時間的 70%
資料提取：資料提取的任務是從資料來源中提取資料，為資料轉換和資料載入做準備。 銀行的資料來源通常包括 db2、gaussdb、kylin、mysql、fi、prestosql 等資料來源。
資料轉換：資料轉換的任務是將資料來源中提取的資料統一進行轉換，形成符合資料倉儲要求的常規資料，為資料載入做好準備。
資料載入：資料載入的任務是將提取和轉換後的資料載入到資料倉儲中。
ETL操作後，可根據客戶資訊、存款、貸款、理財、風險管理、特色業務等不同主題對海量資料資源進行分類儲存，為後續提供有效的資料支撐。
2）業務處理層。
業務處理層，包括財務資料、元資料和業務處理應用系統，實現互動式資料訪問、基礎報表生成、資料共享、資料上報和資料維護等功能，對分類中儲存的資料進行處理，從而獲取不同主題的資料，為決策分析提供支援和資料服務。
3）決策支援層。
決策支援層是對統計資料進行邏輯分類和建模，形成分析資料，並利用相應的經濟模型、分析和資料探勘工具進行決策分析和預警分析。
4）資料表示層。
由於不同的使用者對資料倉儲系統有不同的需求、觀察角度和觀察方法，因此資料倉儲系統應該能夠提供多種資料呈現方式，以滿足不同使用者的需求。 除了展示日常固定資料應用支援外，銀行的資料倉儲系統還可以通過不同的角色進行個性化，結合不同使用者的操作和資料的分類，以報表、圖形、辦公工具等多種形式展示，使資料展示更符合使用者使用習慣。
1）商業銀行BI平台建設。
因應資料治理和資料應用需求，全行全面推進“集團資料管理與應用平台”建設。 平台主體包括BI自助分析，可為銀行各部門提供一站式資料服務，包括自助資料檢索、自助分析、深度建模、資料價值挖掘等。
商業銀行BI自助分析，可滿足總行、分行不同業務部門、不同族群使用者的多元化、個性化運營管理、績效考核、統計分析、資料探勘等場景，提高全行資料使用效率，培養業務線資料分析專業人才， 建立資料共建共享機制，形成“用資料說話”的企業文化，進一步提公升全行資料治理水平。內建的整合BI工具主要包括業務主題定製、投資組合分析、視角分析等功能，為使用者提供自由探索、自助分析、自助分享的資料應用體驗。
圖2：商業銀行BI自助服務平台架構圖。
某商業銀行BI自助平台架構圖主要由資料連線、資料準備、分析功能、資料顯示、資料檢視五大功能組成，如圖2所示。
1）資料連線。
資料連線是BI平台能夠快速連線到系統提供的已建立業務主題的資料倉儲、資料來源表、資料集等資料資源，這些主體資料將為後續的資料處理和分析提供資料支援。
2）資料準備。
資料準備包括面向技術人員的 SQL 資料集和面向所有使用者的自助服務資料集。 SQL資料集針對部分系統提供的業務主題無法滿足分析需求的情況，技術人員可以自行建立SQL資料集，用於後續的資料看板製作。 自助服務資料集是基於個性化需求的資料集，可以直觀地與多個表關聯，並根據業務需求儲存為自助服務資料集。 這些自助式資料集可用於儀表板、清單表和資料透視表的資料分析。
3）分析功能。
資料準備好後，分析功能利用資料探勘技術，應用相應的經濟模型對資料進行操作，借助多維度分析、資料鑽取、資料聯動等，可以滿足日常資料處理需求，為後續決策分析和預警分析提供資料支撐。
4）資料呈現。
目前，商業銀行可以提供的展示方式包括列表表、資料透視表、折線圖、條形圖、餅圖、漏斗圖、雷達圖、混合圖、富文字圖、過濾器、**元件、散點圖、工具圖、矩形樹圖、桑基圖、索引卡、排名卡、標籤元件、URL鏈結等元件。
5）資料檢視。
在資料操作室製作的資料看板儲存區域，可以通過資料大屏、電子**、組合分析、透視分析等方式進行檢視。 使用者可以建立自己的統一資料看板，通過OA、核心系統和移動端共享資料，也可以通過其他使用者共享和檢視自己需要的資料，從而在第一時間提供決策依據。
BI平台建設完成後，商業銀行BI自助平台為報表的快速開發和快速迭代提供了解決方案，無論是技術人員還是業務部門分析師，都可以根據既定的業務主題建立各種展示報表，通過組合分析、透視分析等功能，根據需要從寬表中選擇字段， 並設定表格頁首和頁尾的顯示樣式。只要資料來源滿足您的需求，就可以快速自定義新報表。
2）商業銀行BI自助服務平台的應用。
在傳統的報表開發模式下，新報表的開發需要經過需求編寫、方案設計、系統開發、技術測試、業務測試、線上生產等多個環節，繁瑣且耗時。 業務人員可通過BI自助平台自行完成日常資料借用操作，取代傳統人工資料借用或技術人員後台資料檢索的模式，減少常規重複資料借用訂單數量，進一步提公升業務部門資料使用效率。 商業銀行BI平台上線後，應用超過2000個，以下兩個例子是商業銀行BI自助平台的相關應用。
1.個人商業貸款客戶結算量系統。
為了隨時檢視個人商業貸款客戶結算量相關的資料統計，同時為個人商業貸款客戶的利率定價提供資料依據，依託總行資料倉儲BDHA的大量資料資源，對個人商業貸款客戶的結算資料進行定製開發， 並且通過系統自動生成報表，解放了人工，節省了人工成本。
功能說明：對個人商業貸款客戶及其對應企業的有效結算量和落戶資料進行統計處理，方便分行參考定價，可根據時間範圍進行靈活統計，統計結果可匯出至Excel。
統計處理規則如下：
將個人創業貸款的結算資料設定為對應企業的結算資料+個人的結算資料，具體模型規則設定如下：
假設客戶所有個人賬戶的日流入量為A，日流出量為B，則個人的日淨流入量為C=A-B（如果淨流入量為負數，即C<0，則C=0將統一取值）。
如果所有公司賬戶的日流入量為d，日流出量為e，則公司日淨流入量為f=d-e（如果淨流入量為負數，即f<0，則f=0）。
那麼客戶的每日淨流入量為x=（a 2+d）-（b 2+e）（若x<0，則x=0為統一取）。
任何時間段內客戶淨流入為x=x1+x2+....xn， 個人淨流入 = C1 + C2 + .CN，公司淨流入為F1+F2+。fn
同時，為了提高客戶交付的貢獻度，考慮到系統統計也會記錄客戶流向企業客戶的情況，因此將客戶交付單獨核算，假設每月交付給企業客戶為Y，那麼任意時間段的代理發行量y=y1+y2+....+yn。為了提高客戶對代發貨的重要性，在最終的計算中，代發貨將計入客戶流入量的四倍。
因此，修正後，客戶的總結算流入量設定為z=x+4y。
最後，為了平衡不同客戶貸款帶來的差異，以結算貸款比例作為最終考核指標。
任意時間段結算貸款比例=客戶結算流入日均貸款。
圖3：個人商業貸款客戶結算量系統功能流程圖。
決策者和客戶經理可以隨時隨地檢視個人商業貸款客戶的結算量，決策部門和相關人員角色可以結合市場實時分析個人商業貸款客戶的利率定價，促進業務發展。
2.非現場監管報告系統。
資料質量管理是銀行經營管理的基礎性工作，也是銀行健康發展和風險管控的有效支撐。 近年來，隨著監管部門對資料質量要求的逐步提高和報送資料的逐步增加，為減輕基層負擔，減輕基層轄區工作量，減少人工資料統計誤差，提高工作效率，全面提公升資料管理水平， BI工具用於一次性製作和永久使用，減少重複工作，提高效率，並根據需求快速準確地提供所需的資料。
系統設定了“分行資料匯入”、“省行資料匯入”、“展示報表”和“資料比對”四個模組。
一是打造資料採集平台，對轄區銀行的分散資料進行採集，可實現資料的有效集中化，減少人工統計的壓力和誤差，打破網點之間資料孤島的局面，為後續決策管理和資料服務提供強有力的資料支撐。
二是實現資料賦能，統一資料管理是利用大資料向資料分析方向的創新探索，資料分析方法和模型也可以應用於其他業務板塊，為全行業務協同發展奠定堅實基礎。
報表總分核對系統打造了資料採集平台，對轄區銀行的分散資料進行採集，可實現資料的有效集中化，減少人工統計的壓力和誤差，打破網點間資料孤島的局面，為後續決策管理和資料服務提供強有力的資料支撐。
非現場監管報告總分核查系統，可促進形成全轄區資料共享機制，實現科技賦能。 有效減輕基層壓力，減少業務單位資料上報工作，取資料取系統，簡化工作流程，提高工作效率，減輕基層負擔同時，可以提高資料統計質量，不斷提高統計隊伍素質，促進統計制度建設和完善資料質量控制長效機制，夯實資料質量基礎，提高統計分析能力。
商業銀行BI的建設，不僅解決了大量資料共享難、資料不一致等問題，而且提高了資料質量為報表的快速開發和快速迭代提供了解決方案，減少了重複性工作，提高了工作效率。 商業銀行BI平台為決策管理和資料服務提供了強有力的資料支撐，提高了整個銀行的工作效率，也提高了向銀行運輸的資料管理水平。