金融風險建模概述

了解信用審批業務的基本流程了解ABC記分卡是什麼，有什麼區別，了解風控建模的流程，掌握記分卡模型，正負樣本定義方法，知道如何構建特徵，如何評估特徵，授信審批業務的基本流程，四因素認證：銀行卡持卡人姓名、身份證號碼、 銀行卡號、手機號碼

網際網絡金融風控系統主要由使用者資料三部分組成：使用者基本資訊、使用者行為資訊、使用者授權資訊、外部訪問資訊。 資料採集會涉及埋點和爬蟲技術，行業內的資料基本大同小異。免費運營商資料、安卓可抓取手機內部資訊（APP名稱、移動裝置資訊、部分APP內容資訊）、充電信用資料、各種資訊驗證、外部黑名單等現金貸款和消費金融等特定場景都會有自己的資料可供使用，如阿里、京東.com自有電商資料、滴滴司機資料、 順豐中通快遞資料、使用者基本資訊（聯絡方式、通訊錄、教育背景等）。 使用者行為資訊（操作應用程式、註冊、點選位置時的行為。 使用者授權資訊（運營商、學術資訊網路、裝置IMEI...外部訪問資訊（P2P信用、芝麻信用等其他金融機構。 政策系統：收集使用者資訊後，將使用者資訊錄入策略引擎、欺詐規則、訪問規則（年齡、地區、通訊錄、行為規則）、運營商規則（呼叫規則）、風險列表（黑名單、失信名單、法院名單）、網貸（長、白）。機器學習模型：欺詐檢測模型、准入模型、信用模型、風險定價、配額管理、流失預警、損失修復。

風控模型包括一張B卡。 該模型可以使用相同的演算法，一般使用逾期天數來區分正負樣本，即目標值y（0或1）貸款前申請記分卡中的貸款行為記分卡beh**ior記分卡貸後催收記分卡c卡由於用途不同， Y的值可能不同，公司有內部提醒，也有外部提醒。對外收款率低，單價貴，C卡的Y可以根據內部是否召回來定義。 準備明確的需求、模型設計、業務抽象、分類、回歸問題定義、標籤（目標值）樣本、設計特徵、工程資料處理，選擇合適的樣本，並將所有資訊作為基本特徵進行匹配，構建特徵評估模型、模型訓練、模型評估、模型調優、線上操作、模型交付、模型部署、模型監控專案準備期特徵工程、模型構建、線上運營。

定義您的需求目標群體：新客戶、優質老客戶、逾期老客戶產品：額度、利率市場策略：冷啟動、開拓市場、提高收益時限：應急使用、長期部署例項企業需要為新客戶開通小額現金貸產品，搶占新市場高風險瘦資料新客戶應用記分卡模型設計業務抽象成分類回歸問題風控場景下的問題通常可以轉化為二元分類問題：信用評分模型預期用於使用者是否會逾期，逾期使用者1營銷模型預期用於使用者被營銷後是否會來借貸， 而使用者1未借貸的模型，有望用於使用者是否會與使用者1失去聯絡在風控業務中，只有欺詐檢測不是二元問題。 由於樣本量不足，它可能是無監督學習模型模型 演算法 規則模型 邏輯回歸 整合學習 融合模型 模型輸入：資料來源 時間跨度 Y 標籤定義 在構建信用評分模型時，原始資料中只有每個人當前的逾期情況，沒有負樣本，負樣本需要人工構建 通常選擇乙個截止點（閾值）， 當逾期超過一定閾值時，將樣本視為負樣本，以後不會還錢，例如，逾期15天是正負樣本的標記閾值，逾期超過15天的客戶為逾期。在 15 天 y = 1 時，y=0 如何定義只有按時付款的人和逾期較少的人才會被標記為 0。例如，將逾期 5 天的 5 天和未逾期 5 <至 15 天的資料（灰色樣本）從樣本中刪除，去除“灰色樣本”會使樣本分佈趨於二項式，更有利於模型學習。 “灰色樣本”通常放置在測試集中，以確保模型在訓練後能夠區分樣本的那部分。 樣本選擇的代表性：樣本必須充分代表總體。 例如，消費貸款客戶的資料不能直接用於小額現金貸款的充足性：樣本集的數量必須滿足一定的要求。 記分卡建模通常需要至少 1500 個正負樣本。 隨著樣本量的增加，模型的效果將顯著提高時效性：當樣本量足夠時，通常要求樣本的觀察週期盡可能接近實際應用時間節點。 例如，在客戶群穩定的場景中，例如銀行，觀察期可能長達一年半到兩年。 排除：雖然建模樣本需要具有整體代表性，但部分法律規定，當前樣本集不應包含不滿足特定場景借貸需求的使用者，如行為記分卡使用者、不還款使用者、欺詐使用者等。 記分卡建模通常要求正負樣本數“=1500，但當總樣本量超過50000時，許多模型的效能不再隨著樣本量的增加而顯著提高，資料處理和模型訓練過程通常很耗時。 如果樣本量過大，會給訓練過程增加不必要的負擔，需要對樣本進行二次抽樣。 由於陰性樣本通常很少，因此只有陽性樣本不足。 常見的欠取樣方法分為：隨機欠取樣：直接對正樣本進行欠取樣，達到預期比值。 分層抽樣：抽樣後，開發樣本、驗證樣本和超時樣本中正負樣本的比例相同。 等比例抽樣：正樣本與正負樣本的比例相等，即正樣本量與負樣本量之比為1：1。 需要注意的是，取樣後需要為陽性樣本新增權重。 如果將陽性樣本作為原始樣本進行取樣，則取樣後陽性樣本的權重為4，陰性樣本的權重保持在1。 因為後續的計算模型在測試指標和預期壞賬時，需要將權重帶入計算邏輯中，以還原指標在實際情況下的估計值，否則預期結果與實際部署結果之間會有明顯的偏差。 當負樣本較少時，需要進行成本敏感的加權或過樣處理，觀察期和履約期是指使用者申請信用產品之前的時間段，履約期是定義好壞標籤的時間窗，如果在此時間窗內觸發不良定義， 這是乙個糟糕的樣本，反之亦然。例如，如果要建立卡模型，觀察期為12個月，履約期為3個月，以使用者在借貸前12個月的歷史行為表現作為變數進行後續建模，如果使用者在到期後3個月內未還款，則認為該使用者為負樣本， 那麼效能週期說是3個月，在建模之前，需要將訓練資料測試資料劃分資料集分成3個子集： 開發樣本（develop）： 開發樣本和驗證樣本採用分層抽樣方式劃分，確保兩個資料集中的負樣本佔驗證樣本（估值）的比例相同： 開發樣本與驗證樣本的比例為 6：4 的時間外 （OOT）：整個建模樣本中的最新資料通常為 u例子：

客戶群體樣本設計選擇：新客戶、未逾期老客戶、逾期老客戶培訓集測試集 1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 合計 100200300400500600700800 壞 366815121424 壞 %3% 3% 2% 2% 2% 2% 2% 3% 客戶群體描述：首單使用者，內部資料豐富，消除高危職業，收入範圍在xxxx客戶群 標籤： 好：fpd<=5 壞：fpd>15，（5,15）灰度樣本，不參加訓練，參與測試和評估資料研究，明確目標人群可用的資料，明確資料採集邏輯。

闡明資料的質量、覆蓋率和穩定性。

對特徵構建的誤區：獲取資料後，立即進行特徵構建，在特徵之前需要明確：資料來源對應的具體資料表，繪製ER圖的樣本集對特徵進行評估，B卡的樣本集不能包含逾期資料，C卡的樣本集不能包含按時還款的資料特徵框架， 確保資料使用維度綜合考慮，確定思維框架，與組內其他人討論，明確資料來源對應的具體資料表，明確資料來源：（de data engineer Data Warehouse Engineer）。

資料分析師獲取的資料可能如下：資料倉儲的原始表、資料倉儲的重構表、資料倉儲的原始表、資料倉儲的重構表可能因為更新時間不同而具有不同的資料量！盡量使用資料倉儲工程師處理的重構表，確保邏輯統一、實時**，確保生產庫和資料倉儲的資料一致（難）畫出類似er的圖資料關係 一對一、一對多、多對多。

編寫 SQL 查詢時需要從使用者列表開始，加入其他表時無法選擇distinctuser_idfrom訂單表清晰評估特徵樣本集新申請人無內部信用資料無逾期老客戶當期無逾期資訊逾期客戶和未逾期客戶的還款資料一定有很大差異如何從原始資料構建特徵：指定特徵框架，確保充分考慮資料使用維度每個屬性都可以由r（新近度）f（頻率）M（貨幣）三個維度的思維， 構建GPS特徵的經緯度是最近的GPS省市，應用時間GPS位於GPS出現的省市，在gGPS出現的省市中，MGPS最多的省市出現在GDP最多的省市， 人口， 壞賬率， 其他統計資料

設計實驗、模型訓練和模型評估。

在設計實驗訓練模型時，影響模型效果的可能因素很多，我們需要通過設計實驗來驗證哪些因素會提高模型的效能。基尼報告1：差異化，在不同細分市場中捕捉壞人的能力壞人總數，壞人率，KS [300， 550] [500， 600] [600， 700] [700， 750] [750， 800] [800， 850] [850， 950] 報告 2：跨時間穩定性得分段測試集 1 測試集 2 線上 1 線上 2 週期。300， 550]10%10%[500， 600]20%20%[600， 700]20%20%[700， 750]25%25%[750， 800]20%20%[800， 850]4%[850， 950]1%1%決策點佔比50%50%50%使用者總數30002000平均分730725psi-0。01模型交付、模型部署、模型監控。

模型交付流程： 1 提交特徵和模型報告2 離線結果質量審查（無遺漏、無重複、儲存位置正確、檔名規範）3 儲存模型檔案，確定版本號，提交時間4 老闆審批，通知業務方5 線上部署、案例分析、持續監控 功能報告1 功能專案需求2 功能專案任務列表3 功能專案進度表4 類 ER 圖5 設計示例6 功能框架7 每週開發進度和成果8 每週討論反饋和改進說明9 特點專案交付說明10 特點專案摘要模型報告1 模型專案要求2 模型專案任務列表3 模型專案時間表4 模型設計5 樣品設計6 模型訓練過程和實驗設計7 每週開發進度和結果8 每週討論、反饋和改進說明9 模型 P5%的“駕貸”產品逾期30天，5%的人期望解決方案現有風控架構穩定，希望快速開發上線，解決問題，盡量不要使用複雜的方法，考慮使用已有資料，挖掘合適的業務規則和資料字典

載入資料。

import pandas as pdimport numpy as npdata = pd.read_excel('data/rule_data.xlsx')data.head()

顯示結果：

uidoil_actv_dtcreate_dttotal_oil_cntpay_amount_totalclass_newbad_indoil_amountdiscount_amountsale_amountamountpay_amountcoupon_amountpayment_coupon_amountchannel_codeoil_codescenesource_appcall_source0a82177102018-08-192018-08-17275.048295495.4b03308.561760081.01796001.01731081.08655401.01.01.0132031a82177102018-08-192018-08-16275.048295495.4b04674.682487045.02537801.02437845.012189221.01.01.0132032a82177102018-08-192018-08-15275.048295495.4b01873.06977845.0997801.0961845.04809221.01.01.0122033a82177102018-08-192018-08-14275.048295495.4b04837.782526441.02578001.02484441.012422201.01.01.0122034a82177102018-08-192018-08-13275.048295495.4b02586.381350441.01378001.01328441.06642201.01.01.012203

data.class_new.unique()

顯示結果：

array(['b', 'e', 'c', 'a', 'd', 'f'], dtype=object)

org_list = ['uid','create_dt','oil_actv_dt','class_new','bad_ind']agg_list = ['oil_amount','discount_amount','sale_amount','amount','pay_amount','coupon_amount','payment_coupon_amount']count_list = ['channel_code','oil_code','scene','source_app','call_source']

df = data[org_list].copy()df[agg_list] = data[agg_list].copy()df[count_list] = data[count_list].copy()df.isna().sum()

顯示結果：

uid 0 create_dt 4944 oil_actv_dt 0 class_new 0 bad_ind 0 oil_amount 4944 discount_amount 4944 sale_amount 4944 amount 4944 pay_amount 4944 coupon_amount 4944 payment_coupon_amount 4946 channel_code 0 oil_code 0 scene 0 source_app 0 call_source 0 dtype: int64

df.describe()

顯示結果：

bad_indoil_amountdiscount_amountsale_amountamountpay_amountcoupon_amountpayment_coupon_amountchannel_codeoil_codescenesource_appcall_sourcecount50609.00000045665.0000004.566500e+044.566500e+044.566500e+044.566500e+0445665.00000045663.00000050609.00000050609.00000050609.00000050609.00000050609.000000mean0.017764425.3761071.832017e+051.881283e+051.808673e+059.043344e+050.576853149.3953971.4763781.6178941.9065190.3060722.900729std0.132093400.5962442.007574e+052.048742e+051.977035e+059.885168e+050.494064605.1388231.5114703.0741660.3672800.8936820.726231min0.0000001.0000000.000000e+000.000000e+001.000000e+005.000000e+000.0000000.0000000.0000000.0000000.0000000.0000000.00000025%0.000000175.4400006.039100e+046.200100e+045.976100e+042.988010e+050.0000001.0000001.0000000.0000002.0000000.0000003.00000050%0.000000336.1600001.229310e+051.279240e+051.209610e+056.048010e+051.0000001.0000001.0000000.0000002.0000000.0000003.00000075%0.000000557.6000002.399050e+052.454010e+052.360790e+051.180391e+061.000000100.0000001.0000000.0000002.0000000.0000003.000000max1.0000007952.8200003.916081e+063.996001e+063.851081e+061.925540e+071.00000050000.0000006.0000009.0000002.0000003.0000004.000000

def time_isna(x,y): if str(x) == 'nat': x = y return xdf2 = df.sort_values(['uid','create_dt'],ascending = false)df2['create_dt'] = df2.apply(lambda x: time_isna(x.create_dt,x.oil_actv_dt),axis = 1)df2['dtn'] = (df2.oil_actv_dt - df2.create_dt).apply(lambda x :x.days)df = df2[df2['dtn']<180]df.head()

顯示結果：

uidcreate_dtoil_actv_dtclass_newbad_indoil_amountdiscount_amountsale_amountamountpay_amountcoupon_amountpayment_coupon_amountchannel_codeoil_codescenesource_appcall_sourcedtn50608b964363919850357032018-10-082018-10-08b0nannannannannannannan69234050607b964363919846933972018-10-112018-10-11e0nannannannannannannan69234050606b964363919772174682018-10-172018-10-17b0nannannannannannannan69234050605b964363919764808922018-09-282018-09-28b0nannannannannannannan69234050604b964363919721060432018-10-192018-10-19a0nannannannannannannan692340

base = df[org_list]base['dtn'] = df['dtn']base = base.sort_values(['uid','create_dt'],ascending = false)base = base.drop_duplicates(['uid'],keep = 'first')base.shape

顯示結果：

gn = pd.dataframe()for i in agg_list: tp = df.groupby('uid').apply(lambda df:len(df[i]))reset_index() tp.columns = ['uid',i + '_cnt'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'求大於 0 tp = df 的歷史特徵值的個數groupby('uid').apply(lambda df:np.where(df[i]>0,1,0).sum())reset_index() tp.columns = ['uid',i + '_num'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'） 總和 tp = dfgroupby('uid').apply(lambda df:np.nansum(df[i]))reset_index() tp.columns = ['uid',i + '_tot'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'） 是平均 tp = dfgroupby('uid').apply(lambda df:np.nanmean(df[i]))reset_index() tp.columns = ['uid',i + '_**g'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'） 求最大 TP = dfgroupby('uid').apply(lambda df:np.nanmax(df[i]))reset_index() tp.columns = ['uid',i + '_max'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'） 求最小值 tp = dfgroupby('uid').apply(lambda df:np.nanmin(df[i]))reset_index() tp.columns = ['uid',i + '_min'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'） 求方差 tp = dfgroupby('uid').apply(lambda df:np.nanvar(df[i]))reset_index() tp.columns = ['uid',i + '_var'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left'求值域 tp = dfgroupby('uid').apply(lambda df:np.nanmax(df[i]) np.nanmin(df[i]) reset_index() tp.columns = ['uid',i + '_ran'] if gn.empty: gn = tp else: gn = pd.merge(gn,tp,on = 'uid',how = 'left')

gn.columns

顯示結果：

index(['uid', 'oil_amount_cnt', 'oil_amount_num', 'oil_amount_tot', 'oil_amount_**g', 'oil_amount_max', 'oil_amount_min', 'oil_amount_var_x', 'oil_amount_var_y', 'discount_amount_cnt', 'discount_amount_num', 'discount_amount_tot', 'discount_amount_**g', 'discount_amount_max', 'discount_amount_min', 'discount_amount_var_x', 'discount_amount_var_y', 'sale_amount_cnt', 'sale_amount_num', 'sale_amount_tot', 'sale_amount_**g', 'sale_amount_max', 'sale_amount_min', 'sale_amount_var_x', 'sale_amount_var_y', 'amount_cnt', 'amount_num', 'amount_tot', 'amount_**g', 'amount_max', 'amount_min', 'amount_var_x', 'amount_var_y', 'pay_amount_cnt', 'pay_amount_num', 'pay_amount_tot', 'pay_amount_**g', 'pay_amount_max', 'pay_amount_min', 'pay_amount_var_x', 'pay_amount_var_y', 'coupon_amount_cnt', 'coupon_amount_num', 'coupon_amount_tot', 'coupon_amount_**g', 'coupon_amount_max', 'coupon_amount_min', 'coupon_amount_var_x', 'coupon_amount_var_y', 'payment_coupon_amount_cnt', 'payment_coupon_amount_num', 'payment_coupon_amount_tot', 'payment_coupon_amount_**g', 'payment_coupon_amount_max', 'payment_coupon_amount_min', 'payment_coupon_amount_var_x', 'payment_coupon_amount_var_y'], dtype='object')

gc = pd.dataframe()for i in count_list: tp = df.groupby('uid').apply(lambda df: len(set(df[i]))reset_index() tp.columns = ['uid',i + '_dstc'] if gc.empty: gc = tp else: gc = pd.merge(gc,tp,on = 'uid',how = 'left')

fn = pd.merge(base,gn,on= 'uid')fn = pd.merge(fn,gc,on= 'uid') fn.shape

顯示結果：

fn = fn.fillna(0)fn.head(100)

顯示結果：

uidcreate_dtoil_actv_dtclass_newbad_inddtnoil_amount_cntoil_amount_numoil_amount_totoil_amount_**g...payment_coupon_amount_maxpayment_coupon_amount_minpayment_coupon_amount_var_xpayment_coupon_amount_var_ypayment_coupon_amount_varchannel_code_dstcoil_code_dstcscene_dstcsource_app_dstccall_source_dstc0b964363919850357032018-10-082018-10-08b00100.000.00...0.00.00.00.00.0111111b964363919846933972018-10-112018-10-11e00100.000.00...0.00.00.00.00.0111112b964363919772174682018-10-172018-10-17b00100.000.00...0.00.00.00.00.0111113b964363919764808922018-09-282018-09-28b00100.000.00...0.00.00.00.00.011111

100 rows × 74 columns

x = fn.drop(['uid','oil_actv_dt','create_dt','bad_ind','class_new'],axis = 1)y = fn.bad_ind.copy()from sklearn import treedtree = tree.decisiontreeregressor(max_depth = 2,min_samples_leaf = 500,min_samples_split = 5000)dtree = dtree.fit(x,y)

import pydotplus from ipython.display import imagefrom six import stringioimport os# os.environ["path"] += os.pathsep + 'c:/program files (x86)/graphviz2.38/bin/'# with open("dt.dot", "w") as f:# tree.export_graphviz(dtree, out_file=f)dot_data = stringio()tree.export_graphviz(dtree, out_file=dot_data, feature_names=x.columns, class_names=['bad_ind'], filled=true, rounded=true, special_characters=true)graph = pydotplus.graph_from_dot_data(dot_data.getvalue())image(graph.create_png())

顯示結果：

group_1 = fn.loc[(fn.amount_tot>48077.5)&(fn.amount_cnt>3.5)].copy()group_1['level'] = 'past_a'group_2 = fn.loc[(fn.amount_tot>48077.5)&(fn.amount_cnt<=3.5)].copy()group_2['level'] = 'past_b'group_3 = fn.loc[fn.amount_tot<=48077.5].copy()group_3['level'] = 'past_c'

ABC記分卡A應用，B行為，C集合針對不同的客戶群體，不同的可用資料，Y定義不同的風控建模流程專案準備 特徵工程建模 線上操作 明確需求 資料處理 模型訓練 模型交付模型設計 特徵構建 模型評估 模型部署 樣本設計 功能評估模型 調優模型 監控記分卡模型 正負樣本定義方法 一般習慣y = 1 對於不良使用者（預設值） y = 1 選擇：使用 DPD30、DPD15...。根據具體業務情況），刪除灰色部分的使用者沒有逾期，或者逾期不足5天，作為乙個好的使用者，如何構建特徵，如何評估特徵特徵，構建E-R圖，知道哪些表儲存了資料，知道表之間的關係，知道哪些資料可以與單個特徵一起使用， 從三個維度、RFM考慮、生成新特徵、使用者時間段、特徵、使用者時間序列、特徵、特徵、評估覆蓋率、穩定性、psi、鑑別度、iv單特徵、AUCKS規則引擎如何工作，使用一系列判斷邏輯來區分客戶群體，不同群體的逾期風險存在顯著差異，機器學習模型可以輔助規則挖掘。