第一部分：  數(shù)據(jù)核心理念—數(shù)據(jù)思維篇

問題：什么是數(shù)據(jù)思維？大數(shù)據(jù)決策的底層邏輯以及決策依據(jù)是什么？

1、 大數(shù)據(jù)的本質(zhì)

‐  數(shù)據(jù)，是事物發(fā)展和變化過程中留下的痕跡

‐  大數(shù)據(jù)不在于量大，而在于全（多維性）

‐  業(yè)務(wù)導(dǎo)向還是技術(shù)導(dǎo)向

2、 大數(shù)據(jù)決策的底層邏輯（即四大核心價值）

‐  探索業(yè)務(wù)規(guī)律，按規(guī)律來管理決策

案例：客流規(guī)律與排班及最佳營銷時機(jī)

案例：致命交通事故發(fā)生的時間規(guī)律

‐  發(fā)現(xiàn)運(yùn)營變化，定短板來運(yùn)營決策

案例：考核周期導(dǎo)致的員工月初懈怠

案例：工序信號異常監(jiān)測設(shè)備故障

‐  理清要素關(guān)系，找影響因素來決策

案例：情緒對于股市漲跌的影響

案例：為何升職反而會增加離職風(fēng)險？

‐  預(yù)測未來趨勢，通過預(yù)判進(jìn)行決策

案例：海爾利用數(shù)據(jù)來預(yù)測空調(diào)故障，實現(xiàn)事前檢修

案例：保險公司的車險預(yù)測與個性化保費(fèi)定價

3、 大數(shù)據(jù)決策的三個關(guān)鍵環(huán)節(jié)

‐  業(yè)務(wù)數(shù)據(jù)化：將業(yè)務(wù)問題轉(zhuǎn)化為數(shù)據(jù)問題

‐  數(shù)據(jù)信息化：提取數(shù)據(jù)中的業(yè)務(wù)規(guī)律信息

‐  信息策略化：基于規(guī)律形成業(yè)務(wù)應(yīng)對策略

案例：用數(shù)據(jù)來識別喜歡賺“差價”的營業(yè)員

第二部分：  數(shù)據(jù)分析基礎(chǔ)—流程步驟篇

1、 數(shù)據(jù)分析的六步曲

2、 步驟1：明確目的，確定分析思路

‐  確定分析目的：要解決什么樣的業(yè)務(wù)問題

‐  確定分析思路：分解業(yè)務(wù)問題，構(gòu)建分析框架

3、 步驟2：收集數(shù)據(jù)，尋找分析素材

‐  明確數(shù)據(jù)范圍

‐  確定收集來源

‐  確定收集方法

4、 步驟3：整理數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量

‐  數(shù)據(jù)質(zhì)量評估

‐  數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理

‐  探索性分析

5、 步驟4：分析數(shù)據(jù)，尋找業(yè)務(wù)答案

‐  選擇合適的分析方法

‐  構(gòu)建合適的分析模型

‐  選擇合適的分析工具

6、 步驟5：呈現(xiàn)數(shù)，解讀業(yè)務(wù)規(guī)律

‐  選擇恰當(dāng)?shù)膱D表

‐  選擇合適的可視化工具

‐  提煉業(yè)務(wù)含義

7、 步驟6：撰寫報告，形成業(yè)務(wù)策略

‐  選擇報告種類

‐  完整的報告結(jié)構(gòu)

演練：產(chǎn)品精準(zhǔn)營銷案例分析

‐  如何搭建精準(zhǔn)營銷分析框架

第三部分：  用戶行為分析—統(tǒng)計方法篇

問題：數(shù)據(jù)分析方法的種類？分析方法的不同應(yīng)用場景？

1、 業(yè)務(wù)分析的三個階段

‐  現(xiàn)狀分析：通過企業(yè)運(yùn)營指標(biāo)來發(fā)現(xiàn)規(guī)律及短板

‐  原因分析：查找數(shù)據(jù)相關(guān)性，探尋目標(biāo)影響因素

‐  預(yù)測分析：合理配置資源，預(yù)判業(yè)務(wù)未來的趨勢

2、 常用的數(shù)據(jù)分析方法種類

3、 統(tǒng)計分析基礎(chǔ)

4、 基本分析方法及其適用場景

‐  對比分析（查看數(shù)據(jù)差距，發(fā)現(xiàn)事物變化）

演練：分析理財產(chǎn)品受歡迎情況及貢獻(xiàn)大小

演練：用戶消費(fèi)水平差異分析，提取優(yōu)質(zhì)客戶特征

‐  分布分析（查看數(shù)據(jù)分布，探索業(yè)務(wù)層次）

案例：銀行用戶的消費(fèi)層次/消費(fèi)檔次分析

演練：客戶年齡分布/收入分布分析

‐  結(jié)構(gòu)分析（查看指標(biāo)構(gòu)成，評估結(jié)構(gòu)合理性）

案例：收入結(jié)構(gòu)分析/成本結(jié)構(gòu)分析

案例：動態(tài)結(jié)構(gòu)分析

‐  趨勢分析（查看變化趨勢，了解季節(jié)周期性）

案例：營業(yè)廳客流量規(guī)律與排班

案例：用戶活躍時間規(guī)律/產(chǎn)品銷量的淡旺季分析

演練：產(chǎn)品訂單的季節(jié)周期性規(guī)律

‐  交叉分析（從多個維度的數(shù)據(jù)指標(biāo)分析）

演練：不同客戶的產(chǎn)品偏好分析

演練：銀行用戶違約的影響因素分析

第四部分：  用戶行為分析—分析框架篇

問題：如何才能全面/系統(tǒng)地分析而不遺漏？如何分解和細(xì)化業(yè)務(wù)問題？

1、 分析框架來源于業(yè)務(wù)模型

‐  商業(yè)目標(biāo)（粗粒度）

‐  分析維度/關(guān)鍵步驟

‐  業(yè)務(wù)問題（細(xì)粒度）

‐  涉及數(shù)據(jù)/關(guān)鍵指標(biāo)

2、 常用的業(yè)務(wù)模型：PEST/5W2H/SWOT/PDCA/AARRR…

研討：結(jié)合公司業(yè)務(wù)情況，選取業(yè)務(wù)目標(biāo)，構(gòu)建系統(tǒng)的數(shù)據(jù)分析框架

第五部分：  用戶風(fēng)險識別—異常數(shù)據(jù)篇

1、 反欺詐識別的重點內(nèi)容

‐  如何識別異常數(shù)據(jù)

‐  如何查找影響因素

‐  如何提取欺詐用戶的特征

‐  如何預(yù)測用戶的欺詐行為

2、 異常數(shù)據(jù)的定義

3、 異常數(shù)據(jù)的檢測方法

‐  基于統(tǒng)計法：標(biāo)準(zhǔn)差法、四分位距法、離群點檢測算法

‐  基于機(jī)器學(xué)習(xí)：回歸、聚類等

4、 異常數(shù)據(jù)處理方法

演練：各種異常數(shù)據(jù)識別

第六部分：              影響因素分析—根因分析篇

問題：如何做原因分析？比如價格是否可用于產(chǎn)品銷量？影響用戶違約的關(guān)鍵因素是什么？

1、 數(shù)據(jù)預(yù)處理vs特征工程

2、 特征選擇常用方法

‐  相關(guān)分析、方差分析、卡方檢驗

3、 相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）

‐  相關(guān)分析簡介

‐  相關(guān)分析的應(yīng)用場景

‐  相關(guān)分析的種類

◢    簡單相關(guān)分析

◢    偏相關(guān)分析

◢    距離相關(guān)分析

‐  相關(guān)系數(shù)的三種計算公式

◢    Pearson相關(guān)系數(shù)

◢    Spearman相關(guān)系數(shù)

◢    Kendall相關(guān)系數(shù)

‐  相關(guān)分析的假設(shè)檢驗

‐  相關(guān)分析的四個基本步驟

演練：營銷費(fèi)用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與產(chǎn)品銷量有顯著的相關(guān)性

演練：影響用戶消費(fèi)水平的因素會有哪些

‐  偏相關(guān)分析

◢    偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

◢    偏相關(guān)系數(shù)的計算公式

◢    偏相關(guān)分析的適用場景

4、 方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

‐  方差分析的應(yīng)用場景

‐  方差分析的三個種類

◢    單因素方差分析

◢    多因素方差分析

◢    協(xié)方差分析

‐  單因素方差分析的原理

‐  方差分析的四個步驟

‐  解讀方差分析結(jié)果的兩個要點

案例：擺放位置與銷量有關(guān)嗎

演練：客戶學(xué)歷對消費(fèi)水平的影響分析

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結(jié)果的解讀

案例：廣告形式、地區(qū)對銷售額的影響因素分析

演練：銷售員的性別、技能級別對銷量有影響嗎

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場景

演練：排除用戶收入，其余哪些因素對銷量有顯著影響？

5、 列聯(lián)分析/卡方檢驗（兩類別變量的相關(guān)性分析）

‐  交叉表與列聯(lián)表：計數(shù)值與期望值

‐  卡方檢驗的原理

‐  卡方檢驗的幾個計算公式

‐  列聯(lián)表分析的適用場景

案例：產(chǎn)品類型對客戶流失的影響分析

案例：用戶學(xué)歷對產(chǎn)品類型偏好的影響分析

研討：行業(yè)/規(guī)模對風(fēng)控的影響分析

第七部分：              數(shù)據(jù)建?；A(chǔ)—流程步驟篇

1、 預(yù)測建模六步法

‐  選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型

‐  特征工程：選擇對目標(biāo)變量有顯著影響的屬性來建模

‐  訓(xùn)練模型：采用合適的算法對模型進(jìn)行訓(xùn)練，尋找到最優(yōu)參數(shù)

‐  評估模型：進(jìn)行評估模型的質(zhì)量，判斷模型是否可用

‐  優(yōu)化模型：如果評估結(jié)果不理想，則需要對模型進(jìn)行優(yōu)化

‐  應(yīng)用模型：如果評估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場景

2、 數(shù)據(jù)挖掘常用的模型

‐  定量預(yù)測模型：回歸預(yù)測、時序預(yù)測等

‐  定性預(yù)測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等

‐  市場細(xì)分：聚類、RFM、PCA等

‐  產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等

‐  產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等

‐  產(chǎn)品定價：定價策略/最優(yōu)定價等

3、 特征工程/特征選擇/變量降維

‐  基于變量本身特征

‐  基于相關(guān)性判斷

‐  因子合并（PCA等）

‐  IV值篩選（評分卡使用）

‐  基于信息增益判斷（決策樹使用）

4、 模型評估

‐  模型質(zhì)量評估指標(biāo)：R^2、正確率/查全率/查準(zhǔn)率/特異性等

‐  預(yù)測值評估指標(biāo)：MAD、MSE/RMSE、MAPE、概率等

‐  模型評估方法：留出法、K拆交叉驗證、自助法等

‐  其它評估：過擬合評估、殘差檢驗

5、 模型優(yōu)化

‐  優(yōu)化模型：選擇新模型/修改模型

‐  優(yōu)化數(shù)據(jù)：新增顯著自變量

‐  優(yōu)化公式：采用新的計算公式

‐  集成思想：Bagging/Boosting/Stacking

6、 常用預(yù)測模型介紹：回歸、時序、分類

第八部分：  客戶行為預(yù)測—分類模型篇

問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？

1、 分類模型概述及其應(yīng)用場景

2、 常見分類預(yù)測模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類的幾何意義

‐  邏輯回歸的種類：二項、多項

‐  如何解讀邏輯回歸方程

‐  帶分類自變量的邏輯回歸分析

‐  多項邏輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產(chǎn)品

案例：多品牌選擇模型分析（多項邏輯回歸）

4、 分類決策樹（DT）

問題：如何預(yù)測客戶行為？如何識別潛在客戶？

風(fēng)控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？

‐  決策樹分類簡介

演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征

‐  決策樹分類的幾何意義

‐  構(gòu)建決策樹的三個關(guān)鍵問題

◢   如何選擇最佳屬性來構(gòu)建節(jié)點：熵/基尼系數(shù)、信息增益

◢   如何分裂變量：多元/二元劃分、最優(yōu)切割點

◢   修剪決策樹：剪枝原則、預(yù)剪枝與后剪枝

‐  構(gòu)建決策樹的四個算法

‐  如何選擇最優(yōu)分類模型？

案例：商場用戶的典型特征提取

案例：客戶流失預(yù)警與客戶挽留

案例：識別拖欠銀行貨款者的特征，避免不良貨款

‐  多分類決策樹

案例：識別不同理財客戶的典型特征，實現(xiàn)精準(zhǔn)推薦

‐  決策樹模型的保存與應(yīng)用

5、 人工神經(jīng)網(wǎng)絡(luò)（ANN）

‐  神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

‐  神經(jīng)網(wǎng)絡(luò)基本原理

‐  神經(jīng)網(wǎng)絡(luò)分類的幾何意義

‐  神經(jīng)網(wǎng)絡(luò)的建立步驟及實現(xiàn)算法

‐  神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題

案例：評估銀行用戶拖欠貨款的概率

6、 支持向量機(jī)（SVM）

‐  SVM基本原理

‐  線性可分問題：最大邊界超平面

‐  線性不可分問題：特征空間的轉(zhuǎn)換

‐  維災(zāi)難與核函數(shù)

第九部分：  客戶行為預(yù)測—模型評估篇

1、模型的評估指標(biāo)

‐  兩大矩陣：混淆矩陣，代價矩陣

‐  六大指標(biāo)：Acc,P,R,Spec,F1,lift

‐  三條曲線：

◢   ROC曲線和AUC

◢   PR曲線和BEP

◢   KS曲線和KS值

2、模型的評估方法

‐  留出法（Hold-Out）

‐  交叉驗證法（k-fold cross validation）

‐  自助采樣法（Bootstrapping）

第十部分：  客戶行為預(yù)測—集成優(yōu)化篇

1、模型的優(yōu)化思路

2、集成算法基本原理

‐  單獨(dú)構(gòu)建多個弱分類器

‐  多個弱分類器組合投票，決定預(yù)測結(jié)果

3、集成方法的種類：Bagging、Boosting、Stacking

4、Bagging集成：隨機(jī)森林RF

‐  數(shù)據(jù)/屬性重抽樣

‐  決策依據(jù)：少數(shù)服從多數(shù)

5、Boosting集成：AdaBoost模型

‐  基于誤分?jǐn)?shù)據(jù)建模

‐  樣本選擇權(quán)重更新公式

‐  決策依據(jù)：加權(quán)投票

6、高級模型介紹與實現(xiàn)

‐  GBDT梯度提升決策樹

‐  XGBoost

‐  LightGBM

第十一部分：        市場細(xì)分模型—聚類模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進(jìn)行市場定位？

1、 市場細(xì)分的常用方法

‐  有指導(dǎo)細(xì)分

‐  無指導(dǎo)細(xì)分

2、 聚類分析

‐  如何更好的了解客戶群體和市場細(xì)分？

‐  如何識別客戶群體特征？

‐  如何確定客戶要分成多少適當(dāng)?shù)念悇e？

‐  聚類方法原理介紹

‐  聚類方法作用及其適用場景

‐  聚類分析的種類

◢    K均值聚類

◢    層次聚類

◢    兩步聚類

‐  K均值聚類（快速聚類）

‐  層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別

‐  兩步聚類

演練：劃分合適的客戶群，提取不同客戶群的典型特征

3、 客戶細(xì)分與PCA分析法

‐  PCA主成分分析的原理

‐  PCA分析法的適用場景

演練：利用PCA對客戶群進(jìn)行細(xì)分

第十二部分：        銀行客戶信用卡模型

1、 信用評分卡模型簡介

2、 評分卡的關(guān)鍵問題

3、 信用評分卡建立過程

‐  篩選重要屬性

‐  數(shù)據(jù)集轉(zhuǎn)化

‐  建立分類模型

‐  計算屬性分值

‐  確定審批閾值

4、 篩選重要屬性

‐  屬性分段

‐  基本概念：WOE、IV

‐  屬性重要性評估

5、 數(shù)據(jù)集轉(zhuǎn)化

‐  連續(xù)屬性最優(yōu)分段

‐  計算屬性取值的WOE

6、 建立分類模型

‐  訓(xùn)練邏輯回歸模型

‐  評估模型

‐  得到字段系數(shù)

7、 計算屬性分值

‐  計算補(bǔ)償與刻度值

‐  計算各字段得分

‐  生成評分卡

8、 確定審批閾值

‐  畫K-S曲線

‐  計算K-S值

‐  獲取最優(yōu)閾值

案例：構(gòu)建銀行小額貸款的用戶信用模型

第十三部分：        數(shù)據(jù)建模實戰(zhàn)篇

1、電信業(yè)客戶流失預(yù)警和客戶挽留模型實戰(zhàn)

2、銀行欠貸風(fēng)險預(yù)測模型實戰(zhàn)

3、銀行信用卡評分模型實戰(zhàn)

結(jié)束：課程總結(jié)與問題答疑。