HOBA-論文筆記

MotoZe
27 min readAug 16, 2020

--

引用自:

HOBA: A novel feature engineering methodology for credit card fraud detection with a deep learning architecture

Xinwei Zhang, Yaoci Han, Wei Xu, Qili Wang

Information Sciences , 10 May 2019

Abstract:

信用卡交易詐騙每年對於信用卡發行機構造成數十億的損失

因此擁有先進的詐欺檢測模型之系統對於減少詐欺損失屬於非常重要的

在本篇論文中,最大的貢獻在於作者開發了一套詐欺檢測系統,這套系統採用了深度學習架構和基於HOBA的高級特徵工程

使用的數據集為真實數據,出自於某家中國的大型商業銀行,進行比較研究,來評估框架的有效性

實驗結果證明,本篇論文所建立的系統對於信用卡欺詐檢查是有效且可行的

以實際應用上的角度來看,作者覺得這個方法與benchmark方法相比,識別詐欺的能力更好,在可接受的範圍內誤判率也較低

信用卡發卡機構可以利用此方法有三個好處,第一是保護客戶利益不受侵害,第二是降低詐欺所產生的損失,最後則是減少監管成本

問題;

基於HOBA的高級特徵工程

benchmark方法是甚麼

Abstract:

講解xx事情造成yy

因此需要某方法能減少xx事情發生 或是 降低yy的損失

本篇論文提出什麼 (延伸到用了什麼方法

小結 得到大方向的某個成果

Introduction:

首先提到信用卡使用量上升 詐欺增加 並且造成xx損失

講解兩種常態的信用卡詐欺 應用 跟 行為兩種 再逐步解釋 !!!!!!! important

中間的鋪陳 (簡言之 偏向不屬於技術的

此paper貢獻:

1. 提出hoba

2. 比較數種不同的深度學習演算法跟不同特徵集的傳統機器學習方法

3. 首次運用HOBA在真實的案子上去預測,從持卡人過往的交易行為分析,以檢測欺詐的信用卡交易行為,提供信用卡發行商一個檢測信用卡詐欺的方法 , (是否要補充第一段? 待考量

前面提到的應用程序較不準確

改成辦卡程序會較為準確

ch2.1 Credit card fraud

如前面所提及 , 信用卡詐欺分成兩種 , 一種是辦卡程序

另一種則是行為詐欺

行為詐欺主要包含了 三種 , 第一種是卡的偷竊 , 第二種則是偽造卡 , 第三種則是詐欺方不使用實體卡

實體卡的情況:

其中作者提出了這些詐欺的特性跟原因

以偷竊的卡為例,對方會想在短時間內得到大量的金額 (或是透買物品) ,因此交易的間隔會很短

而偽造卡則是對方偷得信用卡資訊時,受害者本身仍然可以利用自己原先的信用卡來進行交易 , 同時偽造卡的持有者也可以利用假卡來進行交易,這種情況,偽造卡通常只會使用幾次,盡可能的不讓原先的持有者發現 ,舉例:xxxxxx

第三種則是詐欺方不使用實體卡:

詐欺方得到受害者卡號、持卡人姓名、有效期等資訊進行交易 ,舉例像是得到visa卡號和有效期限,就可以進行線上消費等行為

補充 第二種和第三種的差異雖然都是偷取他人資訊 , 但差異點在於是否使用實體卡

ch2.1 接續

鋪陳與否? (我覺得不用

在技術層面上,進行詐欺檢測的研究有一項需克服的障礙,就是研究人員如何該取得信用卡交易數據集

而在學術界,大家主要關注在statistical modeling methods 和feature engineering methods

從統計(statistical modeling methods)的觀點來看,非監督式學習與監督式學習都可以用以建立有效的詐欺檢測系統

其中監督式學習的方法,使用過去所建立好的資料集 (該資料集的對於每筆交易 都已經紀錄好其為 合法或詐欺 (兩類)) , 並用他們來建構分類模型

以前的學者使用ANN、Bayes,xxxx等方法,用於檢測信用卡詐欺的效果

非監督式不需要得知交易的label為何 , 將客戶或是交易特徵區分至不同的集群中來發現異常行為,當傳入的行為與正常組的群集有明顯的偏離時,就懷疑這個行為是詐欺

如果傳入的交易行為跟正常交易差異很大,就懷疑是詐欺,詐欺偵測的非監督式學習方法有peer group analysis [5] 還有 self-organizing maps [33,43],監督或是非監督的模型匯兌交易產生一個懷疑分數,系統在運行時會對分數設定一個門檻,看是否要批准交易,設定合理的門檻是個挑戰(不容易)。

問題:

peer group analysis?

self-organizing maps?

在詐欺偵測的應用上,監督學習跟非監督學習都有一些挑戰。

監督學習要標記資料,但是可能會標錯,數據集中詐欺跟非詐欺的數量不平衡不到0.1%的交易是欺詐性的。

因此需要好的抽樣程序或調整lose function

而非監督學習誤報率較高,因為通常異常行為和正常行為的特性相似,

誤報率是詐欺偵測的行為成本,低誤報率就代表比較不會干擾到正常用戶,

因此對於詐欺偵測系統的用戶,低誤報的模型是首選。

->研究集中在監督學習

詐欺偵測建模需要有基於領域知識的特徵工程過程,

好特徵可以提升機器學習的效能,

用所有交易紀錄來建模不實際,因為數量太多,

只看單一交易訊息分類(transaction-level classification)判斷會遺漏相關帳戶的歷史交易資訊,

->提出transaction aggregation strategies聚合多筆交易資訊

雖然把多長時間的交易彙整是個問題,但這個方法感覺不錯

Ch2.2 Deep learning

深度學習是最近機器學習中高度關注的領域,convolutional networks, deep belief networks and deep autoencoders是階層結構的模型,可以用來處理資訊,像是representation learning or pattern classification [27],

BP是訓練神經網路權重的經典方法,

但是深度增加有效性會大大降低,因為局部最佳解或是誤差稀釋之類的問題,

深度學習的成功歸功於非監督學習的逐層貪婪學習想法,因而消除了訓練深度學習模型參數的難度,

深度信念網路(deep belief network)是第一個深度架構的模型訓練成功的案例

深度學習模型除了應用在圖像跟音頻領域,最近也有研究表示應用在金融領域也有不錯的預測效果,

Fischer和Krauss [13]用LSTM預測時間序列,並指出深度學習在金融市場預測有很大的潛力,

Kraus和Feuerriegel [23]應用深度學習以及遷移學習(transfer learning)分析financial disclosures,並預測結果改善財務決策,

此外,有一些開創性的研究試圖將深度學習應用在金融詐欺檢測中,

例如,Fiore等[12],利用生成對抗網路產生資料,以解決信用卡詐欺分類資料集類別不平衡的問題,

這些研究都很猛,研究人員結合深度學習技術來提高預測準確性。

Ch3 The proposed framework

本節介紹我們提出的系統框架,它基於深度學習架構,用於信用卡詐欺偵測。

Ch3.1 Overview

圖一為詐欺偵測的過程,

架設有筆交易請求信用卡發卡行授權,

1. 交易輸入欺詐檢測模組,根據關聯帳戶歷史交易紀錄計算交易可疑分數,

2. 將交易及第一步驟所產生的分數輸入” 授權決策模組Authorization Decision Making module”根據驗證結果和欺詐風險級別決定是否授權交易,

驗證主要會看關聯帳戶餘額夠不夠,有時還會檢查PIN碼,

第一步所產生的懷疑分數高於某個門檻的交易被定義為”高風險”交易,

邊界值cut-off value,通常由在模型中符合某個範圍的false positive rate (FPR)決定,

高於高的邊界值為”極高風險”,

->邊界值用FPR高於高門檻為”極高風險”,低於低門檻為”普通”,中間則為高風險

授權步驟會拒絕兩種類型的交易:

l 驗證過但風險極高的交易,

l 驗證不過的交易,

批准有正常驗證結果和詐欺風險正常的交易,

3. 警報管理模組會將高風險的交易觸發警報,通知監視部門,

4. 交易監控部門透過文本,email,手機APP,通知持卡人發生高風險交易,有時會打電話詢問,

交易監控部門以及客服部門收集詐欺交易,存在資料庫並標記為詐欺

5. 在本文關注離線訓練模型模組,

訓練資料是資料庫中特定時間區間的交易資料集(一年/半年),

並進行基於HOBA的特徵工程獲得統計模型的特徵變數,

然後用它建立偵測信用卡詐欺的深度學習模型,

6. 訓練後將模型放入“在線欺詐檢測”模組,這樣就能及時計算信用卡交易的可疑分數了。

3.2 Credit card data description

表一顯示原始交易紀錄的基本屬性,顯示信用卡交易表主要的框架,

雖然不同發卡機構的交易資料訊息表可能稍有不同,但這些是基本屬性,所以應會包含在資料庫中,可用來詐欺檢測的建模。

信用卡交易記錄包含交易明細transaction detail和帳戶狀態account status,

與交易明細transaction detail 有關大多數的屬性都可以視為多層分類變數multilevel categorical variables,編碼成信用卡交易特徵,

在這裡,交易特徵characteristics of a transaction是比交易類型type of transaction更廣泛(High level?)的概念,

交易類型是指交易記錄表中的一個領域field,它用來標記交易紀錄是購買,領錢…

交易特徵是指一交易行為的任何內在屬性,特徵可以基於特定屬性類別:

l 交易渠道類型,交易國家…

l 人為規則的類別

u Ex:用磁條刷卡,該筆交易就會有磁條刷卡的特徵

l 具有磁條刷卡特徵的交易值得單獨分析,因為這種交易比芯片和PIN交易(風險高)

l 凌晨1點到凌晨5點之間的交易定義為異常時間交易,交易時間的異常是可能的交易特徵。

Ch3.3 Feature engineering framework based on HOBA analysis

就像前面說的那樣,特徵工程對詐欺偵測的性能會有很大的影響,

(前面哪裡有說?不是只有交代過程跟解釋信用卡資料表欄位?)

之前的研究在特徵工程的過程中主要考慮交易聚集策略(transaction aggregation strategies),

每當交易發生時,會根據聚合期間內傳入的交易以及過去的交易計算特徵變數(feature variables)

Van Vlasselaer [39]指出,這類特徵工程的原理適合RFM框架。

但是RFM框架不適用於信用卡交易行為分析,

因為信用卡交易紀錄本質上是不同的,不同種的交易特徵會對應到不同的行為模式

Ex: 信用卡交易包括購買,退款,現金提取和余額查詢交易。在大多數情況下,現金提取交易的頻率低於購買交易的頻率。

不同種類的卡交易的頻率,貨幣,匯率差別也很大,

因此要有選擇性的分析持卡人進行各種不同類型的交易(多少錢/頻率)

不同類型的交易:刷卡方式,貨幣…(我覺得)

RFM除了忽略異質性,還沒有考慮交易位置

因為RFM本來的目的是希望可以促進銷售,交易地點對這沒甚麼幫助,

持卡人在哪交易以及交易地點是否異常對於詐欺偵測很有幫助,

通常詐欺者會在離持卡人住處很遠的地方或是持卡人平常交易的地方進行交易

因此提出基於HOBA的特徵工程框架,

HOBA對本質同質(相同交易特徵)的歷史交易進行行為分析,

信用卡交易可以表示為特徵空間中的一個點

特徵: 交易特徵,時間,地理空間和貨幣價值…

交易特徵不同,交易分布不同,導致每筆信用卡交易的差異性

為了進行更合理的行為分析,交易基於用固定特徵產生的超空間(多維度空間)的同一子空間表示

For a more reasonable behavior analysis, we advocate extracting information based on transactions in the same subspace of the hyperspace where a certain characteristic is fixed.

在我們提出的框架中,需要先確定要確定一組值得調查,檢查是不是詐欺的特徵,

Ex:用磁條刷卡

針對這些特徵進行四種類型的分析

1. Recency:用戶最近怎麼進行XX特徵的交易

2. Frequency: 用戶多久一次進行XX特徵的交易

3. Monetary: 進行XX特徵的交易花多少錢

4. Location: 在哪進行XX特徵的交易

應用兩種策略,提取特徵變數

l 交易匯總策略transaction aggregation strategy,

l 基於規則的策略rule-based strategy

主要的策略為交易聚合策略

交易匯總策略分成四個部分

1. 彙總特徵 aggregation characteristic

n 確定在聚集期間內聚集的交易的類別 ex:磁條刷卡

2. 彙總週期 aggregation period

n 確定要聚集交易的時間範圍

n 過去一小時,一天,一周,一個月以來

3. 交易行為度量 transaction behavior measure

n 根據上面四種類型的分析面向量化交易行為呈現成數值

n Ex:之前交易金額是常見的詐欺行為指標

u Recency: 它量化在特定交易中花費了多少

u Frequency: 兩個連續交易之間的交易時間間隔

u 上面兩個以前就有人用過了,下面是新提出的

u Location: 兩個連續交易的位置之間的地理距離,它可以量化交易位置的變化。

u Monetary:額度(可用餘額)利用率(百分比)

n 比起消費金額額度利用率是一個相對的數值

n 因為不同人的經濟能力差異會造成交易金額差別很大

n 詐欺者會想在短期充分利用信用卡的額度,額度利用率有助於檢測這種行為

4. 彙總統計 aggregation statistics

n 我們將交易行為度量提取的數值序列應用於序列。

we apply to the sequence of numerical values extracted by the behavior measures on the transactions.

n 常見的統計數據是計數,平均值,總和和標準差。

一旦給出了以上四個元素,我們就可以確定一個特徵變量。

Ex:

n 匯總週期 : 上週

n 匯總特徵 : 購買(購貨)

n 交易行為度量 : 交易時間間隔

n 匯總統計 : 平均值

->上周連續兩次交易交易時間間隔的平均值

對於每筆交易,匯總策略都會首先提取具有購買​​特徵的歷史交易,即在過去一周內購買特徵的二進制指標值為1的交易記錄

然後基於這些提取出來的交易計算連續兩筆交易之間的時間間隔,間隔的平均值就是特徵變數

除了使用事務聚合策略外,我們還應用基於規則的策略來產生一些分類特徵變數,這些分類特徵變數被直接視為分類特徵變數。

為了調查信用卡交易的複雜特徵

Ex:創建一個二進制功能來指示交易是否一小時內在特定的高風險國家的異常時間(半夜)第二高價值(second highest value)交易(假設它大於$ 500)

由領域專家創建(領域知識,經驗)

不同的欺詐系統用戶可以分析自己的信用卡欺詐案件,並設計不同的二進制變量來標記他們認為與某種欺詐行為有關的交易特徵。

如果有新型的詐欺方法或是之前的模型沒用了就可以透過這個自訂新規則,

因為HOBA框架的發明我們多了特徵選擇的問題

因為匯總週期,匯總特徵,交易行為度量,匯總統計這四個元素造成無限多種組合

根據經驗這幾個元素有幾個比較常見的屬性選擇

n 匯總週期,4

n 匯總特徵,5

n 交易行為度量,2

n 匯總統計,4

->有160種可能組合,先創建160種特徵變數

特徵變數最佳選擇和數據集關係很大

但對於要用哪種類型的特徵變數沒有共識,

最佳特徵變數跟數據及有很大的關係,

為了有最好的詐欺檢測性能,最好從大量候選特徵中選擇適當特徵,而不是只用少量特徵,

傳統特徵選擇很耗時,還容易過擬合,

而且都用人選(固定)特徵,系統難以更新模型

選擇深度學習的原因:

深度學習的最佳優勢之一是在檢測模式中沿著增加抽象的連續層進行層次特徵選擇,這是我們將深度學習技術應用於欺詐檢測的關鍵原因

One of the best advantages of deep leaning is hierarchical feature selection along the successive layers of increased abstraction in detecting patterns, which is the key reason why we apply deep learning techniques to fraud detection.

深度學習可以在不損失太多資訊的情況下從資料集中學習出有效的資料表示法

只要在模型更新的時候調整權重就好了,

因此使用深度學習方法找特徵變數,而不進行特徵選擇

Ch 3.4 Deep learning for fraud detection

3.4.1. Deep belief networks

可以用許多 受限玻爾茲曼機(restricted Boltzmann machines,RBMs)[15],建立深度信念網路(deep belief network,DBN)

通常,對於二進位輸入特徵,第一層是Bernoulli-Bernoulli RBM,Gaussian-Bernoulli RBM被建構為continuous value input features的第一層

在訓練了RBM的第一層之後,第二層 Bernoulli-Bernoulli RBM藉由將第一層RBM的hidden layer視為visible input layer來建構

同樣的,更多的RBM可以逐層使用來建構DBN,低階的RBM hidden layer可以作為下一層RBM的visible layer,

這種逐層貪婪訓練策略一個重要的優點是,它不需要種類標記,

Ch3.4.2 Convolutional neural networks

CNN由input layer, an output layer and several hidden layers, including convolutional layers, pooling layers, normalization layers and fully connected layers組成,

CNN適合學習大量數據,在圖像識別,自然語言處理,推薦系統都很成功[11],

如果要用於信用卡詐欺檢測,要執行特徵轉換,轉成一維的特徵矩陣???,

To apply the CNN model to credit card fraud detection, feature transformation is performed to generate feature matrices based on extracted one-dimensional features [14], as shown in Fig. 4.

生成特徵矩陣的行包含按照特徵類型排列,各列按順序代表最近交易,

The rows of a generated feature matrix contain the original features arranged by feature type, while the columns represent recent transactions in order.

這些特徵矩陣對應一個交易紀錄,並反應最近的消費習慣,用於訓練CNN分類器

Ch3.4.3 Recurrent neural networks

遞迴神經網絡(RNN)的最顯著特徵是其遞迴結構,其中內部節點之間的連接沿著連續序列形成有向圖,這有助於記憶過去的輸入序列。

根據其內部存儲容量,RNN已被證明非常適合從經驗到過程的學習,對序列進行分類和預測,並在語音識別和垃圾郵件檢測等領域取得了出色的成績[34]。

本研究中使用的RNN模型的架構是Elman網絡[10],如圖5所示。

持卡人按時間順序排列的交易記錄構成了一種交易行為序列,在該序列中可以反映其隱藏的交易習慣。 每個交易表示序列中的一個元素。

然後,基於輸入的順序數據,使用RNN模型來檢測與信用卡欺詐相關的可疑交易活動。

Ch4 Empirical analysis 實證分析

Ch4.1 Data description 數據描述

在這項研究中,我們使用來自中國最大的商業銀行之一的真實數據集。

欺詐交易根據欺詐調查部門的記錄進行標記。

該數據集包含153,685個交易記錄,並且高度不平衡(僅2046個(<1.5%)欺詐性交易)。

我們對數據集進行預處理,以排除重複項,異常值和客戶本身未啟動的某些交易,例如沖銷交易。

我們總共獲得114,779筆交易來進行實驗。

該數據集分為訓練驗證數據集和測試數據集。

訓練數據集包含61,735個事務,而測試數據集包含53,044個交易。

訓練集中和測試集中的欺詐交易數量分別為866和1176。

Ch4.2 Experimental setup

本文主要目的是研究我們提出的基於深度學習架構的和HOBA特徵工程框架的信用卡詐欺偵測系統的性能以及HOBA分析的有效性。

我們把三種最火的深度學習模型DBN,CNN,RNN與幾種詐欺偵測常用的資料探勘技術,隨機森林,支持向量機,BPNN做比較,

檢測利用HOBA產生的特徵變數輸入模型檢測深度學習方法的性能,

利用RFM結合三種傳統方法做為性能比較基準,

在HOBA特徵工程框架之下用特徵匯總以及基於規則的策略生成1410個變量,

對於交易匯總策略選擇所有可能組成的子集13 aggregation characteristics, 9 aggregation periods, 4 transaction behavior measures (交易金額, 兩筆交易時間間隔, 兩筆交易地理距離間隔and 額度利用率), and 4 aggregation statistics (平均值,標準差,最大值,總和).

我們選擇的九種匯總期間,過去一天,過去三天,過去五天,當前交易,過去五筆交易,過去七筆交易,過去十五筆交易,過去第六到第十筆交易以及過去的八到十五次交易可以分為短期,中期和長期,以提供從短期到長期的行為信息摘要,

我們選擇的匯總特徵是購買,現金提取,異常時間,國外交易,高風險MCC,線上交易以及其他一些???與識別欺詐行為有關的特徵。

為了進行比較,傳統的機器學習方法使用文獻[39]中建議的RFM框架下的變量

我們在五個聚合級別下類似地計算了三種類型的RFM變量,以構建60個用於RFM分析的變量,並且還建議添加一些分類變量。

因此,RFM變量集總共包含87個變量。

用10則交叉驗證評估以及選擇模型,避免分類器過擬合,

隨機從訓練資料集產生10個相等大小的子集,

然後,9個用來訓練分類器,一個用來測試分類器

這個過程重複10次,每個子集用於訓練9次,1次用來測試

用Grid search 自動微調重要參數,確保實驗的公平以及客觀性,

Ch 4.3 Evaluation criteria 評估標準

對於分類問題,最後會得到每個觀察值得預測機率(詐欺檢測懷疑分數),範圍是0~1,表示為肯定是詐欺類別的機率,

當我們設定某個門檻(預設0.5)以將每個觀察結果分成正類或是負類會得到一個混淆矩陣,

表2中顯示了幾種基於混淆矩陣的常用分類性能度量,用於評估欺詐檢測性能:

但是,研究人員都同意上述性能指標在欺詐檢測中的不足。

由於數據集中的顯著失衡,將每筆交易歸類為合法交易將產生整體準確性,即使是最先進的模型也無法。

此外,混淆矩陣中的四類分類結果將在信用卡欺詐檢測中產生不同的錯誤分類成本。

false negatives(我們預測為否定)通常會比誤報引起更大的成本,因為後一類僅需要調查的費用。

因此,除了上述措施外,我們還採用AUC(ROC曲線下的面積)值作為整體性能指標。

ROC曲線(接收器工作特性)是一個圖形。不會因為門檻設不同有不同結果

它在不同的可能閾值處繪製了真實的陽性率(TPR)與錯誤的陽性率(FPR)。

AUC被認為是比精度更好的總體性能指標,因為它與截止值無關。

AUC值越接近1,模型的整體性能就越好。

Ch 4.4 Experimental results 實驗結果

通過經驗實驗可以回答兩個主要問題。

第一個問題是深度學習技術是否可以提供更好的欺詐檢測性能。

第二個問題是我們提出的特徵工程框架是否可以為欺詐檢測中的機器學習方法提供更好的變數。

第一個實驗組(在第4.4.1節中介紹)旨在研究這兩個問題。

我們評估使用不同特徵集的深度學習模型和傳統機器學習方法的欺詐檢測性能。

此外,為了從實踐角度評估欺詐檢測模型,我們進行了第二個實驗組(在第4.4.2節中介紹),以研究在一定的false positive rate容差下該模型的性能。

FPR = FP / N = FP / (FP + TN)

Ch 4.4.1 Overall fraud detection performance整體欺詐檢測性能

表3顯示了使用不同功能集的深度學習技術和傳統機器學習模型的欺詐檢測性能的評估結果。

表4列出了McNemar測試[30]的實驗結果,該測試比較了不同分類器的分類性能。

F1-measure和AUC值可以反映模型的整體性能。

recall表示已正確預測的實際欺詐交易的比例,而precision則表示正確預測的欺詐交易與預測的欺詐交易的比例。

Recall跟precision都是重要的評估指標

Recall高的系統可以保護顧客的利益,precision高可以降低監管成本,

從表3可以看出運用深度學習相較傳統機器學習,提高了很多信用卡詐欺檢測的能力,

使用RFM產生的特徵變數在F1-measure value, precision 以及AUC使用深度學習的方法(DBN, CNN and RNN),相較於傳統機器學習方法(BPNN, SVM, RF),有更好的效果,

如表4所示,與基準模型(BPNN + RFM,SVM + RFM和RF + RFM)相比,分類性能的改善在統計上都是顯著的。

RF優於其他兩個資料探勘的方法,這跟過去的許多研究一致

從衡量分類器總體性能的F1-measure和AUC值方面來看,使用RFM功能集時,DBN可獲得最高的F1量度得分0.373和最高的AUC值0.958

同時,DBN分類器還可以在使用建議的HOBA特徵集時獲得最高的F1-measure得分和AUC值。

平均而言,當使用RFM功能集時,深度學習模型相對於基礎機器學習方法的F1量度得分提高了22.6%,AUC值提高了2.8%。

具有HOBA的深度學習模型的AUC值和F1-measure分數比基線模型好得多,其F1測度分數和AUC值的平均表現均高出近34.2%和3.2%。

在不同特徵集下深度學習技術表示出,深度學習在有較大的特徵集(HOBA特徵集)的學習效果更強大

綜合以上結論,無論是RFN或是HOBA的特徵集,深度學習的性能都優於其他模型

具有HOBA特徵變數的DBN分類器可以獲得最佳的效能,並優於其他模型

比照表三上下兩部分,比較分類器的詐欺檢測校能,可以看出HOBA特徵工程框架的有效性,

與使用RFM的特徵集相比,使用HOBA特徵集的分類器在F1-measure,precision, recall and AUC values,都好得多,F1-measure領先0.158,on precision, 13.65% on recall and 0.013 on AUC value.

顯然,基於HOBA的特徵工程框架為所有的分類演算法提升顯著的性能,

圖6是不同特徵工程框架結合不同分類器的ROC曲線,從圖中可以在不同狀況下直接比較詐欺偵測模型的性能

從圖6可以看出,使用HOBA特徵集的深度學習模型的曲線位於最靠近圖的左上角,這表明建議的用於深度學習架構的信用卡欺詐檢測的特徵工程方法學取得了更好的性能。

這些圖還展示了深度學習技術和HOBA特徵工程的實用性。

總體而言,這些結果說明了所提出方法的有效性。

CH4.4.2 Fraud detection performance under differing false positive rates

不同誤報率(false positive rates)下的欺詐檢測性能

為了進行進一步的評估,我們在不同的誤報率(FPR)下測試模型的性能,並結合與業務相關的信息來評估所提出方法的有效性[29]。

從實踐的角度來看,欺詐檢測部門不歡迎誤報率高的模型。

從FPR和召回的公式中可以看出,更高的召回價值意味著我們可以捕獲更多的欺詐交易。

但是,隨著我們檢測到更多欺詐交易,我們可能會誤分類更多合法交易。

結果,誤報率也可能增加,即更多的誤報。

實際上,這些誤報不僅增加了欺詐調查的成本,而且還給信用卡發行人帶來了聲譽損失。

如果欺詐檢測模型的FPR太高,則會導致對合法交易的過度干擾,最終可能使客戶煩惱並導致客戶流失。

客戶的營業額將給發卡機構造成巨大損失,甚至抵消欺詐檢測模型所帶來的收益。

因此,欺詐檢測部門對可接受的FPR容限下的模型性能更感興趣。

考慮到信用卡交易量巨大,可接受的FPR值很小。

根據商業銀行的欺詐分析師,FPR低於1%的欺詐檢測模型是完美的,而最高可接受的FPR率是3%。

因此,在我們的工作中,我們將FPR的兩個容差值設置為1%和3%。

然後,我們比較不同方法的性能。

表5a顯示了在1%FPR容差下的性能指標。

使用HOBA特徵集的DBN模型獲得最高的F1度量得分0.577,仍然在整體性能度量方面優於所有其他方法。

它還具有58.33%的最高召回率,這表明該模型可以在預期的低誤報率下檢測到一半以上的可疑交易活動。

深度學習模型的性能仍然比具有不同功能集的傳統機器學習方法要好得多。

此外,使用HOBA功能集的分類器的F1量度得分範圍為0.341至0.577,而使用RFM功能集的分類器的F1測量值範圍為0.234至0.326。

因此,它再次顯示出一些證據,表明基於HOBA的特徵工程提供了更好的特徵變量集。

我們在表5b中列出了在3%FPR容差下的性能結果。

深度學習模型和HOBA功能集的結合繼續提供了更好的實驗結果。

由於我們放寬了誤報率容限,因此所有這些分類器都能獲得更好的召回率。

可以識別更多的欺詐交易。

但是,精度不可避免地降低了。

在FPR這樣的FPR容忍度下,總體F1量度得分和準確性也較低。

使用HOBA功能集的深度學習分類器的召回範圍為69.90%至75.00%,這表明所提出的反欺詐系統可以在可接受的誤報率下識別大多數欺詐交易。

可見使用深度學習後可以增強詐欺檢測能力

CH5 Conclusions and future work 結論和今後的工作

總之,本文提出了一種具有深度學習架構的新穎特徵工程框架,用於信用卡欺詐檢測。

提出了一種基於面向同質性行為分析(HOBA)的特徵工程框架,以生成代表行為信息的特徵變量,用於欺詐檢測模型。

與以前的工作相比,我們的功能工程框架考慮了信用卡交易的異質性,並且僅對同質交易進行行為分析。

我們還通過地理位置距離和相對金額的行為度量來豐富以前的交易匯總策略。

此外,我們採用深度學習技術,基於大量提取的特徵,可以更有效地進行欺詐檢測建模。

我們進行比較實驗以比較幾種深度學習算法和傳統機器學習的性能

基於不同特徵集的方法。

實證研究是基於來自中國最大的商業銀行之一的真實數據集進行的。

結果表明,無論RFM功能集或HOBA功能集如何,深度學習方法都明顯優於其他所有基線。

具有HOBA變量的DBN分類器比基準模型獲得了明顯更好的性能。

實驗結果還表明,基於HOBA的特徵工程在檢測欺詐交易中有益於所有數據挖掘方法。

這些對比實驗結果表明,該方法的性能改進歸因於深度學習技術和HOBA特徵工程的應用。

此外,我們提供了信用卡欺詐檢測模型的實際評估,並在假陽性率具有一定容忍度的情況下調查了該模型的性能。

實證分析結果提供了證據,從實踐角度證明了我們提出的方法在信用卡欺詐檢測能力方面也具有顯著優勢。

據我們所知,這是第一個成功的研究,該研究應用了面向同質性的行為分析來分析信用卡持有人的交易行為以進行欺詐檢測。

我們工作的管理意義在於,發卡機構可以應用所提出的方法來有效地識別欺詐性的信用卡交易,以保護客戶利益並減少欺詐損失和監管成本。

我們的工作仍然有一些局限性。例如,我們沒有評估提議的HOBA特徵工程框架的計算成本,該框架比RFM構造了更大的變量集。

因此,在未來的工作中,我們希望從兩個方面進行進一步的研究。

第一個重點是研究實時欺詐檢測系統的計算需求。

第二個是探索更高級的機器學習方法的應用以及深度學習方法和傳統數據挖掘方法在欺詐檢測中的可能組合。

--

--

MotoZe
0 Followers

不務正業的資工所研究生