Postoji uvriježeno mišljenje da interpretabilni modeli nužno žrtvuju točnost. Podaci govore nešto složenije.
Stvarna razlika u performansama
Na standardnim financijskim skupovima podataka (kreditno bodovanje, procjena rizika obveznica), razlika između logističke regresije i XGBoost-a iznosi tipično između 2 i 6 postotnih bodova u AUC metrici.
To zvuči malo. Ali na portfelju od 50.000 klijenata, 3 postotna boda bolje klasifikacije može značiti drugačiju raspodjelu kapitala od nekoliko milijuna eura.
Gdje interpretabilni modeli nadmašuju crne kutije
Analitičar Goran Šarić radio je usporedbu na skupu podataka jedne leasing kompanije. Stabla odlučivanja s dubinom do 5 razina postigla su jednaku točnost kao i neuronska mreža — jer su ulazne varijable bile relativno linearne.
Lekcija: složenost modela treba odgovarati složenosti podataka. Crna kutija na linearnim podacima nije napredak, samo trošak objašnjivosti.
Regulatorni trošak netransparentnosti
EBA smjernice o modelskom riziku zahtijevaju dokumentaciju i validaciju modela. Za neinterpretabilne modele, ta validacija je skuplja i traje dulje.
Jedna srednja europska banka procijenila je da validacija složenog modela košta između 3 i 8 puta više od validacije interpretabilnog ekvivalenta. Nije apstraktno — to su sati konzultanata i internih analitičara.
Praktična procjena za male institucije
Ako vaša institucija nema tim od barem 4 do 5 data scientista, složeni neinterpretabilni modeli vjerojatno nisu isplativi. Troškovi održavanja i validacije pojede uštedu od bolje točnosti.
