Ce variabilă a determinat decizia?
Rețeaua unei bănci a aprobat sau a respins o cerere reală de credit garantat cu locuința. Pentru fiecare dintre cei 8 solicitanți vedeți dosarul și decizia rețelei și alegeți, dintre patru variabile, pe cea care a împins cel mai mult această decizie. Apoi vedeți răspunsul SHAP (SHapley Additive exPlanations, Kernel SHAP) și dacă LIME (local interpretable model-agnostic explanations, explicații locale interpretabile, independente de model) este de acord.
Rețeaua este perceptronul multistrat (MLP) din cursul 11, antrenat pe alte 3.576 de credite (aria de sub curba ROC, receiver operating characteristic, AUC, 0,937 pe creditele de test); respinge un credit cînd probabilitatea de neplată este de cel puțin 50 %. Răspunsul corect este varianta cu cea mai mare contribuție Kernel SHAP, în valoare absolută, la log-șansele de neplată; răspunsul LIME este varianta cu cea mai mare valoare absolută a produsului dintre panta LIME și valoarea standardizată. Ambele explicații au fost calculate cu setările din curs.
Ce arată jocul
- LIME și SHAP indică aceeași variabilă principală pentru 19 dintre cei 30 de solicitanți din joc. Pentru solicitantul studiat în curs, SHAP pune pe primul loc lipsa raportului datorii/venit (DEBTINC lipsă), iar LIME liniile de credit cu restanțe (DELINQ); corelația Spearman a contribuțiilor lor absolute este 0,80.
- Explicațiile sînt estimări și variază cu hazardul: cu 500 de eșantioane, LIME păstrează aceeași variabilă principală doar în 73 % din 30 de rulări, iar între cele 10 valori inițiale de antrenare ale aceleiași rețele variabila SHAP principală a unui solicitant coincide doar pentru 78 % din perechile de valori inițiale.
- Înainte ca o explicație să ajungă la un client sau la autoritatea de supraveghere, ea trebuie verificată: două metode, mai multe valori inițiale, setări fixate și raportate.
Clasamentul sălii, pentru proiector
Date: creditele HMEQ garantate cu locuința (Baesens, Roesch și Scheule, 2016; 5.960 de credite). Cei 30 de solicitanți din joc sînt extrași aleator dintre solicitanții de test explicați în curs (12 respinși și 18 aprobați de rețea; sămînța 20261108); fiecare joc extrage 8 dintre ei. Kernel SHAP și comparația între valorile inițiale provin din rezultatele salvate ale cursului; LIME este recalculat cu setările din curs (5.000 de eșantioane, lățimea implicită a nucleului, sămînța 0). Cod: lectures/L11/make_game_L11.py.

