Rețele neuronale și deep learning

Cursul 9: Rețele neuronale pe grafuri

Cursul 9

Rețele neuronale pe grafuri

Prof. dr. Daniel Traian PELE

Academia de Studii Economice din București (ASE), Departamentul de Statistică și Econometrie
Academia Română, Institutul de Prognoză Economică (IPE)

Spălarea banilor se vede rareori într-o singură plată. Se vede în lanț: fondurile sînt împărțite pe multe adrese, trecute prin intermediari și reunite apoi. De aceea băncile, procesatorii de plăți și platformele de schimb cripto privesc tranzacțiile ca pe o rețea, iar rețelele neuronale pe grafuri (GNN) sînt instrumentul de deep learning construit pentru această perspectivă: fiecare tranzacție învață de la vecinii ei, de la vecinii vecinilor și așa mai departe.

Cursul construiește cele trei straturi GNN clasice, rețeaua convoluțională pe graf (GCN), eșantionarea și agregarea pe graf (GraphSAGE) și rețeaua cu atenție pe graf (GAT), și le testează pentru combaterea spălării banilor (AML) pe graful Elliptic cu 203 769 de tranzacții Bitcoin publicat de Weber et al. (2019), alături de o regresie logistică și o pădure aleatoare, în ordine cronologică și cu măsurile care contează pentru o echipă de investigații.

Ce veți ști să faceți

  • Reprezentați datele financiare ca graf: noduri, muchii, variabile, matricea de adiacență și adiacența normalizată.
  • Scrieți schema de transmitere a mesajelor și straturile GCN, GraphSAGE și GAT, cu toate simbolurile definite.
  • Antrenați-le pe graful Elliptic, în ordine cronologică, alături de modele de referință puternice fără graf.
  • Judecați rezultatele cu precizia, recall-ul, aria de sub curba precizie-recall (PR-AUC), bugetele de alerte, schimbarea în timp și stabilitatea explicațiilor.

Planul cursului

  1. Grafurile în detectarea infracțiunilor financiareGraful Elliptic arată cum arată o rețea de tranzacții și de ce vecinii poartă informație.
  2. Grafurile ca matriceMatricea de adiacență, matricea gradelor și laplacianul transformă graful în algebră liniară.
  3. Transmiterea mesajelorFiecare strat GNN colectează mesajele vecinilor, le agregă și actualizează nodul.
  4. GCN, GraphSAGE și GATTrei alegeri ale mesajului, agregării și actualizării, de la ponderi fixe după grad la atenție învățată.
  5. Studiu de caz: tranzacții Bitcoin iliciteOpt modele pe același test în timp, judecate cum le-ar judeca o echipă de investigații.
  6. Rețelele GNN în producțieModelele pe graf din finanțe greșesc în moduri specifice; cunoașterea lor face parte din model.

Grafurile în detectarea infracțiunilor financiare

Graful Elliptic arată cum arată o rețea de tranzacții și de ce vecinii poartă informație.

Structura de rețea în detectarea spălării banilor

Slide-ul 5 în PDF

Un graf \(G=(\mathcal V,\mathcal E,\mathbf X)\) are nodurile \(\mathcal V\) (aici tranzacții), muchiile \(\mathcal E\) (un flux de plată de la o tranzacție la următoarea) și matricea variabilelor \(\mathbf X\in\mathbb R^{n\times d}\); eticheta \(y_v=1\) marchează o tranzacție ilicită (fraude, ransomware, piețe ilegale). Graful Elliptic are 203 769 de tranzacții, 234 355 de fluxuri de plată, 165 de variabile pe tranzacție și 49 de pași de timp. Sarcina este clasificarea nodurilor.

În practică: echipa de conformitate a unei bănci gîndește deja în lanțuri de plăți; o rețea GNN învață din aceleași lanțuri.

Descrierea setului de date Elliptic

Slide-ul 6 în PDF
ElementValoare
Etichete4 545 ilicite, 42 019 licite, 157 205 necunoscute (22,9 % etichetate)
Variabile93 locale și 72 agregate pe vecini
Timpul49 de pași de circa două săptămîni; 100,0 % dintre muchii leagă tranzacții din același pas
Antrenare / testpașii 1–34 (29 894 etichetate) / pașii 35–49 (16 670 etichetate, 1 083 ilicite)

Doar 9,76 % dintre tranzacțiile etichetate sînt ilicite, deci acuratețea singură nu ar spune nimic. Denumirile variabilelor sînt anonimizate de Elliptic.

Evoluția în timp a tranzacțiilor ilicite

Slide-ul 7 în PDF

Numărul tranzacțiilor ilicite atinge un vîrf de 342 în pasul 32; fiecare pas are în total circa 4 159 de tranzacții. Ca în Weber et al. (2019), modelele sînt antrenate pe pașii 1–34 și testate o singură dată pe pașii 35–49; pașii nu se amestecă niciodată.

Grafic: Evoluția în timp a tranzacțiilor ilicite

Tranzacțiile etichetate pe pași de timp, licite și ilicite; linia punctată încheie perioada de antrenare.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: graful tranzacțiilor Bitcoin Elliptic, 49 de pași de timp (circa două săptămîni fiecare).

În practică: un model este judecat pe lunile de după datele de antrenare, exact cum va fi folosit.

Distribuția gradelor în graful tranzacțiilor

Slide-ul 8 în PDF

Graful este rar: gradul mediu este 2,30, mediana 2, iar 34,5 % dintre noduri au un singur vecin. Coada este grea: cel mai mare nod central are 473 de vecini. O rețea GNN nu trebuie să lase astfel de noduri să le acopere pe celelalte; de aici normalizarea după grad din secțiunea următoare.

Grafic: Distribuția gradelor în graful tranzacțiilor

Funcția de repartiție complementară a gradului, pe scară dublu logaritmică.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: graful tranzacțiilor Bitcoin Elliptic, 49 de pași de timp (circa două săptămîni fiecare).

Homofilia tranzacțiilor ilicite

Slide-ul 9 în PDF

Dintre vecinii etichetați ai unei tranzacții ilicite, 51,0 % sînt ilicite; pentru o tranzacție licită ponderea este 1,8 %. Dintre muchiile etichetate, 95,4 % leagă două tranzacții din aceeași clasă, față de 82,4 % dacă etichetele ar fi date la întîmplare. Această homofilie este motivul pentru care ne uităm la vecini.

Grafic: Homofilia tranzacțiilor ilicite

Ponderea tranzacțiilor ilicite printre vecinii etichetați ai tranzacțiilor ilicite și licite.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: graful tranzacțiilor Bitcoin Elliptic, 49 de pași de timp (circa două săptămîni fiecare).

În practică: cu cine tranzacționezi spune ceva despre tine: homofilia este ceea ce exploatează o rețea GNN.

Sinteza secțiunii

Grafurile de fraudă sînt rare, cu cozi grele, etichetate în valuri și homofile: vecinii poartă informație, dar ordinea în timp trebuie respectată.

Grafurile ca matrice

Matricea de adiacență, matricea gradelor și laplacianul transformă graful în algebră liniară.

Matricea de adiacență ca reprezentare algebrică a grafului

Slide-ul 11 în PDF

\(A_{uv}=1\) dacă \((u,v)\) este muchie și 0 altfel; \(D=\operatorname{diag}(\sum_vA_{uv})\) este matricea gradelor. Adăugînd bucle și normalizînd simetric, obținem

\[\tilde A=A+I,\qquad \hat A=\tilde D^{-1/2}\tilde A\,\tilde D^{-1/2},\]
(9.1)

cu elementele \(1/\sqrt{\tilde d_u\tilde d_v}\). Matricea \(A\) are circa \(4\cdot10^{10}\) celule, dar numai 234 355 de muchii, deci bibliotecile precum PyTorch Geometric (PyG) păstrează o listă de muchii. Fără normalizare, un nod central de grad 473 ar aduna 473 de mesaje, iar scala ar exploda.

Invarianța și echivarianța la permutări ale modelelor pe graf

Slide-ul 12 în PDF

Pentru orice matrice de permutare \(P\), un model la nivel de nod trebuie să satisfacă \(f(P\mathbf X,PAP^\top)=Pf(\mathbf X,A)\) (echivarianță), iar unul la nivel de graf \(g(P\mathbf X,PAP^\top)=g(\mathbf X,A)\) (invarianță). Un perceptron multistrat (MLP) pe rîndurile lui \(A\) s-ar schimba odată cu numerotarea; o rețea neuronală convoluțională (CNN) presupune o grilă cu un număr fix de vecini ordonați, pe cînd o tranzacție are între unul și cîteva sute de vecini, fără ordine.

În practică: întrebați despre orice model cumpărat: se schimbă scorul dacă fișierul de intrare este sortat altfel? Nu are voie.

Semnale netede pe graf: laplacianul

Slide-ul 13 în PDF

Laplacianul \(L=D-A\) măsoară cît diferă un semnal de la un nod la vecinii lui: \(\mathbf x^\top L\mathbf x=\sum_{(u,v)\in\mathcal E}(x_u-x_v)^2\). Vectorii lui proprii \(U\) definesc o transformată Fourier pe graf, \(\hat{\mathbf x}=U^\top\mathbf x\), iar un filtru spectral este \(U g_\theta(\Lambda)U^\top\mathbf x\). Calculul este costisitor, dar un polinom de gradul întîi în \(L\) duce direct la adiacența normalizată din (9.1) (derivarea, în Anexa A a slide-urilor). Pe grafurile de fraudă cu homofilie semnalul este neted, deci media pe vecini elimină zgomot, nu informație.

Trei sarcini de predicție: la nivel de nod, de muchie și de graf

Slide-ul 14 în PDF

Aceleași straturi răspund la trei întrebări; se schimbă doar ieșirea. Nod: este această tranzacție ilicită (acest curs)? Muchie: este această plată un transfer printr-un cont intermediar? Graf: este acest grup de conturi o rețea de spălare, este această rețea interbancară fragilă? O sumă pe reprezentările nodurilor face ca ieșirea la nivel de graf să nu depindă de numerotare.

În practică: stabiliți întîi unitatea de decizie (o plată, un client, o rețea), apoi sarcina pe graf.

Sinteza secțiunii

O rețea GNN lucrează cu adiacența normalizată și trebuie să fie echivariantă la permutări; laplacianul explică de ce mediile pe vecini sînt filtre trece-jos.

Transmiterea mesajelor

Fiecare strat GNN colectează mesajele vecinilor, le agregă și actualizează nodul.

Un strat GNN: funcțiile de mesaj, de agregare și de actualizare

Slide-ul 16 în PDF

O rețea neuronală cu transmitere de mesaje (MPNN) calculează, pentru fiecare nod \(v\) și strat \(l\),

\[\mathbf m_v^{(l)}=\bigoplus_{u\in\mathcal N(v)}\phi^{(l)}\big(\mathbf h_u^{(l)},\mathbf h_v^{(l)},\mathbf e_{uv}\big),\qquad \mathbf h_v^{(l+1)}=\psi^{(l)}\big(\mathbf h_v^{(l)},\mathbf m_v^{(l)}\big),\]
(9.2)

pornind de la \(\mathbf h_v^{(0)}=\mathbf x_v\), unde \(\mathcal N(v)\) sînt vecinii, \(\phi\) funcția mesajului, \(\bigoplus\) un agregator care nu depinde de ordine (sumă, medie, maxim), \(\psi\) actualizarea, iar \(\mathbf e_{uv}\) variabile opționale ale muchiilor. Ponderile sînt comune tuturor nodurilor, deci dimensiunea modelului nu crește odată cu graful.

Agregatorul și puterea de discriminare a unei rețele GNN

Slide-ul 17 în PDF

Media și maximul uită cîți vecini au trimis mesaje: vecinătățile \(\{a,a\}\) și \(\{a\}\) au aceeași medie și același maxim, dar sume diferite. Rețeaua de izomorfism pe graf (GIN) folosește \(\mathbf h_v^{(l+1)}=\mathrm{MLP}\big((1+\varepsilon)\mathbf h_v^{(l)}+\sum_{u}\mathbf h_u^{(l)}\big)\) și deosebește la fel de bine ca testul Weisfeiler–Leman (WL). În fraudă, „o plată de la un serviciu de amestecare” și „zece astfel de plăți” nu trebuie să arate la fel; dar sumele pe nodurile centrale cer normalizare, de aceea GCN folosește (9.1).

În practică: alegeți agregatorul după întrebare: contează numărul (suma), contează proporția (media), contează un singur semnal de alarmă (maximul).

Fiecare strat lărgește vecinătatea care ajunge la un nod

Slide-ul 18 în PDF

O rețea cu \(L\) straturi vede vecinătatea de \(L\) salturi. Pentru 2 000 de tranzacții de test, numărul median de noduri care pot influența un nod este 2 după un strat, 11 după două și 325 după patru; percentila 90 ajunge la 1 356 de noduri după patru straturi, pentru că nodurile centrale leagă părți îndepărtate ale grafului.

Grafic: Fiecare strat lărgește vecinătatea care ajunge la un nod

Numărul de noduri aflate la cel mult \(k\) salturi de o tranzacție de test, mediana și percentila 90.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: graful tranzacțiilor Bitcoin Elliptic, 49 de pași de timp (circa două săptămîni fiecare).

Netezirea excesivă (over-smoothing) în rețelele pe graf cu multe straturi

Slide-ul 19 în PDF

Medierea repetată, ponderată după grad, aduce toate reprezentările spre un vector comun. Pe Elliptic, PR-AUC de test este 0,504 cu un strat GCN, 0,458 cu două și 0,371 cu șase; adîncimea cea mai bună este 1. Pe același interval, similaritatea cosinus medie a reprezentărilor crește de la 0,57 la 0,96.

Grafic: Netezirea excesivă (over-smoothing) în rețelele pe graf cu multe straturi

PR-AUC de test și similaritatea cosinus medie a reprezentărilor, după numărul de straturi GCN (media pe 2 semințe).

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

În practică: rețelele GNN sînt intenționat puțin adînci: două-trei straturi, apoi conexiuni reziduale dacă este nevoie de mai mult.

Sinteza secțiunii

Transmiterea mesajelor = mesaj, agregare, actualizare; adîncimea = numărul de salturi, iar prea multă adîncime netezește excesiv.

GCN, GraphSAGE și GAT

Trei alegeri ale mesajului, agregării și actualizării, de la ponderi fixe după grad la atenție învățată.

GCN: media vecinilor ponderată cu gradele, urmată de o transformare liniară

Slide-ul 21 în PDF

Un strat GCN este

\[H^{(l+1)}=\mathrm{ReLU}\big(\hat AH^{(l)}W^{(l)}\big),\]
(9.3)

o regresie liniară pe media normalizată a nodului și a vecinilor lui, urmată de unitatea liniară rectificată (ReLU). Rețeaua noastră GCN are 2 straturi cu 100 de unități ascunse și dropout 0,2, 26 902 de parametri, și se antrenează pe tot graful deodată în circa 66 de secunde pe sămînță, pe procesorul unui laptop. Costul pe strat este liniar în numărul de muchii.

În practică: o rețea GCN este analogul pe graf al unei medii mobile: robustă, ieftină și oarbă la care vecin contează cel mai mult.

GraphSAGE: reprezentarea separată a nodului și eșantionarea vecinilor

Slide-ul 22 în PDF

GraphSAGE folosește ponderi separate pentru nod și pentru media unui eșantion \(\mathcal S(v)\) de vecini: \(\mathbf h_v^{(l+1)}=\mathrm{ReLU}\big(W_1\mathbf h_v^{(l)}+W_2\,\mathrm{mean}_{u\in\mathcal S(v)}\mathbf h_u^{(l)}\big)\). Ponderile nu depind de graf, deci tranzacțiile de mîine primesc un scor fără reantrenare (învățare inductivă), iar eșantionarea limitează costul pe nod. Pe Elliptic, F1 pe clasa ilicită este 0,564 (abatere standard 0,022), iar PR-AUC 0,582.

GAT: ponderi de atenție învățate pentru vecini

Slide-ul 23 în PDF

Un strat cu atenție pe graf ponderează fiecare vecin cu un scor învățat,

\[\alpha_{vu}=\operatorname{softmax}_u\Big(\mathrm{LeakyReLU}\big(\mathbf a^\top[W\mathbf h_v\,\|\,W\mathbf h_u]\big)\Big),\]
(9.4)

și face media lui \(W\mathbf h_u\) cu aceste ponderi, cu mai multe capete concatenate. Este atenția din cursul 7, restrînsă la muchiile grafului: un transformer este o rețea GAT pe graful complet al tokenilor. Rețeaua noastră GAT are 4 capete, 27 302 de parametri, F1 pe clasa ilicită 0,489 și PR-AUC 0,496.

În practică: ponderile de atenție sînt o primă explicație, nu una finală: arată unde s-a uitat modelul, nu de ce.

Antrenarea pe un singur graf mare: măști, ponderi de clasă, oprire timpurie

Slide-ul 24 în PDF

Toate nodurile transmit mesaje, dar în entropia încrucișată ponderată intră numai nodurile etichetate din pașii 1–29, cu ponderile 0,7 pentru ilicite și 0,3 pentru licite, ca în Weber et al. (2019). Nodurile etichetate din pașii 30–34 aleg epoca cea mai bună după PR-AUC (răbdare 40 de epoci); epoca mediană reținută de GCN este 47. Mediile și abaterile standard ale variabilelor provin numai din pașii 1–34. Nodurile necunoscute nu se pierd: ele transmit mesaje între cele etichetate (învățare semi-supervizată).

Sinteza secțiunii

GCN face media cu ponderi după grad, GraphSAGE separă nodul de vecini și este inductivă, GAT învață ponderile.

Studiu de caz: tranzacții Bitcoin ilicite

Opt modele pe același test în timp, judecate cum le-ar judeca o echipă de investigații.

Opt modele evaluate pe un set de test cronologic

Slide-ul 26 în PDF

Modelele sînt: o regresie logistică pe cele 93 de variabile locale și pe toate cele 165; o pădure aleatoare cu 100 de arbori și 50 de variabile la fiecare împărțire, ca în Weber et al. (2019); un MLP cu aceleași straturi ca GCN, dar fără mesaje, care izolează valoarea muchiilor; GCN, GraphSAGE și GAT; și o pădure aleatoare pe variabile plus cele 100 de ieșiri ascunse ale GCN. Precizia, recall-ul și F1 pe clasa ilicită se măsoară la pragul 0,5 pe pașii 35–49, împreună cu PR-AUC, care nu depinde de prag; fiecare rețea și pădure este rulată cu 3 semințe.

Rezultatele pe Elliptic: pădurea aleatoare și contribuția straturilor pe graf

Slide-ul 27 în PDF

F1 pe clasa ilicită este 0,808 pentru pădurea aleatoare, 0,778 pentru pădurea cu reprezentări GCN, 0,447 pentru GCN, 0,498 pentru MLP și 0,343 pentru regresia logistică. Cu aceleași straturi, muchiile schimbă PR-AUC al rețelei cu +8,1 puncte (GCN față de MLP), deși F1 la pragul 0,5 este mai mic decît al MLP; GraphSAGE, care separă nodul de vecini, este cea mai bună rețea pe graf, cu F1 0,564.

Grafic: Rezultatele pe Elliptic: pădurea aleatoare și contribuția straturilor pe graf

F1 pe clasa ilicită și PR-AUC pe pașii de test 35–49, media și abaterea standard pe semințe.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

Precizie, recall și costul antrenării

Slide-ul 28 în PDF

Precizia este ponderea alertelor care sînt ilicite; recall-ul este ponderea tranzacțiilor ilicite găsite. Pădurea aleatoare are precizia 0,914 și recall-ul 0,725; GCN are precizia 0,484 și recall-ul 0,494; regresia logistică, cu ponderile de clasă 0,3 și 0,7, cumpără un recall de 0,771 cu o precizie de doar 0,220.

În practică: modelul potrivit depinde de costul unei erori: un caz de spălare ratat sau o oră pierdută de un analist.

Curbele precizie-recall ale modelelor

Slide-ul 29 în PDF

PR-AUC este 0,782 pentru pădurea aleatoare, 0,763 pentru pădurea cu reprezentări GCN, 0,442 pentru GCN și 0,311 pentru regresia logistică; un scor aleator ar da 6,50 %, ponderea tranzacțiilor ilicite printre cele etichetate de test.

Grafic: Curbele precizie-recall ale modelelor

Curbele precizie-recall pe pașii de test (scoruri mediate pe semințe); linia punctată este rata de bază.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

Testul bootstrap al diferenței pe tranzacțiile de test

Slide-ul 30 în PDF

Reeșantionînd tranzacțiile de test de 1 000 de ori, cu aceeași extragere pentru ambele modele, diferența de PR-AUC dintre pădurea aleatoare și GCN este 0,285, cu intervalul de 95 % [0,259; 0,313], iar diferența dintre pădurea cu reprezentări GCN și pădurea simplă este −0,008, cu intervalul [−0,015; −0,002]. Un interval care nu conține zero susține o diferență reală pe această perioadă de test.

În practică: raportați intervalul, nu doar cîștigătorul: un comitet antifraudă decide pe intervale, nu pe a treia zecimală.

Agregatele de vecinătate din variabile și performanța pădurii aleatoare

Slide-ul 31 în PDF

72 dintre cele 165 de variabile sînt agregate pe vecinii de la un salt (maxime, minime, abateri standard, corelații): un strat GNN fix, calculat de Elliptic înainte de publicarea datelor. O regresie logistică numai pe variabilele locale atinge F1 0,329, față de 0,343 cu agregatele. În plus, arborii prind bine tiparele de fraudă de tip regulă. Rețelele GNN își justifică costul pe grafuri brute, fără agregate construite manual, pe tipare pe mai multe salturi și la scorurile inductive; combinînd cele două, pădurea cu reprezentări GCN schimbă F1 cu −3,0 puncte.

În practică: înainte de a antrena o rețea GNN, verificați dacă furnizorul datelor nu a agregat deja vecinătatea.

Schimbarea conceptului după închiderea unei piețe ilegale

Slide-ul 32 în PDF

Înainte de pasul 43, F1 mediu este 0,898 pentru pădurea aleatoare și 0,473 pentru GCN; de la pasul 43 este 0,048 și 0,000. După închiderea unei piețe ilegale importante, fluxurile ilicite și-au schimbat forma (Weber et al., 2019), iar niciun model antrenat pe pașii 1–34 nu văzuse noul comportament.

Grafic: Schimbarea conceptului după închiderea unei piețe ilegale

F1 pe clasa ilicită pe fiecare pas de timp de test, pentru patru modele.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

În practică: monitorizați F1 pe fiecare perioadă și reantrenați pe etichete recente; un model AML static îmbătrînește în cîteva săptămîni.

Tranzacțiile ilicite identificate între primele 1 000 de alerte

Slide-ul 33 în PDF

Dacă echipa verifică primele 1 000 de scoruri din perioada de test, găsește 72,9 % dintre toate tranzacțiile ilicite cu pădurea aleatoare, 44,8 % cu GCN și 72,9 % cu pădurea plus reprezentările GCN; rata de reușită a acestor alerte este 78,9 % pentru pădure și 48,5 % pentru GCN, din 1 083 de tranzacții ilicite de test.

Grafic: Tranzacțiile ilicite identificate între primele 1 000 de alerte

Ponderea tranzacțiilor ilicite de test găsite printre scorurile cele mai mari, după numărul de alerte verificate.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

În practică: dimensionați echipa după această curbă: bugetul de alerte, nu F1, este constrîngerea unui departament de conformitate.

Tranzacțiile ilicite se grupează în spațiul de reprezentare al GCN

Slide-ul 34 în PDF

Proiecția stratului ascuns al rețelei GCN, cu 100 de dimensiuni, pe primele două componente principale (analiza componentelor principale, PCA), care explică 79,2 % din varianță, arată tranzacțiile ilicite de test adunîndu-se într-o regiune proprie. Acești vectori sînt intrările modelului pădure plus GCN și pot alimenta orice alt model de risc.

Grafic: Tranzacțiile ilicite se grupează în spațiul de reprezentare al GCN

Reprezentările ascunse GCN ale tranzacțiilor de test, primele două componente principale.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

Efectul variabilelor de graf asupra explicațiilor

Slide-ul 35 în PDF

Primele 10 variabile ale pădurii aleatoare au 58,2 % din importanța bazată pe impuritate; după adăugarea reprezentărilor GCN, aceleași variabile păstrează 7,4 %, iar reprezentările iau 73,9 %. Pe 3 reantrenări, corelația Spearman medie a importanțelor este 0,973 pentru pădure și 0,896 pentru pădurea cu reprezentări GCN. O parte din schimbare vine din simpla adăugare de intrări, iar o parte din reantrenare: ambele trebuie luate în calcul înainte de a interpreta o schimbare de model ca o schimbare de explicație.

Grafic: Efectul variabilelor de graf asupra explicațiilor

Importanța primelor 10 variabile ale pădurii aleatoare, fără și cu reprezentări GCN.

Sursa: Graful tranzacțiilor Bitcoin Elliptic (Weber et al., 2019). Date: estimări proprii; antrenare pe pașii 1-34, pașii de timp de test 35-49.

Sinteza secțiunii

Pe Elliptic muchiile ajută o rețea, dar o pădure pe variabile deja agregate conduce; schimbarea în timp și bugetul de alerte contează mai mult decît a treia zecimală.

Rețelele GNN în producție

Modelele pe graf din finanțe greșesc în moduri specifice; cunoașterea lor face parte din model.

Erori frecvente în aplicarea modelelor pe graf în finanțe

Slide-ul 37 în PDF

Scurgeri de informație prin muchii: un nod de test nu trebuie să primească mesaje din viitor; în Elliptic, 100,0 % dintre muchii rămîn în același pas de timp, deci împărțirea în timp este curată. Puține etichete: doar 22,9 % dintre noduri sînt etichetate, iar etichetele din investigațiile trecute favorizează cazurile deja găsite. Schimbarea în timp: infractorii se adaptează, iar rețelele GNN temporale precum EvolveGCN lasă ponderile să evolueze. Explicabilitatea: un raport de activitate suspectă are nevoie de o justificare pe care un supraveghetor o poate citi; GNNExplainer găsește subgraful și variabilele din spatele unei predicții.

În practică: testați un model pe graf așa cum va funcționa: pe perioade ulterioare, cu etichetele disponibile atunci.

Aplicații ale modelelor bazate pe grafuri în finanțe

Slide-ul 38 în PDF

Grafurile deținător–comerciant leagă multe victime de un singur terminal compromis; rețelele de garanți și furnizori propagă neplata prin creditul comercial; grafurile de adrese și tranzacții scot la iveală serviciile de amestecare și grupurile de portofele; expunerile interbancare și rețelele de dependență în cozi arată cine cade dacă o bancă cade; acțiunile legate prin corelație, lanț de aprovizionare sau acționariat alimentează prognozele randamentelor; rețelele electrice și zonele de preț interconectate sînt grafuri prin construcție.

În practică: ori de cîte ori riscul unei unități depinde de contrapărțile ei, un model pe graf merită încercat.

Sinteza secțiunii

Respectați timpul, așteptați-vă la puține etichete și la etichete părtinitoare, urmăriți schimbarea în timp și explicați deciziile: de acestea depinde dacă un model pe graf rezistă în producție.

Video: intuiția din spatele matematicii (în engleză)

Abrevieri

AMLcombaterea spălării banilor (anti-money laundering)
ASEAcademia de Studii Economice din București
BTCbitcoin (unitate monetară)
CNNrețea neuronală convoluțională
CPUunitate centrală de procesare
GATrețea cu atenție pe graf (graph attention network)
GCNrețea convoluțională pe graf (graph convolutional network)
GINrețea de izomorfism pe graf (graph isomorphism network)
GNNrețea neuronală pe graf (graph neural network)
GraphSAGEeșantionare și agregare pe graf (graph sample and aggregate)
IPEInstitutul de Prognoză Economică, Academia Română
MLPperceptron multistrat
MPNNrețea neuronală cu transmitere de mesaje (message passing)
PCAanaliza componentelor principale
PR-AUCaria de sub curba precizie-recall
PyGPyTorch Geometric (bibliotecă de programe)
ReLUunitate liniară rectificată (rectified linear unit)
SHAPexplicații aditive bazate pe valorile Shapley (SHapley Additive exPlanations)
WLtestul de izomorfism Weisfeiler–Leman
XAIinteligență artificială explicabilă

Bibliografie

  • Bishop, C. M. & Bishop, H. (2024). Deep Learning: Foundations and Concepts, ch. 13. Springer. doi:10.1007/978-3-031-45468-4
  • Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5–32. doi:10.1023/A:1010933404324
  • Diaconu, D. & Pele, D. T. (2026). SHAP stability across random and forward-time validation in graph-augmented fraud detection. Submitted to Expert Systems with Applications. Code: github.com/QuantLet/GNN_XAI_Stability
  • Efron, B. & Tibshirani, R. J. (1993). An Introduction to the Bootstrap. Chapman & Hall. doi:10.1201/9780429246593
  • Fey, M. & Lenssen, J. E. (2019). Fast graph representation learning with PyTorch Geometric. ICLR Workshop on Representation Learning on Graphs and Manifolds. arXiv:1903.02428
  • Gilmer, J., Schoenholz, S. S., Riley, P. F., Vinyals, O. & Dahl, G. E. (2017). Neural message passing for quantum chemistry. Proceedings of ICML, PMLR 70, 1263–1272. arXiv:1704.01212
  • Hamilton, W. L., Ying, R. & Leskovec, J. (2017). Inductive representation learning on large graphs. Advances in Neural Information Processing Systems, 30. arXiv:1706.02216
  • Hamilton, W. L. (2020). Graph Representation Learning. Morgan & Claypool. doi:10.2200/S01045ED1V01Y202009AIM046
  • Kipf, T. N. & Welling, M. (2017). Semi-supervised classification with graph convolutional networks. International Conference on Learning Representations. arXiv:1609.02907
  • Li, Q., Han, Z. & Wu, X.-M. (2018). Deeper insights into graph convolutional networks for semi-supervised learning. Proceedings of the AAAI Conference on Artificial Intelligence, 32(1). doi:10.1609/aaai.v32i1.11604
  • Lundberg, S. M. & Lee, S.-I. (2017). A unified approach to interpreting model predictions. Advances in Neural Information Processing Systems, 30. arXiv:1705.07874
  • Pareja, A., Domeniconi, G., Chen, J. et al. (2020). EvolveGCN: Evolving graph convolutional networks for dynamic graphs. Proceedings of the AAAI Conference on Artificial Intelligence, 34(4), 5363–5370. doi:10.1609/aaai.v34i04.5984
  • Toma, F.-M., Dima, D.-M., Grecu, R., Pele, D. T. & Lessmann, S. (2026). Energy Financial Risk Meter: Systemic risk in the EU energy sector. SSRN Working Paper 6985301. doi:10.2139/ssrn.6985301
  • Veličković, P., Cucurull, G., Casanova, A., Romero, A., Liò, P. & Bengio, Y. (2018). Graph attention networks. International Conference on Learning Representations. arXiv:1710.10903
  • Weber, M., Domeniconi, G., Chen, J., Weidele, D. K. I., Bellei, C., Robinson, T. & Leiserson, C. E. (2019). Anti-money laundering in Bitcoin: Experimenting with graph convolutional networks for financial forensics. KDD Workshop on Anomaly Detection in Finance. arXiv:1908.02591
  • Xu, K., Hu, W., Leskovec, J. & Jegelka, S. (2019). How powerful are graph neural networks? International Conference on Learning Representations. arXiv:1810.00826
  • Ying, R., Bourgeois, D., You, J., Zitnik, M. & Leskovec, J. (2019). GNNExplainer: Generating explanations for graph neural networks. Advances in Neural Information Processing Systems, 32. arXiv:1903.03894

Text scris pentru versiunea web a cursului; cifrele, graficele și sursele provin din slide-uri și din Quantlet-urile lor.