Rețele neuronale și deep learning

Cursul 3: Regularizare și generalizare

Cursul 3

Regularizare și generalizare

Prof. dr. Daniel Traian PELE

Academia de Studii Economice din București (ASE), Departamentul de Statistică și Econometrie
Academia Română, Institutul de Prognoză Economică (IPE)

O rețea care se potrivește perfect datelor de antrenare poate eșua totuși la următorul solicitant sau la următoarea plată. Acest curs tratează diferența dintre cele două situații: de ce apare, cum o reduc penalizările, dropout, oprirea timpurie și normalizarea pe loturi și cum se proiectează o schemă de validare care o măsoară corect. Studiul de caz este frauda cu carduri, unde evenimentul este rar, datele sosesc în ordine cronologică, iar o împărțire neatentă poate face ca un detector mediocru să pară excelent.

Folosim trei seturi de date reale: 600 de solicitanți de antrenare din German credit, din colecția Universității California din Irvine (UCI), grupurile de locuințe din recensămîntul Californiei și 28 924 de plăți cu cardul de la Université libre de Bruxelles (ULB) și Worldline, cu toate cele 492 de fraude. Fiecare model este un perceptron multistrat (MLP) antrenat în PyTorch, comparat cu regresia logistică și, pentru fraudă, cu extreme gradient boosting (XGBoost), întotdeauna cu mai multe inițializări.

Ce veți ști să faceți

  • Diagnosticați supraînvățarea (overfitting) din curbele de antrenare și validare și explicați compromisul deplasare-varianță și dubla coborîre.
  • Scrieți penalizarea ponderilor, penalizarea L1, dropout, oprirea timpurie și normalizarea pe loturi cu formulele lor.
  • Proiectați o schemă de validare fără scurgere de informație: validarea încrucișată, împărțirea cronologică, reeșantionarea doar în partea de antrenare.
  • Evaluați un detector de fraudă cu precizia, sensibilitatea, aria de sub curba precizie-sensibilitate (PR-AUC) și costul erorilor.

Planul cursului

  1. Generalizarea și supraînvățareaCe este diferența de generalizare, cum apare în curbele de antrenare, cum se descompune eroarea pe test în deplasare, varianță și zgomot și de ce modelele foarte mari pot generaliza din nou.
  2. Penalizarea ponderilorPenalizarea ponderilor și penalizarea L1 limitează mărimea ponderilor; ele corespund unor distribuții a priori gaussiene și Laplace.
  3. Dropout, oprirea timpurie și normalizarea pe loturiTrei regularizatori care acționează prin antrenare, nu prin pierdere, măsurați pe German credit, pe fraudele cu carduri și pe California housing.
  4. Schema de validareCum se măsoară corect generalizarea: validarea încrucișată, zgomotul unei singure împărțiri și scurgerile care umflă scorurile.
  5. Studiu de caz: detectarea fraudei cu carduriEvenimentele rare au nevoie de metrici proprii, de ponderi pentru eșantionare și de un buget de alerte stabilit din costuri.

Generalizarea și supraînvățarea

Ce este diferența de generalizare, cum apare în curbele de antrenare, cum se descompune eroarea pe test în deplasare, varianță și zgomot și de ce modelele foarte mari pot generaliza din nou.

Un model este judecat pe solicitanți pe care nu i-a văzut niciodată

Slide-ul 5 în PDF

Diferența de generalizare \(R(\hat f)-\hat R_n(\hat f)\) compară pierderea așteptată pe date noi cu pierderea de antrenare. Regularizarea înseamnă orice reduce \(R\) cu prețul unei \(\hat R_n\) mai mari, scrisă de obicei ca obiectiv penalizat \(\hat R_n(f)+\lambda\Omega(f)\).

Fără regularizare, un MLP mare memorează 600 de solicitanți în cîteva epoci

Slide-ul 6 în PDF

Un MLP 256-256 are 78 593 de parametri pentru 600 de solicitanți. Pierderea lui de validare este minimă la epoca 3 (0,536) și ajunge la 2,187 după 150 de epoci, în timp ce pierderea de antrenare tinde la zero; dropout 0,5 cu penalizare doar încetinește creșterea (1,767). Regresia logistică rămîne la 0,570.

Grafic: Fără regularizare, un MLP mare memorează 600 de solicitanți în cîteva epoci

Entropia încrucișată de antrenare și de validare pentru un MLP 256-256 pe German credit.

Sursa: UCI Machine Learning Repository, Statlog German credit. Date: 600 de solicitanți de antrenare și 200 de validare; MLP 256-256.

În practică: o pierdere de antrenare aproape de zero pe date de credit este un semnal de alarmă.

Eroarea pe test se descompune în deplasare, varianță și zgomot

Slide-ul 7 în PDF

Pentru \(y=f(x)+\varepsilon\), eroarea pătratică așteptată a unui model estimat pe un eșantion aleator se descompune astfel:

\[\mathbb E\big[(y-\hat f_{\mathcal D}(x))^2\big]=\big(f(x)-\mathbb E\hat f_{\mathcal D}(x)\big)^2+\operatorname{Var}\big(\hat f_{\mathcal D}(x)\big)+\sigma^2\]
(3.1)

În (3.1), regularizarea acceptă puțină deplasare în schimbul unei reduceri mari a varianței; zgomotul \(\sigma^2\) este o limită pe care niciun model nu o poate depăși.

După pragul de interpolare, mai mulți neuroni ascunși reduc din nou eroarea

Slide-ul 8 în PDF

Cu \(p\) unități liniare rectificate (ReLU) aleatoare și fixe și un strat de ieșire de normă minimă, estimat pe \(n=\) 400 de grupuri, eroarea pătratică medie (MSE) pe test este 0,781 la \(p=\) 50, explodează la pragul de interpolare \(p=n\) (\(1,0\times10^{6}\)) și scade din nou la 0,932 pentru \(p=\) 8 000: dubla coborîre descrisă de Belkin et al. (2019).

Grafic: După pragul de interpolare, mai mulți neuroni ascunși reduc din nou eroarea

MSE de antrenare și de test în funcție de numărul de caracteristici ReLU aleatoare, mediana a 10 extrageri.

Sursa: StatLib, locuințe din California, recensămîntul din 1990 (Pace și Barry, 1997). Date: 400 de grupuri de antrenare și 5 000 de testare la fiecare extragere, 10 extrageri.

Sinteza secțiunii

Supraînvățarea apare ca o pierdere de antrenare care scade și una de validare care crește; compromisul deplasare-varianță explică curba clasică în U, iar dubla coborîre arată că modelele foarte mari pot generaliza din nou.

Penalizarea ponderilor

Penalizarea ponderilor și penalizarea L1 limitează mărimea ponderilor; ele corespund unor distribuții a priori gaussiene și Laplace.

Penalizarea ponderilor ca penalizare L2 și ca distribuție a priori gaussiană a ponderilor

Slide-ul 10 în PDF

Adăugarea lui \(\frac\lambda2\|\mathbf w\|^2\) la pierdere transformă fiecare pas de coborîre stohastică pe gradient (SGD) în \(\mathbf w\leftarrow(1-\eta\lambda)\mathbf w-\eta\nabla\mathcal L\), iar minimul penalizat este estimarea maximum a posteriori (MAP) cu o distribuție a priori gaussiană. Cu Adam cele două diferă; Adam cu penalizarea ponderilor decuplată (AdamW) reface micșorarea uniformă.

O penalizare L1 aduce ponderile exact la zero

Slide-ul 11 în PDF

Penalizarea L1 \(\lambda\|\mathbf w\|_1\) are un colț în zero; pasul ei proximal (de prag moale) \(w\leftarrow\operatorname{sign}(u)\max(|u|-\eta\lambda,0)\) aduce ponderile mici exact la zero, ca în lasso-ul lui Tibshirani (1996).

Ponderile primului strat cu penalizare L1 și cu penalizare L2

Slide-ul 12 în PDF

Pe German credit, 67,2 % dintre cele 3 072 de ponderi ale primului strat ajung sub 0,01 în valoare absolută cu L1, față de 26,3 % cu L2; AUC pe test este 0,768, respectiv 0,761.

Grafic: Ponderile primului strat cu penalizare L1 și cu penalizare L2

Ponderile primului strat ale unui MLP cu 64 de neuroni ascunși, cu penalizare L1 și L2 (frecvențe pe scară logaritmică).

Sursa: UCI Machine Learning Repository, Statlog German credit. Date: 600 de solicitanți de antrenare; MLP cu 64 de neuroni ascunși 3 072 de ponderi în primul strat.

Sinteza secțiunii

Penalizarea ponderilor le micșorează proporțional, penalizarea L1 aduce multe dintre ele exact la zero; ambele sînt distribuții a priori deghizate.

Dropout, oprirea timpurie și normalizarea pe loturi

Trei regularizatori care acționează prin antrenare, nu prin pierdere, măsurați pe German credit, pe fraudele cu carduri și pe California housing.

Dropout antrenează un ansamblu de rețele subțiate care își împart ponderile

Slide-ul 14 în PDF

Dropout-ul inversat înmulțește fiecare neuron ascuns cu \(m_j/(1-p)\), cu \(m_j\sim\) Bernoulli\((1-p)\), în timpul antrenării și folosește rețeaua completă la testare. Cu \(H\) neuroni care pot fi opriți, rețeaua eșantionează din \(2^H\) subrețele subțiate, cu ponderi comune (Srivastava et al., 2014).

Pe 600 de solicitanți, regularizarea nu egalează regresia logistică

Slide-ul 15 în PDF

Pe 5 pliuri, MLP 256-256 ajunge la AUC 0,749 fără regularizare, 0,750 la cea mai bună penalizare și 0,755 la cea mai bună rată de dropout, în timp ce regresia logistică ajunge la 0,772. Penalizarea micșorează rețeaua (norma ponderilor 18,0 la \(\lambda=0\), 10,6 la \(\lambda=3\)), dar pe atît de puține date un model mai mic este remediul mai bun.

Grafic: Pe 600 de solicitanți, regularizarea nu egalează regresia logistică

AUC pe pliul de test pentru un MLP 256-256 pe German credit, în funcție de penalizare și de rata de dropout.

Sursa: UCI Machine Learning Repository, Statlog German credit. Date: 1 000 de solicitanți, validare încrucișată cu 5 pliuri, fără oprire timpurie (150 de epoci).

Oprirea timpurie: păstrăm ponderile epocii celei mai bune pe validare

Slide-ul 16 în PDF

Oprirea timpurie păstrează ponderile epocii cu cea mai mică pierdere de validare și se oprește după \(P\) epoci fără îmbunătățire. Lîngă un minim pătratic, \(t\) pași de mărime \(\eta\) acționează ca o penalizare L2 de intensitate aproximativ \(1/(\eta t)\) (Prechelt, 1998; Bishop și Bishop, 2024).

La fraudele cu carduri, pierderea pe validare atinge minimul devreme, în timp ce pierderea pe antrenare continuă să scadă

Slide-ul 17 în PDF

Pe împărțirea cronologică a datelor despre fraude, pierderea de validare a unui MLP 256-256 este minimă la epoca 4 (0,0159); cu o răbdare de 20 de epoci, antrenarea se oprește la epoca 24, iar după 120 de epoci pierderea de validare ar fi 0,0593.

Grafic: La fraudele cu carduri, pierderea pe validare atinge minimul devreme, în timp ce pierderea pe antrenare continuă să scadă

Pierderea de antrenare și de validare la fraudele cu carduri, cu epoca cea mai bună și fereastra de răbdare.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: împărțire cronologică: 17 354 de tranzacții de antrenare 5 785 de validare.

Normalizarea pe loturi standardizează fiecare neuron pe mini-lot

Slide-ul 18 în PDF

Normalizarea pe loturi (BN) standardizează fiecare neuron pe mini-lot și îl rescalează apoi cu \(\gamma_j,\beta_j\) învățați; la testare, mediile mobile înlocuiesc statisticile lotului (Ioffe și Szegedy, 2015).

Normalizarea pe loturi permite antrenarea la o rată la care altfel rețeaua diverge

Slide-ul 19 în PDF

Un MLP cu 6 straturi pe California housing, antrenat cu SGD și moment, diverge la \(\eta=0{,}1\) în 3 din 3 inițializări fără BN; cu BN, aceeași rată funcționează, cu cea mai bună MSE pe validare de 0,283. La \(\eta=0{,}01\), cele mai bune valori sînt 0,265 fără și 0,277 cu BN, curba cu BN fiind mai zgomotoasă.

Grafic: Normalizarea pe loturi permite antrenarea la o rată la care altfel rețeaua diverge

MSE pe validare pentru un MLP cu 6 straturi, cu și fără normalizare pe loturi, la două rate de învățare.

Sursa: StatLib, locuințe din California, recensămîntul din 1990 (Pace și Barry, 1997). Date: 6 straturi ascunse de 64 de neuroni, SGD cu moment 0,9, 3 inițializări.

Sinteza secțiunii

Dropout și penalizările reduc capacitatea, oprirea timpurie este cel mai eficient regularizator ieftin pe datele noastre despre fraude, iar normalizarea pe loturi este în primul rînd un ajutor pentru optimizare.

Schema de validare

Cum se măsoară corect generalizarea: validarea încrucișată, zgomotul unei singure împărțiri și scurgerile care umflă scorurile.

Setul păstrat deoparte, validarea încrucișată și validarea încrucișată imbricată

Slide-ul 22 în PDF

Validarea încrucișată cu \(K\) pliuri face media pierderilor a \(K\) modele, fiecare evaluat pe pliul pe care nu l-a văzut. Validarea încrucișată imbricată adaugă o buclă interioară pentru ajustare, astfel încît estimarea exterioară măsoară întreaga procedură.

O singură împărțire aleatoare poate muta AUC cu cîteva puncte

Slide-ul 23 în PDF

Pe 200 de împărțiri aleatoare 70/30 ale datelor German credit, AUC pe test a aceluiași model logistic variază între 0,702 și 0,842, iar 90 % dintre împărțiri dau valori între 0,743 și 0,816.

Grafic: O singură împărțire aleatoare poate muta AUC cu cîteva puncte

AUC pe test al regresiei logistice pe 200 de împărțiri aleatoare ale datelor German credit.

Sursa: UCI Machine Learning Repository, Statlog German credit. Date: 1 000 de solicitanți, 200 de împărțiri aleatoare stratificate.

Scurgerea de informație în setul de validare

Slide-ul 24 în PDF

Patru scurgeri apar frecvent în datele de afaceri: preprocesare estimată pe toate rîndurile, reeșantionare înainte de împărțire, ignorarea timpului și intrări cunoscute abia după decizie (Kaufman et al., 2012). Pentru serii de timp, folosiți validarea cu fereastră extinsă sau pe blocuri (Bergmeir și Benítez, 2012).

Supraeșantionarea înainte de împărțire supraestimează performanța

Slide-ul 25 în PDF

Același MLP, pe aceleași plăți, obține PR-AUC 0,843 cu împărțire cronologică, 0,853 cu împărțire aleatoare și 0,921 cînd fiecare fraudă este copiată de 20 de ori înainte de împărțire: copiile ajung de ambele părți.

Grafic: Supraeșantionarea înainte de împărțire supraestimează performanța

PR-AUC estimată în trei scheme de evaluare, cîte 5 inițializări.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: aceleași 28 924 de tranzacții, MLP 128-128 cu oprire timpurie, 5 inițializări.

Sinteza secțiunii

Validarea trebuie să imite producția: o singură împărțire mică este zgomotoasă, împărțirile aleatoare ignoră timpul, iar reeșantionarea înainte de împărțire produce scurgeri.

Studiu de caz: detectarea fraudei cu carduri

Evenimentele rare au nevoie de metrici proprii, de ponderi pentru eșantionare și de un buget de alerte stabilit din costuri.

Frauda este rară și grupată în timp

Slide-ul 27 în PDF

Datele complete au 284 807 de plăți, cu o rată a fraudei de 0,173 %; fișierul nostru păstrează toate fraudele și 10 % din plățile legitime, fiecare cu ponderea 10. Intrările sînt 28 de scoruri de analiză a componentelor principale (PCA) și logaritmul sumei. Rata orară a fraudei ajunge la 2,27 %, față de o mediană de 0,131 %.

Grafic: Frauda este rară și grupată în timp

Rata orară a fraudei în cele două zile, cu începutul validării și al testării.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: septembrie 2013, 2 zile, 284 807 tranzacții (eșantion ponderat).

Măsuri de performanță pentru evenimente rare: precizia, sensibilitatea și PR-AUC

Slide-ul 28 în PDF

Precizia este \(TP/(TP+FP)\), sensibilitatea \(TP/(TP+FN)\), iar PR-AUC face media preciziei pe nivelurile de sensibilitate; un scor aleator are PR-AUC egal cu rata fraudei (Saito și Rehmsmeier, 2015). Fiecare plată legitimă contează cu ponderea 10 în \(FP\), deci precizia este cea a populației complete.

Pe orele de test, oprirea timpurie este regularizatorul cu cel mai clar cîștig

Slide-ul 29 în PDF

Cu 60 de epoci fixe și 5 inițializări, PR-AUC pe test este 0,796 fără regularizare, 0,842 cu oprire timpurie, 0,787 cu penalizare, 0,798 cu dropout, 0,798 cu normalizare pe loturi și 0,841 cu toate.

Grafic: Pe orele de test, oprirea timpurie este regularizatorul cu cel mai clar cîștig

PR-AUC pe test pentru șase variante de regularizare, cîte 5 inițializări.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: setul de test cronologic: ultimele 5 785 de tranzacții (75 de fraude); 5 inițializări.

MLP regularizat comparat cu regresia logistică și cu gradient boosting

Slide-ul 30 în PDF

Pe ultimele 20 % din cele două zile, PR-AUC este 0,789 pentru regresia logistică, 0,840 pentru MLP regularizat (ansamblu de 5 inițializări) și 0,814 pentru XGBoost; la o precizie de 80 %, ele detectează 74,7 %, 80,0 % și 80,0 % dintre cele 75 de fraude din test.

Grafic: MLP regularizat comparat cu regresia logistică și cu gradient boosting

Curbele precizie-sensibilitate pe orele de test, ponderate la populație.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: setul de test cronologic: 5 785 de tranzacții 75 de fraude ponderat la populație.

Ponderile claselor și corecția pentru datele subeșantionate

Slide-ul 31 în PDF

Un model antrenat pe date în care plățile legitime au fost păstrate cu rata \(\beta\) supraestimează șansa de fraudă de \(1/\beta\) ori; probabilitatea corectată este \(p=\beta p_s/(\beta p_s-p_s+1)\) (Dal Pozzolo et al., 2015). Ponderile claselor și reeșantionarea mută pragul efectiv, dar aproape nu schimbă ordonarea.

Numărul de alerte și ponderea pierderilor din fraudă evitate

Slide-ul 32 în PDF

Dacă o fraudă ratată își pierde suma și fiecare alertă costă o verificare de 5 euro (EUR), pierderile din perioada de test scad de la 7 729 EUR fără alerte la 3 093 EUR pentru regresia logistică, 2 694 EUR pentru MLP și 2 695 EUR pentru XGBoost, la numărul optim de alerte.

Grafic: Numărul de alerte și ponderea pierderilor din fraudă evitate

Costul total în perioada de test în funcție de numărul de alerte trimise la verificare.

Sursa: ULB Machine Learning Group și Worldline, tranzacții cu carduri (OpenML 1597). Date: perioada de test (ultimele 20 % din cele două zile); costul verificării 5 EUR pe alertă.

În practică: bugetul de alerte, stabilit din sume și costuri de verificare, este decizia de afaceri; modelul doar ordonează.

Explorați vizual

Instrumente interactive gratuite și ghiduri ilustrate pentru acest curs; cele mai multe rulează în browser.

  • TensorFlow Playground: alegeți setul de date în spirală, zgomot 50 și 10% date de antrenare, și o rețea cu mai multe straturi ascunse: pierderea pe test rămîne peste cea de antrenare, adică supraînvățare.
  • TensorFlow Playground: setați regularizarea la L2, apoi la L1, cu rata 0,01: L1 aduce multe ponderi la zero, desenate ca legături subțiri, iar L2 le micșorează pe toate.

Sinteza secțiunii

Pentru evenimente rare, raportați PR-AUC, precizia la o sensibilitate gestionabilă și costul alertelor, pe un set de test cronologic și cu mai multe inițializări.

Video: intuiția din spatele matematicii (în engleză)

Abrevieri

AdamWAdam cu penalizarea ponderilor decuplată
AIinteligență artificială
AUCaria de sub curba caracteristică de operare a receptorului
BNnormalizarea pe loturi (batch normalisation)
EUReuro
GNNrețea neuronală pe grafuri
GraphSAGEeșantionare și agregare pe graf (o arhitectură GNN)
IEEE-CISInstitute of Electrical and Electronics Engineers, Computational Intelligence Society
MAPmaximum a posteriori
MLPperceptron multistrat
MSEeroarea pătratică medie
OpenMLplatforma Open Machine Learning
PCAanaliza componentelor principale
PR-AUCaria de sub curba precizie-sensibilitate
ReLUunitate liniară rectificată
ROCcaracteristica de operare a receptorului
SGDcoborîrea stohastică pe gradient
SHAPexplicații aditive Shapley
UCIUniversitatea California din Irvine (Machine Learning Repository)
ULBUniversité libre de Bruxelles
XAIinteligență artificială explicabilă
XGBoostextreme gradient boosting (arbori de decizie cu amplificare pe gradient)

Bibliografie

  • Będowska-Sójka, B., Wójcik, P. & Pele, D. T. (2026). Early warning systems for cryptocurrency markets: Predicting `zombie' assets using machine learning. The North American Journal of Economics and Finance, 81, 102543. doi:10.1016/j.najef.2025.102543
  • Belkin, M., Hsu, D., Ma, S. & Mandal, S. (2019). Reconciling modern machine-learning practice and the classical bias–variance trade-off. Proceedings of the National Academy of Sciences, 116(32), 15849–15854. doi:10.1073/pnas.1903070116
  • Bergmeir, C. & Benítez, J. M. (2012). On the use of cross-validation for time series predictor evaluation. Information Sciences, 191, 192–213. doi:10.1016/j.ins.2011.12.028
  • Bishop, C. M. & Bishop, H. (2024). Deep Learning: Foundations and Concepts. Springer. doi:10.1007/978-3-031-45468-4
  • Chen, T. & Guestrin, C. (2016). XGBoost: A scalable tree boosting system. Proceedings of KDD 2016, 785–794. doi:10.1145/2939672.2939785
  • Dal Pozzolo, A., Caelen, O., Johnson, R. A. & Bontempi, G. (2015). Calibrating probability with undersampling for unbalanced classification. IEEE Symposium Series on Computational Intelligence, 159–166. doi:10.1109/SSCI.2015.33
  • Diaconu, D. & Pele, D. T. (2026). Explainable AI in financial fraud detection: Evidence from the IEEE-CIS fraud dataset. Proceedings of the International Conference on Business Excellence, 20(1), 118–132. doi:10.2478/picbe-2026-0015
  • Hastie, T., Tibshirani, R. & Friedman, J. (2009). The Elements of Statistical Learning (2nd ed.). Springer. doi:10.1007/978-0-387-84858-7
  • Hoerl, A. E. & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67. doi:10.1080/00401706.1970.10488634
  • Hofmann, H. (1994). Statlog (German Credit Data). UCI Machine Learning Repository. doi:10.24432/C5NC77
  • Ioffe, S. & Szegedy, C. (2015). Batch normalization: Accelerating deep network training by reducing internal covariate shift. Proceedings of ICML, 448–456. arXiv:1502.03167
  • Kaufman, S., Rosset, S., Perlich, C. & Stitelman, O. (2012). Leakage in data mining: Formulation, detection, and avoidance. ACM Transactions on Knowledge Discovery from Data, 6(4), 1–21. doi:10.1145/2382577.2382579
  • Loshchilov, I. & Hutter, F. (2019). Decoupled weight decay regularization. International Conference on Learning Representations. arXiv:1711.05101
  • Nakkiran, P., Kaplun, G., Bansal, Y., Yang, T., Barak, B. & Sutskever, I. (2021). Deep double descent: where bigger models and more data hurt. Journal of Statistical Mechanics, 124003. doi:10.1088/1742-5468/ac3a74
  • Pace, R. K. & Barry, R. (1997). Sparse spatial autoregressions. Statistics & Probability Letters, 33(3), 291–297. doi:10.1016/S0167-7152(96)00140-X
  • Prechelt, L. (1998). Early stopping — but when? In Neural Networks: Tricks of the Trade, LNCS 1524, 55–69. Springer. doi:10.1007/3-540-49430-8_3
  • Saito, T. & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), e0118432. doi:10.1371/journal.pone.0118432
  • Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I. & Salakhutdinov, R. (2014). Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research, 15, 1929–1958.
  • Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society B, 58(1), 267–288. doi:10.1111/j.2517-6161.1996.tb02080.x

Text scris pentru versiunea web a cursului; cifrele, graficele și sursele provin din slide-uri și din Quantlet-urile lor.