Oprire timpurie sau antrenare mai lungă? Un joc cu curbe de învățare
Antrenați o rețea neuronală și trebuie să decideți cînd vă opriți. Fiecare grafic este o antrenare reală din cursul 3: pierderea de antrenare și, pe majoritatea cartonașelor, pierderea pe un set de validare pe care rețeaua nu se antrenează. Alegeți una din trei epoci. Răspunsul corect este epoca în care rețeaua greșește cel mai puțin pe date noi: un set de test pe care nu l-a folosit nimeni în timpul antrenării. Nouă grafice, circa patru minute.
Șapte grafice provin din cererile de credit germane (600 pentru antrenare, 200 pentru validare, 200 pentru test), două din plățile cu carduri împărțite cronologic. Pierderea este entropia încrucișată: cu cît este mai mică, cu atît probabilitățile estimate sînt mai bune. Pe primele trei grafice vedeți doar pierderea de antrenare, ca într-un raport care arată numai potrivirea pe datele de antrenare. Modelul cu care vă comparați este oprirea timpurie: alege epoca cu cea mai mică pierdere de validare.
Ce arată jocul
- Pe creditele germane, pierderea de antrenare a rețelei fără regularizare scade la 0,0001 după 150 de epoci, în timp ce pierderea de validare crește de la 0,536 la epoca 3 la 2,187: rețeaua învață pe de rost cei 600 de solicitanți. O pierdere de antrenare care scade nu spune nimic despre clienții noi.
- În cele 9 antrenări pe creditele germane din joc, cu sau fără dropout și penalizarea ponderilor, pierderea pe test este minimă între epocile 3 și 5, iar pierderea de validare indică epocile 3–4.
- Pe fraudele cu carduri, oprirea timpurie crește aria de sub curba precizie-sensibilitate (PR-AUC) pe test de la 0,796 la 0,842 (5 inițializări); penalizarea ponderilor (0,787) sau dropout (0,798) singure nu o cresc.
Clasamentul sălii, pentru proiector
Date: creditele germane (Hofmann, 1994; UCI), 1.000 de solicitanți împărțiți aleator 60/20/20; fraudele cu carduri ale ULB Machine Learning Group și Worldline (OpenML 1597), împărțite cronologic. Antrenări: rețelele din analysis_L3.py (sămînța 20261108), repetate cu pierderea pe test înregistrată după fiecare epocă. Cod: lectures/L3/make_game_L3.py.

