Antrenare rapidă sau lentă? Un joc cu curbe de antrenare
Fiecare grafic din acest joc este o antrenare reală din cursul 2. Vedeți cum evoluează eroarea rețelei, epocă după epocă, și indicați ce setare a produs curba: rata de învățare, mărimea lotului sau optimizatorul. Nouă grafice, circa trei minute.
Primele șase antrenări potrivesc un perceptron multistrat (MLP 64-64) pe cele 20.640 de grupuri de locuințe din recensămîntul californian folosit în curs; graficul arată eroarea pătratică medie (MSE) pe 4.128 de grupuri de validare pe care rețeaua nu se antrenează (mai mic înseamnă mai bine). Ultimele trei antrenări detectează fraude cu carduri; graficul arată aria de sub curba precizie-sensibilitate (PR-AUC) pe tranzacțiile de validare (mai mare înseamnă mai bine). Aici nu există un model cu care să vă comparați: contează doar scorul dumneavoastră.
Ce arată jocul
- Cu coborîrea stohastică pe gradient (SGD) simplă și 30 de epoci, rata de învățare decide totul: cu η = 0,0001, MSE pe validare rămîne la 1,093, cu η = 0,1 ajunge la 0,281, iar de la η = 0,3 în sus antrenarea diverge (mediana a 3 inițializări).
- Optimizatorul stabilește viteza: după o epocă pe datele de fraudă, PR-AUC pe validare este 0,004 cu SGD simplu, 0,488 cu moment și 0,592 cu Adam; pe tranzacțiile de test cele trei ajung la 0,786, 0,823 și 0,803 (5 inițializări).
- Loturile mici învață mai mult pe epocă (MSE pe validare după 5 epoci: 0,294 cu loturi de 16, 0,870 cu loturi de 1.024), dar cer mai mult timp: 25,8 s față de 1,0 s pentru 40 de epoci.
Clasamentul sălii, pentru proiector
Date: locuințele din California, recensămîntul din 1990 (Pace și Barry, 1997; StatLib), împărțite aleator 60/20/20; fraudele cu carduri ale Université libre de Bruxelles (ULB) și Worldline, setul 1597 al platformei Open Machine Learning (OpenML), împărțite cronologic. Curbe: antrenările din analysis_L2.py (sămînța 20261108; salvate în lectures/L2/cache). Cod: lectures/L2/make_game_L2.py.

