Rețele neuronale și deep learning

Cursul 3 · Joc: Oprire timpurie sau antrenare mai lungă? Un joc cu curbe de învățare

Oprire timpurie sau antrenare mai lungă? Un joc cu curbe de învățare

Antrenați o rețea neuronală și trebuie să decideți cînd vă opriți. Fiecare grafic este o antrenare reală din cursul 3: pierderea de antrenare și, pe majoritatea cartonașelor, pierderea pe un set de validare pe care rețeaua nu se antrenează. Alegeți una din trei epoci. Răspunsul corect este epoca în care rețeaua greșește cel mai puțin pe date noi: un set de test pe care nu l-a folosit nimeni în timpul antrenării. Nouă grafice, circa patru minute.

Șapte grafice provin din cererile de credit germane (600 pentru antrenare, 200 pentru validare, 200 pentru test), două din plățile cu carduri împărțite cronologic. Pierderea este entropia încrucișată: cu cît este mai mică, cu atît probabilitățile estimate sînt mai bune. Pe primele trei grafice vedeți doar pierderea de antrenare, ca într-un raport care arată numai potrivirea pe datele de antrenare. Modelul cu care vă comparați este oprirea timpurie: alege epoca cu cea mai mică pierdere de validare.

Clasamentul sălii, pentru proiector

Date: creditele germane (Hofmann, 1994; UCI), 1.000 de solicitanți împărțiți aleator 60/20/20; fraudele cu carduri ale ULB Machine Learning Group și Worldline (OpenML 1597), împărțite cronologic. Antrenări: rețelele din analysis_L3.py (sămînța 20261108), repetate cu pierderea pe test înregistrată după fiecare epocă. Cod: lectures/L3/make_game_L3.py.