Rețele neuronale și deep learning

Cursul 2 · Antrenarea rețelelor: propagarea înapoi a erorii și optimizarea

În stînga este slide-ul din curs, în dreapta aceeași figură, recalculată în browser din datele cursului cînd modificați un control. Butonul ▶ modifică parametrul principal pas cu pas. Sub fiecare figură: o sinteză numerică, o întrebare pentru sală și Quantlet-ul cu codul figurii. Primul bloc rulează coborîrea pe gradient chiar în browser, pe o regresie reală; celelalte reiau antrenările din curs.

Coborîrea pe gradient și rata de învățare · Optimizatori și mini-loturi · Rețele adînci: gradienți care se sting

Coborîrea pe gradient și rata de învățare

Intrările nescalate transformă pierderea într-o vale îngustă

Slide-ul 7: Intrările nescalate transformă pierderea într-o vale îngustă
Slide-ul 7
Venitul median

    Codul acestei figuri: NN_L2_gd_paths · deschide în Colab

    Întrebare pentru sală Pe scara brută a venitului, suprafața pierderii este o vale lungă și îngustă. De ce avansează coborîrea pe gradient atît de încet de-a lungul ei și ce schimbă standardizarea venitului?
    Răspuns

    Cele două direcții ale văii au curburile λmax = 38,8 și λmin = 0,37 (numărul de condiționare 104): pasul trebuie să rămînă sub 2/λmax ca să nu diveargă (încercați 2,05 × 1/λmax), iar la acest pas direcția plată este parcursă de 104 ori mai încet. După 60 de pași, MSE este încă 1,486, față de un minim de 0,701. Momentul (β = 0,9 cu jumătate din pas) acumulează partea constantă a gradientului și ajunge la 0,704. Standardizarea face valea rotundă (numărul de condiționare 1,0): un singur pas de 1/λmax ajunge în minim.

    Efectul ratei de învățare asupra antrenării

    Slide-ul 17: Efectul ratei de învățare asupra antrenării
    Slide-ul 17
    Afișare

      Codul acestei figuri: NN_L2_lr_sweep · deschide în Colab

      Întrebare pentru sală SGD simplu (coborîre stocastică pe gradient), 30 de epoci: ce rată de învățare dă cea mai mică MSE pe validare și ce se întîmplă imediat peste ea?
      Răspuns

      η = 0,1 dă cea mai mică MSE pe validare, 0,281 (regresia liniară ajunge la 0,500). Un pas mai sus, la η = 0,3, două din cele trei inițializări diverg, iar la η = 1 diverg toate trei. O rată prea mică este lentă, nu greșită: la η = 0,0001, MSE este încă între 1,005 și 1,142 după 30 de epoci. Rata cea mai bună stă chiar sub limita de divergență; de aceea testele de rată parcurg η pe o scară logaritmică.

      Optimizatori și mini-loturi

      Pe datele California, optimizatorii ajustați ating erori apropiate, iar metodele adaptive converg mai sigur

      Slide-ul 22: Pe datele California, optimizatorii ajustați ating erori apropiate, iar metodele adaptive converg mai sigur
      Slide-ul 22
      Afișare

        Codul acestei figuri: NN_L2_optimizers · deschide în Colab

        Întrebare pentru sală Fiecare optimizator a fost reglat pe o grilă de trei rate de învățare (3 inițializări, 60 de epoci). Contează alegerea optimizatorului la fel de mult ca alegerea ratei sale de învățare?
        Răspuns

        În cadrul aceluiași optimizator, rata contează mai mult: Adam termină la 0,288 cu η = 0,0003 și la 0,259 cu η = 0,003; SGD termină la 0,307 cu η = 0,01 și la 0,274 cu η = 0,1. La ratele lor cele mai bune, cei cinci optimizatori termină aproape unul de altul (MSE pe validare între 0,259 și 0,274) și toți depășesc regresia liniară (0,500); Adam și AdamW ajung acolo mai repede (0,299 după 10 epoci, față de 0,350 pentru SGD) și cu o dispersie mai mică între inițializări. Pe setul de test, Adam nu este semnificativ mai bun decît SGD (t pereche = 1,01, p = 0,37, 5 inițializări).

        Efectul dimensiunii lotului: progresul pe epocă și pe secundă

        Slide-ul 18: Efectul dimensiunii lotului: progresul pe epocă și pe secundă
        Slide-ul 18
        Axa orizontală
        Mărimea lotului

          Codul acestei figuri: NN_L2_batch_size · deschide în Colab

          Întrebare pentru sală Loturi de 16, 128 sau 1.024 de exemple, cu aceeași rată de învățare (Adam, 0,001): care învață cel mai repede pe epocă, pe pas de gradient și pe secundă?
          Răspuns

          Pe epocă cîștigă lotul de 16 (MSE pe validare 0,294 după 5 epoci, față de 0,367 pentru 128 și 0,870 pentru 1.024), pentru că face 774 de pași pe epocă în loc de 97 sau 13. Pe pas de gradient, lotul mare este cel puțin la fel de bun: fiecare pas al său mediază mai multe exemple. Pe secundă, imaginea se schimbă din nou: cele 40 de epoci au durat 25,8 s cu lotul de 16, 3,7 s cu 128 și 1,0 s cu 1.024 pe acest laptop. Cu aceeași rată de învățare, lotul mare nu a convers după 40 de epoci (0,335); loturile mari cer de obicei o rată de învățare mai mare.

          Rețele adînci: gradienți care se sting

          Dispariția gradientului în rețelele adînci cu activare sigmoidă

          Slide-ul 13: Dispariția gradientului în rețelele adînci cu activare sigmoidă
          Slide-ul 13

            Codul acestei figuri: NN_L2_vanishing · deschide în Colab

            Întrebare pentru sală Zece straturi ascunse de cîte 64 de neuroni sigmoizi, cu inițializare Xavier: de cîte ori este mai mic gradientul primului strat decît al ultimului?
            Răspuns

            De aproximativ 10⁷ ori (8,5 × 10⁻⁷ față de 7,5; media a 5 inițializări pe un lot de 512 grupuri de locuințe): fiecare strat sigmoid înmulțește semnalul propagat înapoi cu cel mult 0,25, deci primele straturi abia învață. Cu tanh și Xavier, raportul rămîne în jur de 0,6, iar cu ReLU și inițializarea He gradientul rămîne de același ordin în toate straturile. Ponderile mici N(0; 0,01²) micșorează semnalul în ambele sensuri (gradienți de 10⁻¹² la adîncimea 10), ponderile mari N(0; 1) îl fac să explodeze (peste 10¹⁶ la adîncimea 10, depășire numerică dincolo de ea). Modificați adîncimea: problema crește geometric cu numărul de straturi.

            Date: locuințele din California (StatLib, recensămîntul din 1990; 20.640 de grupuri de locuințe), împărțite 60/20/20 cu sămînța 20261108, ca în curs (analysis_L2.py): 12.384 de grupuri de antrenare, 4.128 de validare și 4.128 de test. Rețele: perceptron multistrat (MLP) cu două straturi ascunse de cîte 64 de neuroni ReLU (unitate liniară rectificată), eroarea pătratică medie (MSE) pentru valoarea mediană a locuințelor în 100.000 USD; SGD = coborîre stocastică pe gradient, RMSProp = propagarea rădăcinii mediei pătratice, Adam = estimarea adaptivă a momentelor.