Rețele neuronale și deep learning

Cursul 1 · Deep learning pentru afaceri: de la modelele liniare la perceptronul multistrat

În stînga este slide-ul din curs, în dreapta aceeași figură, recalculată în browser din datele cursului cînd modificați un control. Butonul ▶ modifică parametrul principal pas cu pas. Sub fiecare figură: o sinteză numerică, o întrebare pentru sală și Quantlet-ul cu codul figurii. Nu este nevoie de formule: modificați ponderile, numărul de neuroni ascunși sau pragul și urmăriți ce se schimbă.

Neuronul individual și perceptronul multistrat · Decizii de creditare pe baza scorurilor modelului

Neuronul individual și perceptronul multistrat

Frontiera de decizie neliniară a unui MLP cu două intrări

Slide-ul 31: Frontiera de decizie neliniară a unui MLP cu două intrări
Slide-ul 31

    Codul acestei figuri: NN_L1_boundary_hmeq · deschide în Colab

    Întrebare pentru sală Un singur neuron cu două intrări, raportul datorii/venit și vechimea celei mai vechi linii de credit, trasează o frontieră dreaptă. Ce semn ar trebui să aibă fiecare pondere și ce se întîmplă cu AUC (aria de sub curba ROC) dacă schimbați ambele semne?
    Răspuns

    Raportul datorii/venit crește riscul (w₁ > 0), iar un istoric de credit mai vechi îl reduce (w₂ < 0): regresia logistică estimată dă w₁ = 0,62 și w₂ = −0,48 la o abatere standard, cu un AUC pe test de 0,744 pe cele 871 de credite de test care au ambele variabile. Dacă schimbați ambele semne, ordonarea se inversează: AUC scade la 0,256 = 1 − 0,744. Termenul liber mută dreapta fără să o rotească, deci schimbă numărul de credite semnalate, dar nu și AUC. MLP 64-64 antrenat curbează frontiera și obține 0,736 pe aceleași credite: cu două intrări există puțină structură neliniară de găsit.

    Mai mulți neuroni ascunși urmăresc geografia prețurilor din California

    Slide-ul 29: Mai mulți neuroni ascunși urmăresc geografia prețurilor din California
    Slide-ul 29
    Afișare

      Codul acestei figuri: NN_L1_uat_california · deschide în Colab

      Întrebare pentru sală Cu un strat ascuns de neuroni sigmoizi, rețeaua adună „trepte”. Cîți neuroni sînt necesari pentru a urmări profilul nord–sud al valorii locuințelor din California?
      Răspuns

      Un neuron dă o singură treaptă netedă (MSE pe test 0,855, față de 0,896 pentru dreapta de regresie); trei neuroni surprind deja cele două vîrfuri de pe coastă, în jurul orașelor Los Angeles și San Francisco (0,757); cincizeci de neuroni aduc doar puțin în plus (0,731) pe cele 4.912 grupuri de locuințe de test. Panoul din dreapta arată contribuția fiecărui neuron: curba estimată este suma lor plus o constantă. Este teorema de aproximare universală la lucru, dar și limita ei: o singură variabilă explică doar o parte din varianță (eroarea pătratică medie, MSE, în pătrate de 100.000 USD).

      Pe HMEQ, un strat ascuns mai lat crește AUC pe test peste scorul logistic

      Slide-ul 34: Pe HMEQ, un strat ascuns mai lat crește AUC pe test peste scorul logistic
      Slide-ul 34
      Afișare

        Codul acestei figuri: NN_L1_width_auc · deschide în Colab

        Întrebare pentru sală Pe HMEQ, de cîți neuroni ascunși are nevoie un MLP cu un strat ascuns ca să depășească regresia logistică la AUC pe test?
        Răspuns

        Un singur neuron ascuns (AUC 0,901) este o regresie logistică cu o comprimare în plus și este mai slab decît modelul logistic (0,920); între 4 și 8 neuroni, MLP îl depășește (0,923, 0,931), iar cîștigul se aplatizează peste 32 de neuroni (de la 0,946 la 0,953 pentru 256). Gradient boosting (XGBoost, 0,961) rămîne înainte pe acest set tabular mic, cu mult mai puține alegeri de reglaj. Sinteza dă numărul de parametri: 7.681 pentru H = 256, față de 29 pentru regresia logistică.

        Decizii de creditare pe baza scorurilor modelului

        La 10 % alarme false, MLP detectează mai multe neplăți decît scorul logistic

        Slide-ul 35: La 10 % alarme false, MLP detectează mai multe neplăți decît scorul logistic
        Slide-ul 35

          Codul acestei figuri: NN_L1_roc_hmeq · deschide în Colab

          Întrebare pentru sală O bancă trimite un credit la analiză manuală cînd probabilitatea estimată de neplată (PD) este cel puțin egală cu pragul. Ce se întîmplă pentru MLP dacă pragul scade de la 0,5 la 0,2?
          Răspuns

          La 0,5, MLP semnalează 220 din cele 1.192 de credite de test și detectează 76,5% din cele 238 de neplăți, cu 4,0% dintre creditele bune semnalate din greșeală; la 0,2 semnalează 290 de credite, detectează 84,9% din neplăți și semnalează 9,2% dintre creditele bune. Pragul mută punctul de-a lungul curbei ROC; curba însăși și AUC nu se schimbă. Care punct este cel mai bun depinde de costul fiecărei erori, subiectul blocului următor.

          Pragul de 1/6, sensibil la costuri, cînd o neplată ratată costă de cinci ori cît un client bun respins

          Slide-ul 40: Pragul de 1/6, sensibil la costuri, cînd o neplată ratată costă de cinci ori cît un client bun respins
          Slide-ul 40
          Modele

            Codul acestei figuri: NN_L1_cost_threshold · deschide în Colab

            Întrebare pentru sală Matricea de costuri UCI pentru German credit spune că acceptarea unui rău-platnic costă de 5 ori mai mult decît respingerea unui bun-platnic. Este 0,5 un prag rezonabil?
            Răspuns

            Nu. Cu costurile 5 și 1, pragul care minimizează costul așteptat este 1/(1 + 5) = 1/6 ≈ 0,17 (regula de decizie Bayes). La 0,5, costul pe solicitant este 0,87 pentru regresia logistică, 1,13 pentru MLP și 0,98 pentru XGBoost, mai mare decît dacă am respinge pe toată lumea (0,70); la 1/6 scade la 0,55, 0,57 și 0,59. Modificați costul: pragul optim urmează 1/(1 + c), iar la c = 1 revine la 0,5. Diferențele dintre cele trei modele sînt mult mai mici decît costul unui prag ales prost.

            Date: creditele ipotecare HMEQ (Baesens, Roesch și Scheule, 2016; 5.960 de credite), UCI Statlog German credit (1.000 de solicitanți), locuințele din California (StatLib, recensămîntul din 1990). Împărțirile, modelele și semințele (20261108 + s) sînt cele din curs (analysis_L1.py): HMEQ împărțit stratificat 60/20/20; pentru German credit, scoruri în afara pliului dintr-o validare încrucișată cu 5 pliuri; MLP = perceptron multistrat, XGBoost = gradient boosting, AUC = aria de sub curba ROC (receiver operating characteristic).