Modelarea piețelor financiare

Capitolul 8 · Backtesting pentru prognozele de risc

În stînga este slide-ul din curs, în dreapta aceeași figură, calculată în browser din aceleași prognoze. Butonul ▶ modifică parametrul pas cu pas.

Rolul backtesting-ului pentru prognozele de risc · Backtesting pentru VaR: acoperire și independență · Perspectiva reglementatorului: semaforul Basel și FRTB · Backtesting pentru Expected Shortfall · Elicitabilitate și funcții de scor · Backtesting comparativ · Predicția conformală pentru tail risk (riscul pierderilor extreme) · Studii de caz: testarea ES din propriile prognoze și e-backtesting

Rolul backtesting-ului pentru prognozele de risc

VaR GARCH-EVT pe patru piețe

Slide-ul 8: VaR GARCH-EVT pe patru piețe
Slide-ul 8
    Întrebare pentru sală Rata de depășire a VaR 1% GARCH-EVT este 1,15% pe S&P 500. Este suficientă o rată apropiată de 1% pentru a considera modelul adecvat?
    Răspuns

    Nu. Rata verifică doar numărul depășirilor: 57 în 4 959 de zile. Testul Kupiec nu respinge GARCH-EVT pe S&P 500 (p = 0,302), dar testul DQ îl respinge (p asimptotic < 0,001; frecvența simulată sub procesul Monte Carlo al capitolului: 0,5%): depășirile sînt previzibile din nivelul VaR și din depășirile trecute.

    Backtesting pentru VaR: acoperire și independență

    S&P 500: două prognoze VaR, 2007–2026

    Slide-ul 12: S&P 500: două prognoze VaR, 2007–2026
    Slide-ul 12
      Întrebare pentru sală HS are 83 de depășiri, iar GARCH-t 88, în aceleași 4 959 de zile. Putem stabili doar din aceste numere care prognoză este mai bună?
      Răspuns

      Nu. Ambele rate, 1,67% și 1,77%, depășesc ținta de 1%, iar Kupiec le respinge pe amîndouă (p < 0,001). Depășirile diferă ca moment: HS are 26 de depășiri în 2008 și 12 în 2020, GARCH-t 8 și 6. Testul independenței respinge HS (LR_ind = 15,90, p < 0,001), dar nu GARCH-t (p = 0,095): este o diferență de diagnostic, nu o dovadă că GARCH-t este superior după orice criteriu.

      Numărul acceptabil de depășiri

      Slide-ul 15: Numărul acceptabil de depășiri
      Slide-ul 15
        Întrebare pentru sală ▶ mărește T al graficului de jos de la 250 la 5 000 de zile. Ce se întîmplă cu intervalul de depășiri pe care regula LR_uc > 3,84 nu le respinge, raportat la T?
        Răspuns

        Intervalul acceptat este 1–6 depășiri la T = 250 (0,4%–2,4% din zile), 5–16 la T = 1 000 și 37–64 la T = 5 000 (0,74%–1,28%): numărul crește, iar rata se concentrează în jurul lui 1%. La T = 250, x = 0 dă LR_uc = −500 ln 0,99 = 5,03 > 3,84: regula respinge și în direcția prea puținelor depășiri. P(x = 0) = 8,1% nu este p-value-ul Kupiec. Mărimea efectivă a regulii este 9,5% la T = 250 și 4,6% la T = 5 000; o respingere nu dovedește singură că modelul este greșit.

        Puterea testului POF

        Slide-ul 17: Puterea testului POF
        Slide-ul 17
          Întrebare pentru sală ▶ mărește T al curbelor roșii de la 250 la 5 000 de zile. Cît devine, la sfîrșit, puterea exactă a testului POF cînd rata reală de depășire este π = 2%?
          Răspuns

          Practic 100%. Puterea exactă (Binomială) la π = 2% este 24% la T = 250, 54% la T = 500, 78% la T = 1 000, 96% la T = 2 000 și practic 100% la T = 5 000; aproximarea locală χ²₁(λ) dă 36%, 61%, 89%, 99% și 100%. Mărimea efectivă a regulii LR_uc > 3,84 este 9,5% la T = 250 și 4,6% la T = 5 000: pragul 3,84 corespunde nivelului nominal de 5%, nu unei mărimi efective exact egale cu 5%.

          Ratele de depășire pe modele și piețe

          Slide-ul 19: Ratele de depășire pe modele și piețe
          Slide-ul 19
            Întrebare pentru sală Pe EUR/RON, modelul Normal are rata de depășire a VaR 1% de 1,06% și p-value Kupiec 0,708. Ce putem concluziona la 5%?
            Răspuns

            Nu respingem frecvența nominală de 1%. Kupiec verifică doar acoperirea necondiționată: p = 0,708 nu dovedește independența depășirilor și nu este probabilitatea ca modelul să fie corect. Pe S&P 500 (2,70%), BET (1,90%) și Bitcoin (1,74%), modelul Normal este respins.

            Momentele depășirilor

            Slide-ul 22: Momentele depășirilor
            Slide-ul 22
              Întrebare pentru sală Pentru HS pe 2007–2010, π̂₁₁ = 0,0732, aproape dublu față de π̂₀₁ = 0,0393. Respinge testul Christoffersen independența?
              Răspuns

              Nu: LR_ind = 0,95, cu p = 0,33. Estimarea π̂₁₁ se sprijină doar pe 3 perechi de depășiri consecutive (n₁₁ = 3, n₁₀ = 38). Pe întregul eșantion 2007–2026, același test respinge independența pentru HS: LR_ind = 15,90, p < 0,001.

              Sinteza testelor VaR

              Slide-ul 24: Sinteza testelor VaR
              Slide-ul 24
                Întrebare pentru sală Pentru FHS pe S&P 500, Kupiec dă p = 0,116, iar testul acoperirii condiționate p = 0,040. Cum interpretăm diferența la 5%?
                Răspuns

                Nerespingerea frecvenței nominale nu exclude abateri de la acoperirea condiționată. Kupiec folosește numărul depășirilor; testul acoperirii condiționate folosește și succesiunea lor, deci verdictele diferite nu se contrazic. p = 0,040 nu este probabilitatea ipotezei nule. Testul DQ respinge și el FHS (p asimptotic < 0,001; frecvența simulată: 0,6%), iar testul duratelor nu (p = 0,527).

                Perspectiva reglementatorului: semaforul Basel și FRTB

                Semaforul de-a lungul timpului

                Slide-ul 28: Semaforul de-a lungul timpului
                Slide-ul 28
                  Întrebare pentru sală Un model este astăzi în zona roșie. Dacă mîine nu apare nicio depășire, poate rămîne în zona roșie?
                  Răspuns

                  Da, dacă fereastra actualizată de 250 de zile conține încă cel puțin 10 depășiri. Fereastra avansează cu o zi: intră observația nouă și iese cea mai veche, deci o zi calmă scade numărul excepțiilor doar dacă ziua ieșită avea o depășire. Pe S&P 500, Normal petrece 22,3% din zile în zona roșie, HS 14,7%, GARCH-t 2,0% și FHS 0,8%; maximele Normal (37) și HS (27) cad în fereastra încheiată la 01.12.2008.

                  Backtesting pentru Expected Shortfall

                  Reziduurile de depășire pe S&P 500

                  Slide-ul 32: Reziduurile de depășire pe S&P 500
                  Slide-ul 32
                    Întrebare pentru sală Mediile reziduurilor de depășire sînt 0,100 pentru GARCH-t și 0,104 pentru FHS. Ce mai trebuie luat în calcul pentru a explica deciziile McNeil–Frey diferite?
                    Răspuns

                    Erorile standard ale mediilor și distribuțiile bootstrap ale statisticilor. GARCH-t are N = 198 și abaterea standard s ≈ 0,814, iar FHS N = 128 și s ≈ 0,878; erorile standard ale mediilor sînt aproximativ 0,058 și 0,078. Rezultă t = 1,73 și 1,34, iar p-value-urile bootstrap sînt 0,025 și 0,072. Numărul observațiilor contribuie la diferență, dar nu o determină singur.

                    Z₂ pe ferestre rolling de 250 de zile

                    Slide-ul 35: Z₂ pe ferestre rolling de 250 de zile
                    Slide-ul 35
                      Întrebare pentru sală Pe S&P 500, Z₂ al GARCH-t este sub −0,70 în 44,3% dintre ferestrele de 250 de zile. Ce reprezintă acest procent?
                      Răspuns

                      Ponderea observată a ferestrelor care trec sub pragul ales: o frecvență descriptivă pe ferestre suprapuse (ferestrele vecine au 249 de zile comune), nu probabilitatea unei alarme false și nici probabilitatea ca prognozele ES să fie greșite. Pragul −0,70 aproximează valoarea critică de 5% pentru T = 250 la multe distribuții (Acerbi–Szekely); nivelul efectiv depinde de distribuțiile prognozate. Sub −1,8 GARCH-t este în 3,0% din ferestre; minimul, −2,52, este în fereastra încheiată la 05.02.2008.

                      Sinteza testelor ES

                      Slide-ul 36: Sinteza testelor ES
                      Slide-ul 36
                        Întrebare pentru sală Pe S&P 500, McNeil–Frey nu respinge Student-t (p = 0,173). De ce poate Z₂ să îl respingă?
                        Răspuns

                        Z₂ combină frecvența depășirilor cu mărimea pierderilor raportată la ES: Z₂ = −0,723, cu p = 0,002. Sînt 208 depășiri în 4 959 de zile, adică 4,19%, față de ținta de 2,5%; media raportului L/ES în acele zile este aproximativ 1,027. Astfel, Z₂ = 1 − [208/(4 959 × 0,025)] × 1,027 ≈ −0,723. McNeil–Frey testează media reziduurilor condiționat de depășire și nu impune separat frecvența nominală.

                        Elicitabilitate și funcții de scor

                        Elicitabilitatea, ilustrată grafic

                        Slide-ul 42: Elicitabilitatea, ilustrată grafic
                        Slide-ul 42
                          Întrebare pentru sală ▶ schimbă ν de la 2,5 la 30 (pierderi Student-t cu dispersie unitară, α = 2,5%). Unde rămîne minimul pierderii pinball așteptate?
                          Răspuns

                          În VaR 2,5% adevărat, pentru fiecare ν: derivata F(v) − (1 − α) se anulează în cuantilă. Pe grilă, minimul este 1,596 pentru VaR adevărat 1,599 la ν = 2,5, 1,960 pentru 1,963 la ν = 4 și 1,970 pentru 1,973 la ν = 30. Pierderea FZ0 așteptată are minimul în perechea (VaR, ES) adevărată: la ν = 4, (1,960; 2,818) pe grilă, față de (1,963; 2,824). ES singur nu are o funcție de scor cu această proprietate.

                          Backtesting comparativ

                          Pierderea FZ0 medie pe modele

                          Slide-ul 45: Pierderea FZ0 medie pe modele
                          Slide-ul 45
                            Întrebare pentru sală Pe S&P 500, pierderea FZ0 medie a GARCH-t depășește pe cea a FHS cu 0,040. Doar din această diferență putem decide dacă modelele diferă semnificativ?
                            Răspuns

                            Nu: trebuie estimată și eroarea standard a diferenței medii. Pe aceste date, testul DM cu q = 9 laguri Newey–West dă 2,66 și p ≈ 0,008, deci respinge egalitatea la nivelul individual de 5%. GARCH-EVT diferă de FHS doar cu 0,003 (DM = 1,24, p = 0,21). Semnul negativ al scorurilor FZ0 nu împiedică testarea.

                            Teste Diebold–Mariano pe perechi, S&P 500

                            Slide-ul 46: Teste Diebold–Mariano pe perechi, S&P 500
                            Slide-ul 46
                              Întrebare pentru sală Normal minus HS: DM = 2,88. Ce înseamnă semnul pozitiv?
                              Răspuns

                              În această comparație pe S&P 500, Normal are pierderea FZ0 medie mai mare decît HS. DM = 2,88 depășește pragul bilateral 1,96 pentru un test individual la 5%. Aceasta nu este o superioritate generală a HS față de modelele cu distribuția Normală. Cele 13 din 15 comparații semnificative sînt rezultate individuale, fără ajustare pentru testare multiplă; excepțiile sînt Normal–Student-t (1,94) și FHS–GARCH-EVT (−1,24).

                              Modelele reținute în MCS

                              Slide-ul 49: Modelele reținute în MCS
                              Slide-ul 49
                                Întrebare pentru sală Pe S&P 500 și pe BET, MCS de 90% păstrează FHS și GARCH-EVT. Cum interpretăm această păstrare?
                                Răspuns

                                Procedura nu elimină niciunul dintre cele două modele: FHS are p = 1,000 pe ambele piețe, GARCH-EVT p = 0,211 pe S&P 500 și peste 0,96 pe BET. MCS compară pierderile FZ0 ale modelelor candidate; păstrarea împreună nu demonstrează egalitatea performanțelor și nu înlocuiește testele de calibrare. GARCH-t este exclus pe S&P 500 (p = 0,010) și pe BET (p = 0,096).

                                Predicția conformală pentru tail risk (riscul pierderilor extreme)

                                VaR conformal în perioada COVID-19

                                Slide-ul 53: VaR conformal în perioada COVID-19
                                Slide-ul 53
                                  Întrebare pentru sală Cu α = 1% și γ = 0,005, ACI are 4 depășiri în cele 50 de zile dintre 20.02 și 30.04.2020 și VaR = ∞ în 37 dintre ele. Sînt compatibile aceste rezultate?
                                  Răspuns

                                  Da: depășirile apar în zile dintre cele 13 cu VaR finit. VaR = ∞ împiedică o depășire numai în ziua respectivă și nu oferă un prag finit utilizabil; α_t a coborît pînă la 0,09%. Conformal split are 6 depășiri în aceleași zile, față de 0,5 așteptate. Separat, valoarea VaR 1% conformal split rămîne apoi în jur de 18% timp de un an, pentru că scorurile din martie 2020 rămîn în mulțimea de calibrare de 250 de zile.

                                  Acoperirea în perioade calme și de criză

                                  Slide-ul 55: Acoperirea în perioade calme și de criză
                                  Slide-ul 55
                                    Întrebare pentru sală Pe S&P 500, conformal split are o rată totală de depășire a VaR 5% de 5,34%, apropiată de țintă. Garantează aceasta o rată apropiată de 5% și în zilele de criză?
                                    Răspuns

                                    Nu: rata totală este o medie ponderată a ratelor din regimuri diferite. Cu definiția crizei bazată pe percentila 90, conformal split are 7,29% în cele 713 zile de criză; pe EUR/RON ajunge la 11,43%. ACI coboară rata în criză la 4,49% pe S&P 500 și la 5,38% pe BET. Acoperirea marginală nu garantează acoperirea în fiecare regim.

                                    Studii de caz: testarea ES din propriile prognoze și e-backtesting

                                    Studiu de caz (3/4): cozile contează mai mult decît reestimarea

                                    Slide-ul 58: Studiu de caz (3/4): cozile contează mai mult decît reestimarea
                                    Slide-ul 58
                                      Întrebare pentru sală În Tabelul 3 din Bayer–Dimitriadis, prognozele ES 2,5% sînt respinse pentru 0,80–0,96 din acțiuni cu inovații Normale și pentru cel mult 0,12 cu inovații Student-t. Ce explică diferența?
                                      Răspuns

                                      Distribuția inovațiilor: tabelul compară cele două distribuții pe aceleași 50 de combinații (5 ferestre × 5 frecvențe ale reestimării × GARCH/GJR-GARCH), deci fereastra și frecvența reestimării nu diferă între ele. Un model corect ar fi respins, la nivelul 5%, pentru circa 5% din acțiuni, nu pentru 80%–96%. Cu inovații Student-t, ponderea este cel mult 0,01 la ferestre de cel puțin 1 000 de zile. Readout-ul pentru reestimarea la 250 de zile raportează doar acele configurații: 0,80–0,92 cu inovații Normale.

                                      E-backtesting: e-procesele ES 2,5% pe S&P 500 și BET

                                      Slide-ul 61: E-backtesting: e-procesele ES 2,5% pe S&P 500 și BET
                                      Slide-ul 61
                                        Întrebare pentru sală Pe S&P 500, maximul e-procesului GREM pentru FHS este 8,55. La un nivel de 5%, ce verdict dă regula bazată pe pragul 1/a?
                                        Răspuns

                                        Nu respinge: pentru a = 0,05, pragul este 1/a = 20, iar maximul 8,55 (29.09.2008) nu îl atinge; valoarea finală este 3,31. Pragul 10 corespunde lui a = 10%, pragul 5 lui a = 20% (atins la 01.11.2007). Garanția P(sup M_t ≥ 1/a) ≤ a presupune ipoteza nulă din curs: VaR condiționat corect, ES cel puțin egal cu cel adevărat și pariuri alese din informația trecută. Cu ES majorat cu 10%, maximul scade la 3,38.

                                        Pierderi zilnice (randamente logaritmice cu semn schimbat) pentru S&P 500, BET și Bitcoin, prețuri EODHD, și pentru EUR/RON, cursul de referință BNR. Prognoze VaR și ES la o zi pe o fereastră rolling de 1 000 de zile, evaluate din ianuarie 2007 (EUR/RON din iunie 2009, Bitcoin din iunie 2017) pînă la 18 septembrie 2026. Studiile de caz: Tabelul 3 din Bayer și Dimitriadis (2022) și replicarea lui pe 11 acțiuni din S&P 500; e-procesele din Wang, Wang și Ziegel (2026), calculate din prognozele ES 2,5% ale capitolului.