Statistica piețelor financiare

Capitolul 13: Învățare automată

Capitolul 13: Învățare automată

Daniel Traian PELE

Academia de Studii Economice din București
IDA Institute Digital Assets
Blockchain Research Center
AI4EFin Artificial Intelligence for Energy Finance
Academia Română, Institutul de Prognoză Economică
MSCA Digital Finance

Acronime folosite în acest material (1/3)

Slide 1 în PDF
  • AI: Artificial Intelligence (inteligență artificială)
  • ARCH: AutoRegressive Conditional Heteroskedasticity (heteroscedasticitate condiționată autoregresivă)
  • AUC: Area Under the (ROC) Curve (aria de sub curba ROC)
  • BET: Bucharest Exchange Trading (index) — indicele de referință al Bursei de Valori București
  • BVB: Bursa de Valori București
  • CV: Cross-Validation (validare încrucișată)
  • DM: Diebold–Mariano (test) — testul Diebold–Mariano de comparare a prognozelor
  • DSR: Deflated Sharpe Ratio (raportul Sharpe deflatat)
  • EODHD: EOD Historical Data (market-data provider) — furnizor de date de piață
  • GARCH: Generalised AutoRegressive Conditional Heteroskedasticity (heteroscedasticitate condiționată autoregresivă generalizată)
  • GB: Gradient Boosting (boosting pe gradient)
  • GJR-GARCH: Glosten–Jagannathan–Runkle GARCH (GARCH asimetric Glosten–Jagannathan–Runkle)
  • HAR: Heterogeneous AutoRegressive (model) — model autoregresiv heterogen
  • HS: Historical Simulation (simularea istorică)

Acronime folosite în acest material (2/3)

Slide 2 în PDF
  • IBM: International Business Machines (company) — compania International Business Machines
  • MA: Moving Average (medie mobilă)
  • ML: Machine Learning (învățare automată)
  • MLP: MultiLayer Perceptron (perceptron multistrat)
  • MSE: Mean Squared Error (eroarea pătratică medie)
  • NN: Neural Network (NN\(k\): \(k\) hidden layers) — rețea neuronală (NN\(k\): \(k\) straturi ascunse)
  • NN-ARCH: Neural-Network ARCH (model ARCH cu rețea neuronală)
  • NN1: Neural Network with 1 hidden layer (rețea neuronală cu un strat ascuns)
  • NN3: Neural Network with 3 hidden layers (rețea neuronală cu 3 straturi ascunse)
  • NN4: Neural Network with 4 hidden layers (rețea neuronală cu 4 straturi ascunse)
  • OLS: Ordinary Least Squares (metoda celor mai mici pătrate)
  • OLS-3: OLS with 3 predictors (size, book-to-market, momentum) — OLS cu 3 predictori (mărime, raportul valoare contabilă/valoare de piață, momentum)
  • OMV: Österreichische Mineralölverwaltung (Administrația austriacă a uleiurilor minerale, grupul OMV)

Acronime folosite în acest material (3/3)

Slide 3 în PDF
  • PSR: Probabilistic Sharpe Ratio (raportul Sharpe probabilistic)
  • QGB: Quantile Gradient Boosting (gradient boosting cu pierdere cuantilică)
  • QLIKE: Quasi-LIKElihood (loss function) — funcția de pierdere de tip cvasi-verosimilitate
  • QR: Quantile Regression (regresie cuantilică)
  • RBF: Radial Basis Function (network) — rețea cu funcții de bază radiale
  • RF: Random Forest (pădure aleatoare)
  • RMSE: Root Mean Squared Error (rădăcina erorii pătratice medii)
  • ROC: Receiver Operating Characteristic (curve) — curba caracteristică de operare
  • RV: Realised Variance (varianța realizată)
  • SFE: Statistics of Financial Markets, Exercises (Quantlet collection of the textbook) — colecția de Quantlet-uri a manualului Statistics of Financial Markets
  • SHAP: SHapley Additive exPlanations (explicații aditive Shapley)
  • SSE: Sum of Squared Errors (suma pătratelor erorilor)

Întrebarea de azi și traseul

Slide 4 în PDF
  • Întrebarea: pot metodele flexibile de predicție să prognozeze riscul și randamentele financiare mai bine decît modelele din capitolele 7–10 și cum verificăm onest acest lucru?
    • machine learning (ML, învățare automată): algoritmi care învață din date o regulă de predicție, judecați după acuratețea pe date noi
  • Traseul capitolului
    • predicție și inferență; overfitting, deplasare și varianță; validarea pentru serii de timp fără look-ahead bias
    • ridge și lasso; arbori de decizie, random forest, gradient boosting; rețele neuronale și modelul ARCH cu rețea neuronală din manual
    • trei aplicații: volatilitatea realizată, semnul randamentelor, VaR 1%; data snooping; o lucrare de referință

Rezultatele învățării

Slide 5 în PDF
  • Explicați diferența dintre predicție și inferență, precum și compromisul deplasare–varianță
  • Construiți o evaluare walk-forward cu purging și recunoașteți look-ahead bias și leakage-ul
  • Estimați ridge, lasso, un arbore de regresie, un random forest, gradient boosting și o rețea neuronală mică
  • Comparați prognozele prin \(R^2\) în afara eșantionului, QLIKE și testul Diebold–Mariano, față de un reper adecvat
  • Prognozați VaR 1% prin regresie cuantilică și corectați un raport Sharpe pentru numărul de strategii încercate

Bibliografie și instrumente

Slide 6 în PDF

There are two cultures in the use of statistical modeling to reach conclusions from data. One assumes that the data are generated by a given stochastic data model. The other uses algorithmic models and treats the data mechanism as unknown.

— Breiman (2001a), Statistical Modeling: The Two Cultures

Capitolele anterioare au construit modele statistice cu o structură fixată dinainte: distribuții pentru randamente, modele GARCH (generalised autoregressive conditional heteroskedasticity) pentru volatilitate, modele pentru VaR (value at risk). Învățarea automată (ML, machine learning) pornește din direcția opusă: alege din date o regulă de predicție flexibilă și o judecă după acuratețea ei pe date pe care nu le-a văzut. Întrebarea capitolului este dacă aceste metode prognozează riscul și randamentele financiare mai bine decît modelele din Capitolele 7–10 și cum se verifică onest un asemenea cîștig.

Răspunsul depinde de țintă. Pentru volatilitatea săptămînală a S&P 500, lasso și o rețea neuronală mică reduc eroarea pătratică a prognozelor cu 7,1% și 8,3% față de modelul HAR (heterogeneous autoregressive), iar diferențele sînt semnificative. Pentru Bitcoin, niciun model nu depășește HAR. Pentru semnul randamentului de mîine, niciun model nu este semnificativ mai bun decît regula „mereu creștere”, pe nicio piață studiată. Pentru VaR 1%, o regresie cuantilică liniară are rata corectă a depășirilor pe S&P 500, în timp ce varianta ei flexibilă duce lipsă de date în coadă.

Diferența dintre un rezultat real și unul aparent ține de validare. O partiție aleatoare a datelor produce un \(R^2\) de 34,5% pentru un mers aleator simulat, care nu are nimic de prezis; o schemă walk-forward dă pentru aceleași date un \(R^2\) negativ. Capitolul construiește de aceea, înaintea modelelor, regulile de evaluare: eșantioane separate în timp, repere simple, teste ale diferenței dintre prognoze și o corecție pentru numărul de modele încercate.

Volatilitatea realizată anualizată a S&P 500 din următoarele 5 zile și prognozele HAR, random forest și MLP (multilayer perceptron) făcute la închiderea fiecărei zile, în 2020 și 2025.
Volatilitatea realizată anualizată a S&P 500 din următoarele 5 zile și prognozele HAR, random forest și MLP (multilayer perceptron) făcute la închiderea fiecărei zile, în 2020 și 2025.

Rezultatele învățării

  • Explicați diferența dintre predicție și inferență, precum și compromisul deplasare–varianță.
  • Construiți o evaluare walk-forward cu purging și recunoașteți look-ahead bias și leakage-ul.
  • Estimați ridge, lasso, un arbore de regresie, un random forest, gradient boosting și o rețea neuronală mică.
  • Comparați prognozele prin \(R^2\) în afara eșantionului, QLIKE și testul Diebold–Mariano, față de un reper adecvat.
  • Prognozați VaR 1% prin regresie cuantilică și corectați un raport Sharpe pentru numărul de strategii încercate.

Planul capitolului

  1. Contribuția învățării automate la statisticăPerceptronul, cele două culturi ale lui Breiman, predicție și inferență, notațiile învățării supervizate.
  2. Overfitting, deplasare și varianțăEroarea de antrenare și de test, descompunerea deplasare–varianță și o simulare cu arbori.
  3. Validarea pentru serii de timpEșantioanele de antrenare, validare și test, look-ahead bias, leakage și schema walk-forward.
  4. Regresia penalizată: ridge și lassoContracția coeficienților, selecția variabilelor și traiectoriile pe datele de volatilitate.
  5. Arbori de decizie, random forest și gradient boostingÎmpărțirea greedy, media arborilor, boosting și oprirea timpurie.
  6. Rețele neuronalePerceptronul multistrat, antrenarea prin gradient și modelul ARCH cu rețea neuronală din manual.
  7. Aplicație: prognoza volatilității realizateHAR față de lasso, random forest, boosting și MLP pentru S&P 500 și Bitcoin.
  8. Aplicație: semnul randamentului de mîineClasificatori pentru direcția pieței față de reperul clasei majoritare.
  9. Aplicație: VaR 1% prin metode cuantiliceRegresia cuantilică și quantile boosting comparate cu HS și GARCH-t.
  10. Data snooping și raportul Sharpe deflatatCea mai bună dintre \(N\) strategii și corecția Bailey–López de Prado.
  11. Studiu de caz: Gu, Kelly și Xiu (2020)Machine learning pentru randamentele lunare ale acțiunilor americane.
  12. AI pentru descoperire științificăO întrebare deschisă despre BVB, ajutorul posibil al AI și verificările necesare.
  13. RezumatIdeile principale, formulele și întrebări de autoevaluare.

Contribuția învățării automate la statistică

Secțiunea așază învățarea automată în istoria statisticii. Pornește de la perceptronul din 1958, prezintă distincția lui Breiman între modelarea datelor și modelarea algoritmică, separă predicția de inferență și fixează notațiile învățării supervizate: variabile explicative, țintă, funcție de pierdere și hiperparametri. Se încheie cu o hartă a domeniilor din finanțe în care aceste metode ajută și a celor în care întîmpină dificultăți.

Perceptronul, 1958

Slide 7 în PDF

Rosenblatt (1958) a descris o mașină care învață să clasifice imagini ajustîndu-și ponderile după fiecare eroare. Perceptronul primește un vector de intrări \(x\), în versiunea originală semnalele unor fotocelule, și produce ieșirea 1 dacă \(w_0 + w^\top x > 0\) și 0 în caz contrar. Ponderile \(w\) și pragul \(w_0\) nu sînt fixate de proiectant, ci învățate din exemple: cînd mașina greșește, ponderile se modifică în direcția care ar fi corectat greșeala.

Mark I Perceptron, construit la Cornell în 1960, avea 400 de fotocelule, iar ponderile erau reglate de motoare electrice. Ideea centrală a supraviețuit acestei implementări mecanice: o regulă de decizie liniară, cu parametri estimați prin corectarea repetată a erorilor, este strămoșul neuronului din rețelele moderne prezentate în secțiunea 6.

Trei momente ulterioare marchează dezvoltarea domeniului. În 1986, Rumelhart, Hinton & Williams (1986) au arătat cum retropropagarea erorii (back-propagation) antrenează rețele cu straturi ascunse. În 2001 au apărut random forest (Breiman, 2001b) și gradient boosting (Friedman, 2001), metodele de arbori folosite în secțiunea 5. În 2024, Premiul Nobel pentru fizică a fost acordat lui Hopfield și Hinton pentru contribuțiile lor la rețelele neuronale.

Pe scurt

  • Rosenblatt (1958): o mașină care învață să clasifice imagini ajustîndu-și ponderile după fiecare eroare
    • perceptronul: ieșirea este \(1\) dacă \(w_0 + w^\top x > 0\) și \(0\) în caz contrar
    • \(x\): vectorul intrărilor (semnalele fotocelulelor); \(w\): ponderile lor, învățate din exemple; \(w_0\): termenul de prag; \(w^\top x = \sum_j w_jx_j\)
    • Mark I Perceptron (Cornell, 1960): 400 de fotocelule, ponderi reglate de motoare electrice
  • Trei repere ulterioare

Două culturi ale modelării statistice

Slide 8 în PDF

Breiman (2001a), statistician la Berkeley, descrie două moduri de a folosi datele. În cultura modelării datelor (data modelling), cercetătorul presupune un model stochastic, de exemplu regresia liniară \(y = x^\top\beta + \varepsilon\) sau un model GARCH, îl estimează și îi testează parametrii. Concluziile privesc parametrii, iar validitatea lor depinde de corectitudinea modelului presupus.

În cultura modelării algoritmice (algorithmic modelling), mecanismul care a generat datele este tratat ca necunoscut. Scopul este o regulă \(\hat f\) care prezice bine \(y\) pe date noi, iar o regulă este judecată după eroarea ei de predicție, nu după plauzibilitatea unui model. Arborii, random forest și rețelele neuronale aparțin acestei culturi.

Cursul a lucrat pînă acum în prima cultură, din Capitolul 2 pînă în Capitolul 11: distribuții, modele de volatilitate, teste de memorie lungă. Acest capitol adaugă a doua cultură și întreabă în ce condiții ea aduce un cîștig real pe datele financiare, unde zgomotul este mare și istoria disponibilă este una singură.

Pe scurt

  • Breiman (2001a), statistician la Berkeley, descrie două culturi
    • modelarea datelor: presupunem un model stochastic (regresia liniară \(y = x^\top\beta + \varepsilon\), GARCH), îl estimăm și îi testăm parametrii
    • modelarea algoritmică: tratăm mecanismul ca necunoscut; căutăm o regulă \(\hat f\) care prezice bine \(y\) pe date noi
  • Cursul a folosit prima cultură în capitolele 2–11
    • acest capitol o adaugă pe a doua și analizează în ce condiții este utilă în finanțe
Două culturi ale modelării statistice Evans Hall, Universitatea California din Berkeley, sediul Departamentului de Statistică Foto: Gabriel Classon (2021); CC BY 2.0; Wikimedia Commons

Predicție și inferență

Slide 9 în PDF

Inferența întreabă dacă un coeficient \(\beta_j\) este diferit de zero și cît de mare este efectul, folosind erori standard și teste, ca în Capitolul 6. Un exemplu din curs este efectul de levier (leverage effect): parametrul de asimetrie al unui GJR-GARCH (Glosten–Jagannathan–Runkle GARCH), din Capitolul 9, spune dacă scăderile de preț cresc volatilitatea mai mult decît creșterile.

Predicția întreabă cît de aproape este prognoza \(\hat y\) de valoarea \(y\) pe date pe care modelul nu le-a văzut niciodată. Exemplele tipice sînt volatilitatea săptămînii viitoare și VaR 1% de mîine. Coeficienții unui model de predicție pot fi greu de interpretat, uneori nici nu există sub forma unor parametri cu sens economic; contează doar eroarea pe date noi.

Cele două obiective pot intra în conflict. Un estimator deplasat, precum ridge sau lasso din secțiunea 4, poate avea o eroare de predicție mai mică decît estimatorul nedeplasat OLS (ordinary least squares), deoarece cîștigă mai mult prin reducerea varianței decît pierde prin deplasare. Invers, un model care prezice bine nu demonstrează un mecanism cauzal: el poate exploata o corelație stabilă fără a spune nimic despre cauza ei.

Pe scurt

  • Inferența: este \(\beta_j \ne 0\)? cît de mare este efectul? (erori standard, teste, Capitolul 6)
    • exemplu: există efectul de levier (GJR-GARCH, Capitolul 9)?
  • Predicția: cît de aproape este \(\hat y\) de \(y\) pe date pe care modelul nu le-a văzut niciodată?
    • exemplu: volatilitatea săptămînii viitoare; VaR 1% de mîine
    • coeficienții pot fi greu de interpretat; contează eroarea pe date noi
  • Cele două obiective pot intra în conflict
    • un estimator deplasat (ridge, lasso) poate prezice mai bine decît estimatorul nedeplasat OLS
    • un model care prezice bine nu demonstrează un mecanism cauzal

Învățarea supervizată: notații și funcția de pierdere (1/2)

Slide 10 în PDF

Învățarea supervizată (supervised learning) pornește de la perechi \((x_t, y_t)\), \(t = 1, \dots, n\), unde \(t\) indexează observațiile, de exemplu zile sau săptămîni. Vectorul \(x_t \in \mathbb{R}^p\) conține variabilele explicative (features): \(p\) numere cunoscute la momentul \(t\), cum ar fi volatilitățile și randamentele trecute. Ținta (target) \(y_t\) este mărimea pe care vrem să o prognozăm, de exemplu volatilitatea săptămînii viitoare.

Condiția „cunoscute la momentul \(t\)” este esențială în finanțe. O variabilă explicativă care folosește, chiar și indirect, informație de după momentul \(t\) face ca prognoza să pară mai bună decît ar putea fi în timp real; secțiunea 3 tratează această eroare în detaliu.

Problemele se împart după natura țintei. În regresie, \(y\) este o variabilă continuă, de exemplu o volatilitate sau un randament. În clasificare, \(y\) este o clasă: creștere sau scădere, neplată sau plată, ca în modelele de scoring din Capitolul 12. Metodele capitolului au versiuni pentru ambele tipuri de probleme.

Pe scurt

  • Datele: perechile \((x_t, y_t)\), \(t = 1, \dots, n\)
    • \(t\): indicele observației (o zi, o săptămînă); \(n\): numărul de observații
    • \(x_t \in \mathbb{R}^p\): variabilele explicative (features), \(p\) numere cunoscute la momentul \(t\) (volatilități și randamente trecute)
    • \(y_t\): ținta (target), mărimea pe care vrem să o prognozăm (volatilitatea săptămînii viitoare)
  • Două tipuri de probleme
    • regresie: \(y\) este o variabilă continuă (volatilitate, randament)
    • clasificare: \(y\) este o clasă (creștere/scădere, neplată; Capitolul 12)

Învățarea supervizată: notații și funcția de pierdere (2/2)

Slide 11 în PDF

Învățarea înseamnă alegerea, dintr-o familie de reguli candidate \(\mathcal{F}\), a regulii \(\hat f\) care minimizează pierderea medie \(\frac1n\sum_t L(y_t, f(x_t))\). Funcția de pierdere (loss function) \(L(y, \hat y)\) dă costul prognozei \(\hat y\) atunci cînd se observă \(y\). Familia \(\mathcal{F}\) poate fi, de exemplu, mulțimea tuturor regresiilor liniare sau a tuturor arborilor de adîncime 3; cu cît familia este mai bogată, cu atît regula aleasă se poate adapta mai mult datelor.

Funcția de pierdere trebuie să corespundă scopului prognozei. Eroarea pătratică \((y - \hat y)^2\), a cărei medie este MSE (mean squared error), este alegerea implicită pentru regresie. Pentru varianțe, cursul a folosit QLIKE din Capitolul 8; pentru VaR, pierderea cuantilică (pinball loss) din Capitolul 10; pentru probabilități, log loss din Capitolul 12.

Parametrii unei reguli, precum coeficienții sau ponderile, se învață prin estimare. Un hiperparametru (hyperparameter) se alege înainte de estimare și controlează complexitatea regulii: adîncimea unui arbore, penalizarea \(\lambda\) din regresia ridge, numărul de neuroni al unei rețele. Alegerea hiperparametrilor este ea însăși o formă de estimare și are nevoie de date separate, după cum arată secțiunile următoare.

Pe scurt

  • Învățarea constă în alegerea regulii \(\hat f\) din familia \(\mathcal{F}\) care minimizează pierderea medie \(\frac1n\sum_t L(y_t, f(x_t))\)
    • \(f(x_t)\): prognoza dată de regula \(f\) pentru observația \(t\); \(L(y, \hat y)\): costul prognozei \(\hat y\) cînd se observă \(y\)
    • \(\mathcal{F}\): regulile candidate (toate regresiile liniare, toți arborii de adîncime 3); \(\hat f\): regula aleasă pe baza datelor
  • Funcțiile de pierdere folosite în curs
    • eroarea pătratică \((y - \hat y)^2\) (MSE, mean squared error); QLIKE pentru varianțe (Capitolul 8)
    • pierderea cuantilică (pinball loss) pentru VaR (Capitolul 10); log loss pentru probabilități (Capitolul 12)
  • Un hiperparametru se alege înainte de estimare
    • exemple: adîncimea arborelui, penalizarea \(\lambda\), numărul de neuroni
    • parametrii (coeficienți, ponderi) se învață prin estimare

Avantajele și limitele învățării automate în finanțe

Slide 12 în PDF

Machine learning are șanse de succes atunci cînd ținta are structură și datele sînt suficiente. Volatilitatea este un asemenea caz: Capitolele 8 și 9 au arătat că ea este persistentă, deci o mare parte din ea poate fi prognozată, iar efectele neliniare sînt plauzibile. Un al doilea caz sînt secțiunile transversale cu mii de acțiuni și multe caracteristici, ca în studiul de caz din secțiunea 11.

Dificultatea principală este un raport semnal–zgomot (signal-to-noise ratio) mic. Randamentele zilnice sînt aproape imprevizibile (Capitolul 7), iar un model flexibil aplicat lor învață mai ales zgomotul. Piețele își schimbă regimurile, iar crizele aduc situații absente din istoria de antrenare, astfel încît trecutul este un set de antrenare imperfect pentru viitor.

Există și o limită de principiu: avem o singură istorie a prețurilor. Experimentul nu poate fi repetat, observațiile sînt dependente în timp, iar numărul real de episoade independente, de exemplu de crize, este mic. Aceste trăsături explică de ce validarea ocupă în capitol un loc la fel de important ca modelele.

Pe scurt

  • Ajută: ținte cu structură și cu suficiente date
    • volatilitatea este persistentă (capitolele 8–9): este mult de prezis, iar efectele neliniare sînt posibile
    • secțiuni transversale cu mii de acțiuni și multe caracteristici (studiul de caz)
  • Dificultăți: un raport semnal–zgomot mic
    • randamentele zilnice sînt aproape imprevizibile (Capitolul 7): un model flexibil învață zgomotul
    • piețele se schimbă (regimuri, crize): trecutul este un set de antrenare imperfect
    • o singură istorie a prețurilor: experimentul nu poate fi repetat, iar observațiile sînt dependente

Sinteza secțiunii

Machine learning adaugă statisticii cultura modelării algoritmice: o regulă de predicție aleasă din date și judecată după eroarea pe date noi. Ingredientele sînt variabilele explicative, ținta, funcția de pierdere și hiperparametrii. În finanțe, metoda are șanse acolo unde ținta are structură, ca volatilitatea, și întîmpină dificultăți acolo unde zgomotul domină, ca la randamentele zilnice. Secțiunea următoare explică de ce flexibilitatea are un cost.

Overfitting, deplasare și varianță

Secțiunea arată de ce un model mai flexibil nu este automat un model mai bun. Distinge eroarea de antrenare de eroarea de test, derivă descompunerea erorii de test în deplasare, varianță și zgomot și ilustrează compromisul dintre ele printr-o simulare cu arbori de regresie de adîncimi diferite.

Eroarea de antrenare și eroarea de test

Slide 13 în PDF

Eroarea de antrenare (training error) este pierderea medie pe datele folosite la estimare; eroarea de test (test error) este pierderea medie pe date noi, generate de același proces. Prima scade întotdeauna atunci cînd modelul devine mai flexibil, pentru că o familie mai bogată de reguli conține și regulile mai simple. De aceea, eroarea de antrenare nu poate servi la compararea modelelor de complexitate diferită.

Supraînvățarea (overfitting) apare cînd modelul învață, pe lîngă semnal, și zgomotul eșantionului de antrenare. Simptomul este o eroare de antrenare mică însoțită de o eroare de test mare. Cazul extrem este un arbore cu cîte o frunză pentru fiecare observație: el reproduce exact datele de antrenare, deci are eroare de antrenare zero, dar prognozele lui pentru observații noi sînt slabe.

Subînvățarea (underfitting) este eroarea opusă: modelul este prea rigid pentru a surprinde semnalul. Un exemplu este o prognoză constantă a volatilității într-o piață cu grupare a volatilității (volatility clustering): ea ignoră exact structura care face volatilitatea previzibilă.

Pe scurt

  • Eroarea de antrenare: pierderea medie pe datele folosite la estimare; eroarea de test: pe date noi din același proces
    • eroarea de antrenare scade întotdeauna cînd modelul devine mai flexibil
  • Overfitting: modelul învață zgomotul din eșantionul de antrenare
    • simptom: o eroare de antrenare mică și o eroare de test mare
    • un arbore cu cîte o frunză pentru fiecare observație are eroare de antrenare zero, dar prognoze slabe
  • Underfitting: modelul este prea rigid pentru a surprinde semnalul
    • exemplu: o prognoză constantă a volatilității într-o lume cu volatility clustering

Descompunerea deplasare–varianță (1/2)

Slide 14 în PDF

Presupunem că datele sînt generate de \(y = f(x) + \varepsilon\), cu \(E[\varepsilon] = 0\) și \(\mathrm{Var}(\varepsilon) = \sigma^2\). Funcția \(f\) este relația adevărată și necunoscută dintre \(x\) și \(y\), iar \(\varepsilon\) este zgomotul, imprevizibil pe baza lui \(x\). Estimația \(\hat f\) se obține pe un eșantion de antrenare aleator; un alt eșantion ar da o altă estimație, deci \(\hat f(x_0)\) este o variabilă aleatoare.

Pentru un punct nou \(x_0\), cu \(y_0 = f(x_0) + \varepsilon_0\), eroarea de test așteptată se descompune în trei termeni:

\[E\big[(y_0 - \hat f(x_0))^2\big] = \big(E[\hat f(x_0)] - f(x_0)\big)^2 + \mathrm{Var}\big(\hat f(x_0)\big) + \sigma^2.\]
(13.1)

Media se ia peste toate eșantioanele de antrenare posibile și peste zgomotul \(\varepsilon_0\). Primul termen este pătratul deplasării (bias): distanța dintre estimația medie și valoarea adevărată. Al doilea este varianța (variance): cît se modifică \(\hat f(x_0)\) de la un eșantion la altul. Al treilea este zgomotul, care nu depinde de model.

Pe scurt

  • Modelul: \(y = f(x) + \varepsilon\), \(E[\varepsilon] = 0\), \(\mathrm{Var}(\varepsilon) = \sigma^2\)
    • \(f\): relația adevărată, necunoscută, dintre \(x\) și \(y\); \(\varepsilon\): zgomotul, imprevizibil pe baza lui \(x\), cu varianța \(\sigma^2\)
    • \(\hat f\): estimația lui \(f\) obținută pe un eșantion de antrenare aleator; alt eșantion ar da alt \(\hat f\)
  • Eroarea de test așteptată într-un punct nou \(x_0\), cu \(y_0 = f(x_0) + \varepsilon_0\):
    \[ E\big[(y_0 - \hat f(x_0))^2\big] = \underbrace{\big(E[\hat f(x_0)] - f(x_0)\big)^2}_{\text{deplasare}^2} + \underbrace{\mathrm{Var}\big(\hat f(x_0)\big)}_{\text{varianță}} + \underbrace{\sigma^2}_{\text{zgomot}} \]
    • \(E[\cdot]\): media peste toate eșantioanele de antrenare posibile și peste zgomotul \(\varepsilon_0\)
    • deplasarea: distanța dintre estimația medie și valoarea adevărată; varianța: cît se modifică \(\hat f(x_0)\) de la un eșantion la altul

Descompunerea deplasare–varianță (2/2)

Slide 15 în PDF

Derivarea pornește de la scrierea erorii în punctul \(x_0\) ca sumă de trei termeni: \(y_0 - \hat f = (f - E\hat f) + (E\hat f - \hat f) + \varepsilon_0\). Prin ridicare la pătrat și mediere, cele trei pătrate dau deplasarea la pătrat, varianța și \(\sigma^2\). Termenii micști au media zero: primul termen este o constantă, \(E[E\hat f - \hat f] = 0\), iar \(\varepsilon_0\) este independent de eșantionul de antrenare.

Descompunerea (13.1) explică compromisul deplasare–varianță (bias–variance trade-off). Un model rigid are deplasare mare și varianță mică: dă aproape aceeași prognoză pe orice eșantion, dar sistematic greșită. Un model flexibil are deplasare mică și varianță mare: se potrivește bine în medie, dar prognoza lui depinde puternic de eșantionul concret. Complexitatea optimă echilibrează cei doi termeni.

Al treilea termen, \(\sigma^2\), este un prag minim: niciun model nu coboară sub el. Pentru randamentele zilnice, \(\sigma^2\) reprezintă aproape toată eroarea, deoarece partea previzibilă \(f(x)\) este foarte mică. În această situație, orice varianță suplimentară adusă de un model flexibil se vede direct în eroarea de test, iar cîștigul posibil din reducerea deplasării este mic.

Pe scurt

  • Derivarea: scriem \(y_0 - \hat f = (f - E\hat f) + (E\hat f - \hat f) + \varepsilon_0\), toate în punctul \(x_0\)
    • ridicăm la pătrat și luăm media: cele trei pătrate dau deplasarea\(^2\), varianța și \(\sigma^2\)
    • termenii micști au media 0: \(E[E\hat f - \hat f] = 0\), iar \(\varepsilon_0\) este independent de eșantionul de antrenare
  • Interpretarea descompunerii
    • un model rigid: deplasare mare, varianță mică
    • un model flexibil: deplasare mică, varianță mare
    • \(\sigma^2\) este pragul minim: niciun model nu coboară sub el; la randamentele zilnice, \(\sigma^2\) reprezintă aproape toată eroarea

Deplasarea și varianța arborilor de regresie

Slide 16 în PDF
    Întrebare pentru sală Cu varianța zgomotului σ² = 0,04 în loc de 0,09 (rulare suplimentară), la ce adîncime este minimă eroarea de test așteptată?
    Răspuns

    La adîncimea 4 (0,063), față de adîncimea 3 (0,132) cu σ² = 0,09. Cu mai puțin zgomot, varianța arborilor adînci costă mai puțin, deci optimul se mută spre un model mai flexibil; cu σ² = 0,25 minimul rămîne la adîncimea 3 (0,329).

    Simularea face descompunerea vizibilă. Datele sînt generate de \(y = \sin(2\pi x) + \varepsilon\), cu varianța zgomotului \(\sigma^2 = 0{,}09\) și \(n = 80\) de observații, iar experimentul se repetă pe 300 de eșantioane de antrenare. Graficul din stînga arată un singur eșantion și arborii de adîncime 1, 3 și 10 estimați pe el; arborii de regresie sînt definiți în secțiunea 5.

    Arborele de adîncime 1 are o singură împărțire și nu poate urmări forma sinusoidei: deplasarea lui la pătrat este 0,070, iar varianța 0,031. Arborele de adîncime 10 urmărește fiecare punct: deplasarea la pătrat este practic zero (0,000), dar varianța crește la 0,090, cît varianța zgomotului. Între cele două extreme, eroarea de test este minimă la adîncimea 3, cu valoarea 0,132.

    Valoarea minimă, 0,132, este cu puțin peste pragul \(\sigma^2 = 0{,}09\): în această simulare semnalul este puternic și un model de complexitate medie îl surprinde aproape complet. Graficul arată cele trei componente din (13.1) în funcție de adîncime și forma de U a erorii de test care rezultă din suma lor.

    Pe scurt

    • Simulare: \(y = \sin(2\pi x) + \varepsilon\), \(\sigma^2 = 0{,}09\), \(n = 80\), 300 de eșantioane de antrenare; stînga: un eșantion cu arbori de adîncime 1, 3 și 10
    • Adîncimea 1: deplasare\(^2\) \(0{,}070\), varianță \(0{,}031\); adîncimea 10: deplasare\(^2\) \(0{,}000\), varianță \(0{,}090\); eroarea de test este minimă la adîncimea 3 (\(0{,}132\))
    SFM_ch13_validation

    Interpretarea erorii de test în formă de U

    Slide 17 în PDF

    Pe măsură ce adîncimea crește, eroarea de antrenare scade de la 0,172 la 0,002. Eroarea de test scade la început, cît timp reducerea deplasării domină, apoi crește, cînd creșterea varianței devine mai importantă. Arborele de adîncime 10 are o eroare de antrenare aproape zero și o eroare de test de 0,180, mai mare decît cea a arborelui de adîncime 3.

    Consecința practică este că un model nu se alege niciodată după eroarea de antrenare: aceasta ar favoriza mereu modelul cel mai flexibil. Complexitatea este un hiperparametru și trebuie aleasă pe date care nu au fost folosite la estimarea parametrilor.

    În finanțe, zgomotul este mult mai mare în raport cu semnalul decît în această simulare. Minimul curbei în U se deplasează atunci spre modele mai simple, astfel încît modelul cel mai bun este de obicei mai simplu decît arborele de adîncime 3 din exemplu.

    Pe scurt

    • Eroarea de antrenare scade de la \(0{,}172\) la \(0{,}002\); eroarea de test scade, apoi crește
      • adîncimea 10 are eroare de antrenare aproape zero și o eroare de test de \(0{,}180\), mai mare decît la adîncimea 3
    • Consecințe practice
      • nu alegeți niciodată un model după eroarea de antrenare
      • complexitatea este un hiperparametru: se alege pe date care nu au fost folosite la estimare
      • în finanțe zgomotul este mare, deci cel mai bun model este de obicei mai simplu decît în această simulare

    Sinteza secțiunii

    Eroarea de test se descompune în deplasare la pătrat, varianță și zgomot, (13.1). Flexibilitatea reduce deplasarea și mărește varianța, de unde forma de U a erorii de test, iar zgomotul fixează un prag pe care niciun model nu îl coboară. Complexitatea se alege deci pe date neutilizate la estimare, ceea ce cere o schemă de validare potrivită pentru seriile de timp, subiectul secțiunii următoare.

    Validarea pentru serii de timp

    Secțiunea stabilește regulile după care se evaluează toate modelele capitolului. Definește rolurile eșantioanelor de antrenare, validare și test, cele două erori care fac un model să pară mai bun decît este, look-ahead bias și leakage, și schemele de validare potrivite pentru serii de timp. Un experiment cu un mers aleator simulat arată cît de mare poate fi efectul unei scheme greșite.

    Eșantioanele de antrenare, validare și test

    Slide 18 în PDF

    Datele au trei roluri. Eșantionul de antrenare (training sample) servește la estimarea parametrilor fiecărui model candidat. Eșantionul de validare (validation sample) servește la alegerea hiperparametrilor și a modelului. Eșantionul de test (test sample) servește la o singură măsurare a erorii modelului ales în final; doar această măsurare estimează onest performanța pe date noi.

    Orice decizie luată pe baza eșantionului de test îl transformă într-un eșantion de validare. A încerca zece modele pe datele de test și a raporta cel mai bun nu mai este testare, ci selecție de model, iar eroarea raportată este optimistă. Secțiunea 10 cuantifică acest optimism pentru rapoartele Sharpe.

    Validarea încrucișată K-fold (K-fold cross-validation, CV) împarte datele în \(K\) părți; fiecare parte este pe rînd setul de validare, iar celelalte \(K - 1\) părți antrenează modelul. Schema este validă pentru date i.i.d. Pentru serii de timp, Bergmeir, Hyndman & Koo (2018) arată că ea rămîne validă doar în condiții stricte, cînd în erorile modelului nu mai există dependență.

    Pe scurt

    • Trei roluri pentru date
      • antrenare: estimăm parametrii fiecărui model candidat
      • validare: alegem hiperparametrii și modelul
      • test: măsurăm o singură dată eroarea alegerii finale
    • Orice decizie luată pe baza eșantionului de test îl transformă într-un eșantion de validare
      • a încerca zece modele pe datele de test și a raporta cel mai bun înseamnă selecție de model, nu testare
    • Validarea încrucișată K-fold (cross-validation): împărțim datele în \(K\) părți; fiecare parte este o dată setul de validare, iar celelalte antrenează modelul

    Look-ahead bias și leakage

    Slide 19 în PDF

    Look-ahead bias apare cînd prognoza pentru ziua \(t\) folosește informație care nu era disponibilă la închiderea zilei \(t - 1\). Sursele obișnuite sînt variabilele calculate cu prețuri viitoare, de exemplu o medie mobilă centrată sau o medie pe tot eșantionul, scalarea sau standardizarea cu statisticile întregului eșantion, datele revizuite ulterior și folosirea componenței de azi a unui indice pentru trecut (survivorship).

    Leakage-ul este o eroare înrudită: informația despre ținta de test ajunge în eșantionul de antrenare. Cazul tipic sînt țintele suprapuse. Randamentul pe 21 de zile care începe în ziua \(t\) și cel care începe în ziua \(t + 1\) au 20 de zile comune. Dacă o partiție aleatoare pune ziua \(t + 1\) în antrenare și ziua \(t\) în test, modelul a văzut aproape tot răspunsul înainte de a fi testat.

    Ambele erori fac un model să pară mai bun decît poate fi în timp real, iar niciuna nu se vede în eroarea de antrenare sau în codul care rulează fără erori. Ele trebuie excluse prin construcția schemei de validare, nu descoperite ulterior.

    Pe scurt

    • Look-ahead bias: prognoza pentru ziua \(t\) folosește informație care nu era disponibilă la închiderea zilei \(t - 1\)
      • variabile calculate cu prețuri viitoare (o medie mobilă centrată, o medie pe tot eșantionul)
      • scalare sau standardizare cu statistici ale întregului eșantion; date revizuite; componența de azi a indicelui (survivorship)
    • Leakage: informația despre ținta de test ajunge în eșantionul de antrenare
      • ținte suprapuse: randamentul pe 21 de zile de la ziua \(t\) și cel de la ziua \(t + 1\) au 20 de zile comune
      • o partiție aleatoare pune ziua \(t + 1\) în antrenare și ziua \(t\) în test: modelul a văzut răspunsul
    • Ambele fac un model să pară mai bun decît poate fi în timp real

    Trei scheme de validare

    Slide 20 în PDF

    Cele 14 partiții walk-forward (S&P 500)

    Exemplu lucrat: o partiție walk-forward cu purging

    \[\text{antrenare}_Y = \{t < 1\,\text{ian.}\,Y\} \setminus \{\text{ultimele } h \text{ rînduri}\}, \qquad \text{test}_Y = \{t \in Y\}, \qquad y_t = \ln\Big(\tfrac1h\sum_{j=1}^{h} v_{t+j}\Big)\]
        Întrebare pentru sală Cu ținta pe 22 de zile (h = 22, rulare suplimentară), cîte zile de antrenare are partiția 2013?
        Răspuns

        1171: purging-ul elimină 22 de rînduri în loc de 5, deci cu 17 mai puține decît cele 1188 de zile cu h = 5; ultima zi de antrenare devine 28 noiembrie 2012. Testul rămîne cele 252 de zile din 2013.

          Întrebare pentru sală K-fold aleator, partiția 1 (K = 5): din cele 12 observații de test, cîte au cel puțin o vecină (ziua dinainte sau ziua de după) în antrenare?
          Răspuns

          11 din 12. Partiția aleatoare împrăștie testul printre zilele de antrenare, iar cu ținte suprapuse vecina are aproape aceeași țintă: modelul a văzut practic răspunsul. Cu K = 8 situația este aceeași, 7 din 8.

          Graficul compară trei scheme. Validarea walk-forward antrenează modelul pe trecut, îl testează pe blocul următor și apoi avansează. În varianta cu fereastră extinsă (expanding window), fiecare pas păstrează tot trecutul în eșantionul de antrenare. Schema imită exact situația unui analist care face prognoze în timp real.

          A doua schemă este K-fold cu purging și embargo, propusă de López de Prado (2018). Blocurile de test pot fi și în mijlocul eșantionului, dar din antrenare se elimină rîndurile ale căror ținte se suprapun cu blocul de test (purging) și cîteva rînduri de după el (embargo). Astfel, nicio țintă din antrenare nu conține informație din perioada de test.

          A treia schemă, K-fold aleator, apare în grafic ca termen de comparație: ea amestecă zilele și ignoră ordinea temporală. Experimentul de pe slide-urile următoare arată ce produce această schemă pe ținte suprapuse.

          Pe scurt

          • Walk-forward: antrenăm pe trecut, testăm pe blocul următor și avansăm; fereastra extinsă păstrează tot trecutul
          • K-fold cu purging și embargo López de Prado (2018): eliminăm rîndurile de antrenare ale căror ținte se suprapun cu blocul de test (purging) și cîteva rînduri de după el (embargo)
          SFM_ch13_validation

          Validarea walk-forward, pas cu pas

          Slide 21 în PDF

          Pentru S&P 500, capitolul folosește date începînd cu 8 aprilie 2008 și cîte o partiție pentru fiecare an calendaristic începînd cu 2013, în total 14 partiții. Modelul se reestimează în fiecare ianuarie pe toate zilele anterioare, cu fereastră extinsă, și se testează pe fiecare zi a anului respectiv.

          Ținta este varianța medie din următoarele 5 zile, deci ultimele rînduri dinaintea anului de test au ținte care se termină în acel an. Purging-ul le elimină: pentru 2013 se scot ultimele 5 rînduri de antrenare, de la 24 decembrie 2012. Partiția pentru 2013 antrenează astfel pe 1 188 de zile și testează pe 252, iar partiția pentru 2026 antrenează pe 4 458 de zile.

          Hiperparametrii se aleg în interiorul fiecărei ferestre de antrenare, printr-o împărțire walk-forward doar a datelor de antrenare; anul de test nu influențează nicio alegere. Nu este nevoie de embargo, deoarece blocul de test vine întotdeauna după cel de antrenare și nu există rînduri de antrenare situate după perioada de test.

          Pe scurt

          • Schema folosită în acest capitol pentru S&P 500 (date din 8 aprilie 2008)
            • cîte o partiție pentru fiecare an calendaristic din 2013: 14 partiții; modelul se reestimează în fiecare ianuarie
            • fereastra de antrenare: toate zilele anterioare (extinsă); test: fiecare zi a anului
          • Purging: ținta este varianța medie din următoarele 5 zile
            • pentru 2013 se elimină ultimele 5 rînduri de antrenare (de la 24 decembrie 2012): țintele lor ajung în 2013
            • partiția pentru 2013 antrenează pe 1 188 de zile și testează pe 252; partiția pentru 2026 antrenează pe 4 458 de zile
          • În interiorul fiecărei ferestre de antrenare, hiperparametrii se aleg printr-o împărțire walk-forward doar a datelor de antrenare
            • nu este nevoie de embargo: blocul de test vine întotdeauna după cel de antrenare

          Leakage în practică: partiții aleatoare pe ținte suprapuse

          Slide 22 în PDF
            Întrebare pentru sală Cu ținta pe 5 zile în loc de 21 (rulare suplimentară), ce R² raportează K-fold aleator pentru mersul aleator simulat?
            Răspuns

            17,8%, față de 34,5% cu 21 de zile: țintele a două zile vecine au acum 4 din 5 randamente comune, nu 20 din 21, deci leakage-ul este mai mic, dar tot mare. Walk-forward rămîne negativ (−17,5%); cu 63 de zile, K-fold aleator urcă la 35,8%.

            Experimentul folosește un random forest pentru randamentul din următoarele 21 de zile, cu variabile explicative construite din randamentele și volatilitățile trecute. Performanța se măsoară prin \(R^2\) în afara eșantionului față de media de antrenare, definit în secțiunea 7: o valoare pozitivă înseamnă o eroare pătratică mai mică decît a mediei, una negativă o eroare mai mare.

            Primul set de date este un mers aleator simulat, în care randamentele viitoare sînt independente de trecut. Validarea 5-fold aleatoare raportează un \(R^2\) de 34,5%, iar validarea walk-forward un \(R^2\) de −26,1%. Pe S&P 500, cu 6 631 de zile, cele două valori sînt 36,9% și −38,0%.

            Rezultatele pe datele reale sînt aproape identice cu cele pe mersul aleator. Asemănarea arată că \(R^2\) mare al partițiilor aleatoare nu reflectă o predictibilitate a S&P 500, ci schema de validare.

            Pe scurt

            • Random forest pentru randamentul din următoarele 21 de zile, pe baza randamentelor și volatilităților trecute; \(R^2\) în afara eșantionului față de media de antrenare
            • Mers aleator simulat: 5-fold aleator \(34{,}5\%\), walk-forward \(-26{,}1\%\); S&P 500 (6 631 de zile): \(36{,}9\%\) și \(-38{,}0\%\)
            SFM_ch13_validation

            Interpretare: leakage în prognoza unui mers aleator

            Slide 23 în PDF

            Mersul aleator nu are nimic de prezis, totuși partițiile aleatoare raportează un \(R^2\) de 34,5%. Explicația este leakage-ul: random forest memorează zilele vecine din antrenare, ale căror ținte au 20 din 21 de randamente comune cu ziua de test. Prognoza „ghicește” ținta pentru că a văzut-o deja aproape în întregime.

            Validarea walk-forward dă un \(R^2\) negativ: random forest învață zgomotul anilor de antrenare și este mai slab decît simpla medie de antrenare. Purging-ul, adică eliminarea a 21 de zile la granița dintre antrenare și test, schimbă puțin rezultatul, deoarece în walk-forward doar rîndurile de la graniță au ținte suprapuse cu perioada de test.

            Regula care rezultă este simplă: cu ținte suprapuse sau cu date dependente, ordinea temporală nu se amestecă niciodată. Un \(R^2\) mare obținut cu partiții aleatoare pe asemenea date nu spune nimic despre capacitatea de prognoză a modelului.

            Pe scurt

            • Mersul aleator nu are nimic de prezis, totuși partițiile aleatoare raportează \(R^2 = 34{,}5\%\)
              • random forest memorează zilele vecine, ale căror ținte au 20 din 21 de randamente comune cu ziua de test
            • Walk-forward dă un \(R^2\) negativ: random forest învață zgomotul și este inferior mediei de antrenare
              • purging-ul (eliminarea a 21 de zile) schimbă puțin rezultatul, deoarece în walk-forward doar rîndurile de la graniță se suprapun
            • Regulă: cu ținte suprapuse sau date dependente, nu amestecați niciodată ordinea temporală

            Sinteza secțiunii

            Datele au trei roluri, antrenare, validare și test, iar eșantionul de test se folosește o singură dată. Look-ahead bias și leakage-ul fac un model să pară mai bun decît poate fi în timp real; pe ținte suprapuse, partițiile aleatoare dau un \(R^2\) de peste 30% chiar pentru zgomot pur. Toate rezultatele empirice ale capitolului folosesc de aceea validarea walk-forward cu purging. Secțiunea următoare începe seria modelelor cu regresia penalizată.

            Regresia penalizată: ridge și lasso

            Secțiunea pornește de la instabilitatea estimatorului OLS cînd variabilele explicative sînt multe și corelate. Introduce regresia ridge și lasso, care adaugă o penalizare a coeficienților, le calculează pe un exemplu cu o singură variabilă și le aplică variabilelor de volatilitate ale S&P 500.

            OLS cu multe variabile explicative corelate

            Slide 24 în PDF

            Estimatorul OLS minimizează suma pătratelor erorilor și are forma închisă

            \[\hat\beta = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 = (X^\top X)^{-1}X^\top y,\]

            unde \(X\) este matricea \(n \times p\) cu rîndul \(t\) egal cu \(x_t^\top\), iar \(y\) este vectorul țintelor. Estimatorul este nedeplasat, dar varianța lui, \(\sigma^2(X^\top X)^{-1}\), cu \(\sigma^2\) varianța erorii, crește foarte mult cînd variabilele sînt multe sau puternic corelate, pentru că matricea \(X^\top X\) devine aproape singulară.

            Variabilele de volatilitate sînt un exemplu tipic: varianța realizată de azi, cea din această săptămînă și cea din această lună se mișcă împreună. OLS poate atunci produce coeficienți mari, de semne opuse, care se compensează în eșantion; în afara eșantionului, unde corelațiile se schimbă puțin, compensarea nu mai funcționează și prognozele se degradează.

            Regresia penalizată (penalised regression) minimizează eroarea pătratică plus o penalizare pentru mărimea lui \(\beta\). Penalizarea introduce o deplasare spre zero, dar reduce varianța estimatorului. În termenii descompunerii (13.1), se acceptă o deplasare mică pentru o reducere mare a varianței.

            Pe scurt

            • OLS (ordinary least squares, metoda celor mai mici pătrate): \(\hat\beta = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 = (X^\top X)^{-1}X^\top y\)
              • \(X\): matricea \(n \times p\) cu rîndul \(t\) egal cu \(x_t^\top\); \(y\): vectorul țintelor; \(\arg\min_\beta\): valoarea lui \(\beta\) care minimizează suma
              • nedeplasat, dar varianța lui, \(\sigma^2(X^\top X)^{-1}\) (\(\sigma^2\): varianța erorii), crește foarte mult cînd variabilele sînt multe sau puternic corelate
            • Variabilele de volatilitate sînt puternic corelate: varianța realizată de azi, din această săptămînă și din această lună
              • OLS poate da coeficienți mari, de semne opuse, care se compensează în eșantion și eșuează în afara lui
            • Regresia penalizată: minimizăm eroarea pătratică plus o penalizare pentru mărimea lui \(\beta\)
              • acceptăm o deplasare mică pentru o reducere mare a varianței (compromisul din secțiunea 2)

            Regresia ridge (1/2)

            Slide 25 în PDF

            Hoerl & Kennard (1970) au propus penalizarea pătratelor coeficienților:

            \[\hat\beta^{\,ridge} = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 + \lambda\sum_j \beta_j^2 = (X^\top X + \lambda I)^{-1}X^\top y.\]
            (13.2)

            Termenul \(\sum_j \beta_j^2\) este mare cînd coeficienții sînt mari, iar \(\lambda \ge 0\) fixează intensitatea penalizării; \(I\) este matricea identitate \(p \times p\). Pentru \(\lambda = 0\) se obține OLS, iar pentru \(\lambda \to \infty\) toți coeficienții tind la zero. Parametrul \(\lambda\) este un hiperparametru și se alege prin validare.

            Forma închisă din (13.2) are o consecință importantă. Matricea \(X^\top X + \lambda I\) este inversabilă pentru orice \(\lambda > 0\), chiar dacă \(X^\top X\) nu este. Ridge funcționează deci și atunci cînd există mai multe variabile decît observații, situație în care OLS nu are o soluție unică.

            Pe scurt

            • Hoerl & Kennard (1970): minimizăm eroarea pătratică plus o penalizare a pătratelor coeficienților
              \[ \hat\beta^{\,ridge} = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 + \lambda\sum_j \beta_j^2 = (X^\top X + \lambda I)^{-1}X^\top y \]
            • Notațiile
              • \(\beta_j\): coeficientul variabilei \(j\); \(\sum_j \beta_j^2\): termenul de penalizare, mare cînd coeficienții sînt mari
              • \(\lambda \ge 0\): intensitatea penalizării; \(\lambda = 0\) dă OLS, \(\lambda \to \infty\) dă \(\hat\beta \to 0\)
              • \(I\): matricea identitate \(p \times p\)
            • Consecința
              • \(X^\top X + \lambda I\) este întotdeauna inversabilă pentru \(\lambda > 0\): ridge funcționează chiar și cu mai multe variabile decît observații

            Regresia ridge (2/2)

            Slide 26 în PDF

            Cazul unei singure variabile centrate, cu media zero, arată mecanismul. Cu \(S_{xx} = \sum_t x_t^2\) și \(S_{xy} = \sum_t x_ty_t\),

            \[\hat\beta^{\,ridge} = \frac{S_{xy}}{S_{xx} + \lambda} = \frac{S_{xx}}{S_{xx} + \lambda}\,\hat\beta^{\,OLS}, \qquad \hat\beta^{\,OLS} = \frac{S_{xy}}{S_{xx}}.\]

            Factorul \(S_{xx}/(S_{xx} + \lambda)\) se află în intervalul \((0, 1]\) și este fracțiunea din coeficientul OLS pe care o păstrează ridge. Contracția (shrinkage) este mai puternică atunci cînd \(\lambda\) este mare în raport cu \(S_{xx}\), adică atunci cînd variabila conține puțină informație.

            În exemplul de pe slide, \(S_{xx} = 100\) și \(S_{xy} = 30\). Coeficientul OLS este \(30/100 = 0{,}30\), iar coeficientul ridge cu \(\lambda = 50\) este \(30/150 = 0{,}20\), cu un factor de contracție de 0,67. Ridge contractă toți coeficienții spre zero, dar nu anulează niciunul exact: pentru orice \(\lambda\) finit, factorul rămîne pozitiv.

            Pe scurt

            • O singură variabilă, centrată (cu media 0): \(S_{xx} = \sum_t x_t^2\), \(S_{xy} = \sum_t x_ty_t\)
              \[ \hat\beta^{\,ridge} = \dfrac{S_{xy}}{S_{xx} + \lambda} = \dfrac{S_{xx}}{S_{xx} + \lambda}\,\hat\beta^{\,OLS}, \qquad \hat\beta^{\,OLS} = \dfrac{S_{xy}}{S_{xx}} \]
              • factorul \(S_{xx}/(S_{xx} + \lambda)\) este în \((0, 1]\): fracțiunea din coeficientul OLS păstrată de ridge
            • Exemplu: \(S_{xx} = 100\), \(S_{xy} = 30\)
              • OLS: \(30/100 = 0{,}30\)
              • ridge cu \(\lambda = 50\): \(30/150 = 0{,}20\) (factor de contracție \(0{,}67\))
            • Ridge contractă toți coeficienții spre zero, dar nu anulează niciunul exact

            Lasso, propus de Tibshirani (1996), înlocuiește pătratele cu valorile absolute:

            \[\hat\beta^{\,lasso} = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 + \lambda\sum_j |\beta_j|.\]

            Valoarea absolută are un punct unghiular în zero, iar în acest punct soluția se poate opri: unii coeficienți devin exact zero. Lasso face astfel, pe lîngă contracție, și selecția variabilelor (variable selection).

            Pentru o singură variabilă, soluția este pragul de contracție (soft thresholding): \(\hat\beta^{\,lasso} = \mathrm{sign}(S_{xy})\,\max(|S_{xy}| - \lambda/2,\, 0)/S_{xx}\), unde \(\mathrm{sign}(S_{xy})\) este semnul, \(+1\) sau \(-1\). Dacă \(|S_{xy}| \le \lambda/2\), coeficientul este exact zero. Cu aceleași date ca la ridge și \(\lambda = 20\), coeficientul este \((30 - 10)/100 = 0{,}20\); pentru \(\lambda \ge 60\) variabila iese din model.

            În practică, variabilele se standardizează înainte de estimare, pentru că penalizarea depinde de unitățile lor; media și abaterea standard folosite la standardizare se calculează doar pe datele de antrenare, altfel apare look-ahead bias. Parametrul \(\lambda\) se alege prin validare încrucișată walk-forward. Elastic net combină cele două penalizări, \(L_1\) și \(L_2\).

            Pe scurt

            • Tibshirani (1996): \(\hat\beta^{\,lasso} = \arg\min_\beta \sum_t (y_t - x_t^\top\beta)^2 + \lambda\sum_j |\beta_j|\)
              • valoarea absolută are un punct unghiular în 0: unii coeficienți devin exact zero (selecția variabilelor)
            • O singură variabilă: soft thresholding (prag de contracție)
              • \(\hat\beta^{\,lasso} = \mathrm{sign}(S_{xy})\,\max(|S_{xy}| - \lambda/2,\, 0)/S_{xx}\)
              • \(\mathrm{sign}(S_{xy})\): semnul, \(+1\) sau \(-1\); dacă \(|S_{xy}| \le \lambda/2\), coeficientul este exact 0
              • aceleași date, \(\lambda = 20\): \((30 - 10)/100 = 0{,}20\); zero pentru \(\lambda \ge 60\)
            • În practică
              • standardizăm întîi variabilele (penalizarea depinde de unitățile lor), doar cu media și abaterea standard din antrenare
              • alegem \(\lambda\) prin validare încrucișată walk-forward; elastic net combină cele două penalizări
            Lasso Robert Tibshirani, Universitatea Stanford Foto: R. Tibshirani (2012); CC BY-SA 3.0; Wikimedia Commons

            Traiectoriile ridge și lasso pentru variabilele de volatilitate

            Slide 28 în PDF

            Exemplu lucrat: ridge cu o singură variabilă

            \[\hat\beta^{\,ridge} = \frac{S_{xy}}{S_{xx} + \lambda} = \frac{S_{xx}}{S_{xx} + \lambda}\,\hat\beta^{\,OLS}, \qquad \hat\beta^{\,OLS} = \frac{S_{xy}}{S_{xx}}\]
                Întrebare pentru sală ▶ crește λ de la 50 la 200. Cît devine β̂ ridge?
                Răspuns

                0,10 = 30/(100 + 200); factorul de contracție scade de la 0,67 la 0,33. Coeficientul se apropie de zero, dar nu devine zero pentru niciun λ finit; lasso cu λ = 200 este deja 0.

                Exemplu lucrat: soft thresholding

                \[\hat\beta^{\,lasso} = \mathrm{sign}(S_{xy})\,\frac{\max(|S_{xy}| - \lambda/2,\, 0)}{S_{xx}}, \qquad S_{xx} = 100\]
                    Întrebare pentru sală ▶ crește λ de la 20 la 60. Cît devine β̂ lasso?
                    Răspuns

                    Exact 0: λ/2 = 30 = |S_xy|, deci max(30 − 30, 0) = 0, și rămîne 0 pentru orice λ ≥ 60. Ridge cu același λ ar da 30/160 = 0,19.

                      Întrebare pentru sală ▶ mărește penalizarea lasso pînă la λ = 1. Care variabilă rămîne ultima cu coeficient nenul?
                      Răspuns

                      Log RV săptămînal: rămîne nenul pînă la λ = 0,86 pe grilă, după log RV lunar (0,46), log RV zilnic (0,21) și randamentul negativ (0,18). Luată singură, varianța săptămînală este cea mai informativă variabilă; ridge, în stînga, nu anulează niciun coeficient.

                      Graficul arată traiectoriile coeficienților (coefficient paths) în funcție de \(\lambda\) pentru o problemă reală. Ținta este logaritmul mediei variabilei proxy a varianței din următoarele 5 zile pentru S&P 500, în perioada 2008–2012 (1 193 de zile), iar variabilele explicative sînt cele 11 variabile standardizate din secțiunea 7. La \(\lambda\) mare toți coeficienții sînt aproape zero; pe măsură ce \(\lambda\) scade, ei se apropie de valorile OLS.

                      Valoarea aleasă prin validare încrucișată walk-forward este \(\lambda = 0{,}0079\). La această valoare, lasso păstrează 10 din cele 11 variabile; randamentul absolut iese din model. Coeficientul varianței săptămînale crește de la +0,199 în OLS la +0,283 în lasso.

                      Creșterea coeficientului săptămînal pare să contrazică ideea de contracție, dar se explică prin corelații. Cînd o variabilă corelată iese din model sau este contractată, o parte din ponderea ei trece la variabilele rămase. Contracția privește norma vectorului de coeficienți, nu fiecare coeficient în parte.

                      Trei dintre variabile sînt exact coliniare: randamentul absolut este \(|r| = r - 2\min(r, 0)\), deci matricea celor 11 variabile are rangul 10. De aceea, OLS nu are o soluție unică pentru coeficienții lui \(r\), \(\min(r, 0)\) și \(|r|\): orice deplasare în direcția acestei identități lasă ajustarea neschimbată, iar valorile raportate sînt soluția de normă minimă. Coeficienții celorlalte opt variabile, inclusiv cel săptămînal, sînt unici. Lasso rezolvă ambiguitatea în felul său, punînd coeficientul lui \(|r|\) egal cu zero.

                      Pe scurt

                      • Ținta: logaritmul mediei variabilei proxy a varianței din următoarele 5 zile, S&P 500, 2008–2012 (1 193 de zile); 11 variabile standardizate (secțiunea 7)
                      • Lasso cu \(\lambda = 0{,}0079\) (CV walk-forward): rămîn 10 din 11 variabile; coeficientul săptămînal crește de la \(+0{,}199\) (OLS) la \(+0{,}283\), iar randamentul absolut iese din model
                      • Matricea variabilelor este exact coliniară, \(|r| = r - 2\min(r, 0)\) (rang 10): coeficienții OLS pentru \(r\), \(\min(r,0)\), \(|r|\) nu sînt unici (afișată: soluția de normă minimă); ceilalți sînt unici
                      SFM_ch13_shrinkage_trees

                      Interpretarea traiectoriilor

                      Slide 29 în PDF

                      Pe graficul din stînga, ridge contractă toți coeficienții lin și împreună, iar variabilele corelate își împart ponderea. Randamentul negativ își păstrează semnul negativ pînă la capăt: scăderile pieței cresc volatilitatea viitoare, ceea ce corespunde efectului de levier din Capitolul 9.

                      Pe graficul din dreapta, lasso introduce variabilele pe rînd, pe măsură ce \(\lambda\) scade. Varianța săptămînală intră prima, deoarece este cea mai informativă variabilă luată singură. La valoarea aleasă a lui \(\lambda\), lasso păstrează structura HAR, cu componentele zilnică, săptămînală și lunară, plus randamentul negativ, cu coeficientul −0,112.

                      Lasso selectează variabile, dar nu le testează. Un coeficient egal cu zero nu este echivalentul unui p-value mare: el arată doar că, la acest \(\lambda\), variabila nu îmbunătățește prognoza suficient pentru a-și plăti penalizarea. Între variabile puternic corelate, alegerea lasso poate fi instabilă de la un eșantion la altul.

                      Pe scurt

                      • Ridge (stînga): toți coeficienții se contractă lin și împreună; variabilele corelate își împart ponderea
                        • randamentul negativ își păstrează semnul negativ pînă la capăt: piețele în scădere cresc volatilitatea viitoare (efectul de levier, Capitolul 9)
                      • Lasso (dreapta): variabilele intră pe rînd pe măsură ce \(\lambda\) scade
                        • varianța săptămînală intră prima: cea mai informativă variabilă luată singură
                        • la \(\lambda\) ales, lasso păstrează structura HAR (zi, săptămînă, lună) plus randamentul negativ, \(-0{,}112\)
                      • Lasso selectează, nu testează: un coeficient zero nu este un p-value

                      Sinteza secțiunii

                      Ridge, (13.2), și lasso stabilizează regresia prin penalizarea coeficienților: ridge contractă toți coeficienții fără a anula vreunul, lasso anulează exact o parte dintre ei. Pe variabilele de volatilitate ale S&P 500, lasso regăsește structura HAR plus efectul de levier. Ambele rămîn modele liniare; secțiunea următoare trece la arbori, care surprind neliniarități și interacțiuni.

                      Arbori de decizie, random forest și gradient boosting

                      Secțiunea construiește arborii de regresie, de la regula de împărțire pînă la un exemplu calculat de mînă și un arbore estimat pe volatilitatea S&P 500. Arată apoi cele două moduri de a combina arbori, media din random forest și secvența din gradient boosting, și le compară pe datele de volatilitate.

                      Arborii de regresie

                      Slide 30 în PDF

                      Un arbore de regresie (regression tree) împarte spațiul variabilelor explicative în dreptunghiuri și prezice, în fiecare dreptunghi, media lui \(y\) din acel dreptunghi. Dreptunghiurile finale se numesc frunze (leaves). Fiecare împărțire folosește o variabilă \(j\) și un prag \(s\): observațiile cu \(x_j \le s\) merg la stînga, cele cu \(x_j > s\) la dreapta.

                      Arborele se estimează lacom (greedy): în fiecare nod se alege perechea \((j, s)\) care minimizează suma pătratelor erorilor (SSE, sum of squared errors),

                      \[\mathrm{SSE} = \sum_{\text{stînga}}(y - \bar y_L)^2 + \sum_{\text{dreapta}}(y - \bar y_R)^2,\]

                      unde \(\bar y_L\) și \(\bar y_R\) sînt mediile lui \(y\) în cele două grupuri, adică cele două prognoze. Procedura se repetă în fiecare jumătate pînă la o regulă de oprire, de exemplu o adîncime maximă sau un număr minim de observații într-o frunză.

                      Arborii surprind efecte neliniare și interacțiuni fără ca acestea să fie specificate dinainte și sînt insensibili la transformările monotone ale variabilelor, deoarece depind doar de ordinea valorilor. Punctul lor slab este varianța mare: o mică schimbare a datelor poate schimba prima împărțire și, prin ea, întregul arbore, ca în simularea din secțiunea 2.

                      Pe scurt

                      • Un arbore de regresie împarte spațiul variabilelor în dreptunghiuri și prezice media lui \(y\) în fiecare frunză
                        • regula de împărțire: o variabilă \(j\) și un prag \(s\): stînga \(x_j \le s\), dreapta \(x_j > s\)
                      • Estimarea greedy: în fiecare nod alegem \((j, s)\) care minimizează \(\mathrm{SSE} = \sum_{\text{stînga}}(y - \bar y_L)^2 + \sum_{\text{dreapta}}(y - \bar y_R)^2\)
                        • SSE: suma pătratelor erorilor; \(\bar y_L\), \(\bar y_R\): mediile lui \(y\) în grupul din stînga și în cel din dreapta (cele două prognoze)
                        • repetăm în fiecare jumătate pînă la o regulă de oprire: adîncimea maximă, numărul minim de observații dintr-o frunză
                      • Puncte tari și puncte slabe
                        • efecte neliniare și interacțiuni fără a le specifica; insensibil la transformările monotone ale lui \(x\)
                        • varianță mare: o mică schimbare a datelor poate schimba tot arborele (secțiunea 2)

                      Exemplu rezolvat: o împărțire, pas cu pas

                      Slide 31 în PDF

                      Exemplul folosește șase săptămîni. Variabila \(x\) este volatilitatea din această săptămînă, în procente, cu valorile 0,6; 0,8; 1,0; 1,5; 2,0; 2,4, iar ținta \(y\) este volatilitatea din săptămîna următoare, cu valorile 0,7; 0,9; 0,8; 1,6; 2,1; 2,2. Fără nicio împărțire, prognoza este media \(\bar y = 1{,}38\), iar SSE este 2,268.

                      Pragurile candidate sînt mijloacele intervalelor dintre valorile consecutive ale lui \(x\): 0,70; 0,90; 1,25; 1,75; 2,20. Pentru fiecare prag se calculează cele două medii și SSE. Pragul 0,70 lasă o singură observație la stînga și dă SSE 1,708; pragul 1,25 separă primele trei săptămîni de ultimele trei, cu frunzele 0,80 și 1,97 și SSE 0,227, cea mai mică valoare din tabel.

                      Cea mai bună împărțire este deci \(s = 1{,}25\). Ea explică \(1 - 0{,}227/2{,}268 = 0{,}90\) din variația țintei: o singură întrebare, „este volatilitatea de acum peste 1,25%?”, separă săptămînile calme de cele agitate. Un arbore mai adînc ar repeta aceeași căutare în fiecare dintre cele două grupuri.

                      Pe scurt

                      \(s\)\(\bar y_L\)\(\bar y_R\)SSE
                      \(0{,}70\)\(0{,}70\)\(1{,}52\)\(1{,}708\)
                      \(0{,}90\)\(0{,}80\)\(1{,}68\)\(1{,}248\)
                      \(1{,}25\)\(0{,}80\)\(1{,}97\)\(0{,}227\)
                      \(1{,}75\)\(1{,}00\)\(2{,}15\)\(0{,}505\)
                      \(2{,}20\)\(1{,}22\)\(2{,}20\)\(1{,}468\)
                      • Șase săptămîni: \(x\) = volatilitatea din această săptămînă (%), \(y\) = cea din săptămîna următoare
                        • \(x\): 0,6; 0,8; 1,0; 1,5; 2,0; 2,4; \(y\): 0,7; 0,9; 0,8; 1,6; 2,1; 2,2
                        • fără împărțire: \(\bar y = 1{,}38\), SSE \(= 2{,}268\)
                      • Candidați: mijloacele intervalelor dintre valorile consecutive ale lui \(x\)
                        • cea mai bună împărțire \(s = 1{,}25\): frunzele \(0{,}80\) și \(1{,}97\), SSE \(= 0{,}227\)
                        • o singură împărțire explică \(1 - 0{,}227/2{,}268 = 0{,}90\) din variație

                      Un arbore de adîncime 2 pentru volatilitatea săptămînii viitoare

                      Slide 32 în PDF

                      Împărțirile candidate (tabelul de pe slide)

                      Exemplu lucrat: alegerea pragului

                      \[\mathrm{SSE}(s) = \sum_{x_t \le s}(y_t - \bar y_L)^2 + \sum_{x_t > s}(y_t - \bar y_R)^2\]
                          Întrebare pentru sală Ce pondere din variație explică pragul s = 1,75, al doilea cel mai bun din tabel?
                          Răspuns

                          0,78 = 1 − 0,505/2,268, față de 0,90 pentru s = 1,25. Pragul 1,75 trece săptămîna cu x = 1,5 (y = 1,6) în frunza din stînga, unde media urcă la 1,00 și abaterile cresc.

                            Întrebare pentru sală ▶ trece la adîncimea 3 (rulare suplimentară). Folosesc toate împărțirile tot log RV săptămînal?
                            Răspuns

                            Nu: 5 din cele 6 împărțiri folosesc log RV săptămînal, una folosește log RV lunar (≤ 0,069), în ramura cu volatilitate săptămînală moderată. Prima împărțire rămîne log RV săptămînal ≤ 0,44, pentru că un arbore greedy nu își revizuiește alegerile de sus.

                            Arborele din grafic este estimat pe S&P 500 în perioada 2008–2012, cu ținta și variabilele exprimate în logaritmul varianței (în %² pe zi). În fiecare nod, value este media țintei pentru observațiile din acel nod, deci prognoza arborelui dacă s-ar opri acolo.

                            Prima împărțire este „log RV săptămînal ≤ 0,44”, unde RV (realised variance) este varianța realizată. Pragul corespunde unei volatilități anuale de aproximativ 19,8%: arborele separă întîi regimul calm de cel agitat. Toate împărțirile folosesc varianța săptămînală, aceeași variabilă pe care lasso a ales-o prima în secțiunea 4.

                            Arborele de adîncime 2 are patru frunze, deci patru niveluri posibile ale prognozei. Este ușor de citit, dar prognoza lui este o funcție în trepte a volatilității curente; random forest și boosting, pe slide-urile următoare, netezesc aceste trepte prin combinarea multor arbori.

                            Pe scurt

                            • S&P 500, 2008–2012, ținta și variabilele în logaritmul varianței (%\(^2\) pe zi); value: media țintei în nod
                            • Interpretare: prima împărțire, log RV săptămînal \(\le 0{,}44\), corespunde unei volatilități anuale de circa 19,8%; toate împărțirile folosesc varianța săptămînală, variabila aleasă prima de lasso
                            SFM_ch13_shrinkage_trees

                            Random forest

                            Slide 33 în PDF

                            Random forest (Breiman, 2001b) face media a \(B\) arbori adînci, fiecare crescut pe un eșantion bootstrap din datele de antrenare, metodă numită bagging (bootstrap aggregating); bootstrap-ul a fost introdus în Capitolul 2. În plus, la fiecare împărțire se încearcă doar o submulțime aleatoare de variabile. Această a doua sursă de aleatorism face arborii mai puțin corelați între ei.

                            Efectul mediei se vede într-un calcul simplu. Dacă fiecare dintre cei \(B\) arbori are varianța \(\sigma^2\) și corelația dintre oricare doi este \(\rho\), atunci

                            \[\mathrm{Var}(\text{media}) = \rho\sigma^2 + (1 - \rho)\frac{\sigma^2}{B}.\]
                            (13.3)

                            Al doilea termen scade cu \(B\), primul nu. Cu \(\rho = 0{,}3\) și \(\sigma^2 = 1\), varianța este 1,000 pentru un arbore, 0,370 pentru 10 arbori și 0,302 pentru 300 de arbori, aproape de pragul \(\rho\sigma^2 = 0{,}3\).

                            Din (13.3) rezultă două concluzii practice. Mai mulți arbori nu produc overfitting, ci doar apropie varianța de prag. Pragul însuși coboară dacă arborii sînt mai puțin corelați, de exemplu încercînd mai puține variabile la fiecare împărțire. Capitolul folosește 300 de arbori, cel puțin 20 de observații într-o frunză și jumătate din variabile încercate la fiecare împărțire.

                            Pe scurt

                            • Breiman (2001b): media a \(B\) arbori adînci, fiecare crescut pe un eșantion bootstrap (Capitolul 2) din datele de antrenare (bagging)
                              • la fiecare împărțire se încearcă doar o submulțime aleatoare de variabile: arborii devin mai puțin corelați
                            • Efectul mediei: \(B\) arbori, fiecare cu varianța \(\sigma^2\) și corelația \(\rho\) între oricare doi
                              • \(\mathrm{Var}(\text{media}) = \rho\sigma^2 + (1 - \rho)\sigma^2/B\): partea \(\rho\sigma^2\), comună tuturor arborilor, nu scade cu \(B\)
                              • cu \(\rho = 0{,}3\), \(\sigma^2 = 1\): \(B = 1\): \(1{,}000\); \(B = 10\): \(0{,}370\); \(B = 300\): \(0{,}302\)
                              • mai mulți arbori nu produc overfitting; arborii mai puțin corelați (mai puține variabile la o împărțire) coboară pragul \(\rho\sigma^2\)
                            • Hiperparametrii folosiți aici: 300 de arbori, cel puțin 20 de observații într-o frunză, jumătate din variabile încercate la fiecare împărțire

                            Gradient boosting

                            Slide 34 în PDF

                            Gradient boosting (Friedman, 2001) construiește modelul pas cu pas, fiecare arbore mic nou învățînd ce au ratat arborii anteriori. Se pornește de la prognoza constantă \(F_0 = \bar y\). La pasul \(m\) se estimează un arbore mic \(h_m\) pe reziduurile \(y_t - F_{m-1}(x_t)\), iar modelul se actualizează:

                            \[F_m = F_{m-1} + \nu\, h_m, \qquad 0 < \nu \le 1,\]

                            unde \(\nu\) este rata de învățare (learning rate). Pentru pierderea pătratică, reziduurile sînt egale cu minus gradientul pierderii în raport cu prognoza; de aici numele metodei, care este o coborîre pe gradient în spațiul funcțiilor.

                            Cele două metode de ansamblu atacă termeni diferiți din (13.1). Random forest folosește arbori adînci, cu deplasare mică, în paralel, iar media le reduce varianța. Boosting folosește arbori mici, cu deplasare mare, în secvență, iar fiecare pas reduce deplasarea. De aceea, la boosting prea mulți pași produc overfitting, în timp ce la random forest nu.

                            Metoda funcționează cu orice pierdere derivabilă, înlocuind reziduurile cu minus gradientul pierderii respective. Cu pierderea cuantilică se obține quantile gradient boosting, folosit pentru VaR în secțiunea 9.

                            Pe scurt

                            • Friedman (2001): construim modelul pas cu pas, fiecare arbore mic nou învățînd ce au ratat cei anteriori
                              • pornim de la \(F_0 = \bar y\); la pasul \(m\) estimăm un arbore mic \(h_m\) pe reziduurile \(y_t - F_{m-1}(x_t)\)
                              • actualizăm \(F_m = F_{m-1} + \nu\, h_m\), cu rata de învățare \(0 < \nu \le 1\)
                              • pentru pierderea pătratică, reziduurile sînt minus gradientul pierderii: de aici numele
                            • Random forest comparat cu boosting
                              • random forest: arbori adînci în paralel; media reduce varianța
                              • boosting: arbori mici în secvență; fiecare pas reduce deplasarea; prea mulți pași produc overfitting
                            • Funcționează orice pierdere derivabilă: pierderea cuantilică dă quantile boosting (secțiunea 9)

                            Un arbore, un random forest și boosting pe date de volatilitate

                            Slide 35 în PDF

                            Exemplu lucrat: varianța unei medii de arbori

                            \[\mathrm{Var}\Big(\frac1B\sum_{b=1}^{B}\hat f_b\Big) = \rho\sigma^2 + \frac{(1 - \rho)\,\sigma^2}{B}\]
                                Întrebare pentru sală ▶ crește B de la 10 la 300, cu ρ = 0,3 și σ² = 1. Cît devine varianța mediei?
                                Răspuns

                                0,302 = 0,3 + 0,7/300, față de 0,370 la B = 10. Partea comună ρσ² = 0,3 nu dispare oricîți arbori am adăuga; pragul coboară doar dacă arborii devin mai puțin corelați.

                                Exemplu lucrat: boosting cu arbori de adîncime 1 pe cele șase săptămîni (calcul suplimentar)

                                \[F_0 = \bar y, \qquad h_m = \arg\min_{h}\sum_t \big(y_t - F_{m-1}(x_t) - h(x_t)\big)^2, \qquad F_m = F_{m-1} + \nu\,h_m\]
                                    Întrebare pentru sală Calcul suplimentar, ν = 0,1: după cîți pași scade SSE de antrenare sub jumătate din 2,268?
                                    Răspuns

                                    După 4 pași: SSE scade la 1,880, 1,566, 1,312 și 1,101. Fiecare pas aplică doar ν = 10% din ajustarea arborelui pe reziduurile curente, deci eroarea scade geometric, nu liniar. După 50 de pași SSE = 0,007: pe datele de antrenare boosting ajunge aproape la zero, de aceea numărul de pași se alege pe validare.

                                      Întrebare pentru sală ▶ reduce pădurea la un singur arbore (B = 1). Cît este MSE de validare la adîncimea 8?
                                      Răspuns

                                      0,670, mai mult decît arborele simplu de aceeași adîncime (0,631) și mult peste 0,458 cu 200 de arbori. Fiecare arbore al pădurii vede un eșantion bootstrap și doar jumătate din variabile la o împărțire, deci singur este mai slab decît un arbore obișnuit; media îi elimină varianța, iar cu 10 arbori MSE este deja 0,478.

                                      Comparația folosește S&P 500, cu antrenare în 2008–2018 (2 698 de zile) și validare în 2019–2022 (1 008 zile). Graficul arată MSE de validare în funcție de adîncime, pentru arborele singur și pentru random forest, și în funcție de numărul de arbori, pentru boosting. Liniile întrerupte din dreapta sînt MSE de antrenare, iar linia punctată este regresia HAR, cu MSE de validare 0,487.

                                      Arborele singur atinge minimul 0,518 la adîncimea 5, peste HAR, iar la adîncimea 14 eroarea lui urcă la 0,819. Random forest atinge 0,458 la adîncimea 8 și rămîne la 0,465 la adîncimea 14, sub HAR la orice adîncime din grafic.

                                      Diferența dintre cele două curbe este efectul mediei din (13.3). Un arbore adînc are varianță mare și intră repede în overfitting; media a 300 de arbori adînci păstrează deplasarea lor mică și elimină cea mai mare parte din varianță.

                                      Pe scurt

                                      • S&P 500, antrenare 2008–2018 (2 698 de zile), validare 2019–2022 (1 008 zile); linii întrerupte în dreapta: MSE de antrenare; punctat: regresia HAR (\(0{,}487\))
                                      • Un singur arbore: minimul \(0{,}518\) la adîncimea 5, \(0{,}819\) la adîncimea 14; random forest: \(0{,}458\) (adîncimea 8) și tot \(0{,}465\) la adîncimea 14
                                      SFM_ch13_shrinkage_trees

                                      Interpretare: media și oprirea timpurie

                                      Slide 36 în PDF

                                      Arborele singur intră repede în overfitting, în timp ce random forest este aproape insensibil la adîncime: media elimină cea mai mare parte din varianța arborilor adînci. În această perioadă de validare, random forest depășește și regresia HAR.

                                      La boosting, eroarea de validare atinge un minim și apoi crește, în timp ce eroarea de antrenare continuă să scadă. Cu rata de învățare 0,3, minimul este 0,457 după 13 arbori, iar după 500 de arbori eroarea urcă la 0,568. Cu rata de învățare 0,03, minimul este 0,451 după 154 de arbori, iar după 500 de arbori eroarea este 0,461. Pașii mici fac eroarea mai puțin sensibilă la numărul exact de arbori.

                                      Oprirea timpurie (early stopping), adică alegerea numărului de arbori pe datele de validare, este deci parte din estimarea boosting. Numărul de arbori din boosting este un hiperparametru; numărul de arbori dintr-un random forest nu este, pentru că mai mulți arbori doar reduc varianța.

                                      Pe scurt

                                      • Arborele singur intră repede în overfitting; random forest este aproape insensibil la adîncime
                                        • media elimină cea mai mare parte din varianța arborilor adînci; random forest depășește HAR în această perioadă de validare
                                      • Boosting: eroarea de validare atinge un minim, apoi crește, în timp ce eroarea de antrenare continuă să scadă
                                        • rata de învățare 0,3: minimul \(0{,}457\) după 13 arbori, \(0{,}568\) după 500 de arbori
                                        • rata de învățare 0,03: minimul \(0{,}451\) după 154 de arbori, \(0{,}461\) după 500 de arbori: pașii mici sînt mai siguri
                                      • Numărul de arbori din boosting este un hiperparametru; numărul de arbori dintr-un random forest nu este

                                      Sinteza secțiunii

                                      Un arbore de regresie împarte datele prin praguri alese lacom și are varianță mare. Random forest reduce varianța prin media arborilor adînci și decorelați, (13.3); gradient boosting reduce deplasarea prin adăugarea secvențială de arbori mici și cere oprire timpurie. Pe volatilitatea S&P 500, random forest și boosting au o eroare de validare sub cea a regresiei HAR, iar arborele singur nu. Secțiunea următoare tratează a treia familie de modele flexibile, rețelele neuronale.

                                      Rețele neuronale

                                      Secțiunea trece de la perceptron la perceptronul multistrat, explică funcțiile de activare, numărul de parametri și antrenarea prin coborîre pe gradient. Aplică apoi rețelele în două Quantlet-uri ale manualului: modelul ARCH cu rețea neuronală pentru GBP/USD și prognoza nivelului cursului USD/JPY.

                                      Perceptronul și perceptronul multistrat (1/2)

                                      Slide 37 în PDF

                                      Unitatea de bază a unei rețele este neuronul: \(h = g(b + w^\top x)\). Neuronul calculează o sumă ponderată a intrărilor \(x\), cu ponderile \(w\) și constanta \(b\) (termenul liber al neuronului), și o trece printr-o funcție de activare (activation function) \(g\). Rezultatul \(h\) este ieșirea neuronului.

                                      Funcția \(g\) este neliniară și fixată dinainte. Neliniaritatea este necesară: o compunere de funcții liniare este tot liniară, astfel încît o rețea de neuroni fără funcție de activare ar fi doar o regresie liniară, oricîte straturi ar avea.

                                      Perceptronul din secțiunea 1 folosește o funcție treaptă, cu valorile 0 sau 1. Rețelele moderne folosesc funcții netede sau liniare pe porțiuni, care permit calculul gradientului: funcția logistică \(1/(1 + e^{-z})\), tangenta hiperbolică tanh și ReLU (rectified linear unit), \(\max(0, z)\).

                                      Pe scurt

                                      • Un neuron: \(h = g(b + w^\top x)\), o sumă ponderată a intrărilor trecută printr-o funcție de activare \(g\)
                                        • \(x\): intrările; \(w\): ponderile lor; \(b\): o constantă (termenul liber al neuronului); \(h\): ieșirea neuronului
                                        • \(g\): o funcție neliniară fixată; fără ea, o rețea de neuroni ar fi doar o regresie liniară
                                      • Funcțiile de activare
                                        • perceptronul folosește o funcție treaptă (0 sau 1)
                                        • rețelele moderne folosesc funcții \(g\) netede sau liniare pe porțiuni: logistică \(1/(1 + e^{-z})\), tanh, ReLU \(\max(0, z)\)

                                      Perceptronul și perceptronul multistrat (2/2)

                                      Slide 38 în PDF

                                      Un perceptron multistrat (MLP, multilayer perceptron) cu un strat ascuns de \(K\) neuroni produce prognoza

                                      \[\hat y = c + \sum_{k=1}^{K} v_k\, g(b_k + w_k^\top x),\]
                                      (13.4)

                                      unde \(w_k\) și \(b_k\) sînt ponderile și constanta neuronului ascuns \(k\), \(v_k\) este ponderea acestui neuron în ieșire, iar \(c\) este constanta ieșirii. Modelul (13.4) este o regresie liniară în \(K\) variabile neliniare \(g(b_k + w_k^\top x)\), dar aceste variabile nu sînt alese de analist: sînt învățate și ele din date.

                                      Numărul de parametri crește repede. Pentru 11 intrări și 16 neuroni, stratul ascuns are \(11 \times 16 = 176\) de ponderi plus 16 constante, adică 192 de parametri, iar ieșirea are \(16 + 1 = 17\); în total, 209 parametri.

                                      Teorema aproximării universale (universal approximation) a lui Hornik, Stinchcombe & White (1989) arată că, avînd suficienți neuroni, un singur strat ascuns aproximează orice funcție continuă pe o mulțime compactă. Teorema garantează flexibilitatea, dar nu spune nimic despre cîte date sînt necesare pentru a estima o asemenea rețea fără overfitting.

                                      Pe scurt

                                      • MLP (multilayer perceptron, perceptron multistrat) cu un strat ascuns de \(K\) neuroni
                                        \[ \hat y = c + \sum_{k=1}^{K} v_k\, g(b_k + w_k^\top x) \]
                                        • \(w_k\), \(b_k\): ponderile și constanta neuronului ascuns \(k\); \(v_k\): ponderea neuronului \(k\) în ieșire; \(c\): constanta ieșirii
                                        • interpretarea: un model liniar în \(K\) variabile neliniare \(g(b_k + w_k^\top x)\), învățate și ele din date
                                      • Numărul de parametri pentru 11 intrări și 16 neuroni
                                        • stratul ascuns: \(11 \times 16\) ponderi \(+ 16\) constante \(= 192\); ieșirea: \(16 + 1 = 17\); în total 209
                                      • Aproximarea universală Hornik, Stinchcombe & White (1989): cu suficienți neuroni, un singur strat ascuns aproximează orice funcție continuă pe o mulțime compactă

                                      O rețea mică și funcțiile ei de activare

                                      Slide 39 în PDF

                                      Exemplu lucrat: numărul de parametri

                                      \[\hat y = c + \sum_{k=1}^{K} v_k\, g(b_k + w_k^\top x), \qquad \#\theta = \underbrace{pK + K}_{\text{strat ascuns}} + \underbrace{K + 1}_{\text{ieșire}}\]
                                          Întrebare pentru sală Cu 11 intrări și K = 32 de neuroni ascunși, cîți parametri are rețeaua?
                                          Răspuns

                                          417 = 11 × 32 + 32 + 32 + 1. Nu se dublează față de 209: fiecare neuron în plus adaugă p + 2 = 13 parametri, iar constanta ieșirii nu depinde de K.

                                            Întrebare pentru sală Pentru z = 4, care funcție de activare are cel mai mare gradient g′(z)?
                                            Răspuns

                                            ReLU: g′(4) = 1. Logistica are g′(4) = 0,018, iar tanh 0,0013: ambele se saturează pentru |z| mare, deci gradientul care trece prin neuron aproape dispare. De aceea rețelele cu ReLU se antrenează mai repede.

                                            Graficul din stînga arată o rețea cu trei intrări HAR, cele trei componente zilnică, săptămînală și lunară ale varianței, cinci neuroni ascunși și o singură ieșire, prognoza. Fiecare linie a diagramei este o pondere estimată; fiecare neuron ascuns combină cele trei intrări într-o variabilă nouă.

                                            Graficul din dreapta compară funcțiile de activare. Funcțiile logistică și tanh se saturează pentru \(|z|\) mare: devin aproape constante, astfel încît derivata lor este aproape zero și antrenarea încetinește. ReLU, \(\max(0, z)\), este liniară pentru \(z > 0\) și nu se saturează în această regiune, motiv pentru care rețelele cu ReLU se antrenează mai repede.

                                            Alegerea funcției de activare contează mai puțin pentru o rețea mică decît pentru una adîncă. Pentru volatilitate, mai important este ca intrările să conțină deja informația relevantă, așa cum o conțin componentele HAR.

                                            Pe scurt

                                            • Stînga: trei intrări HAR, cinci neuroni ascunși, o prognoză; fiecare linie este o pondere
                                            • Dreapta: funcțiile logistică și tanh se saturează pentru \(|z|\) mare; ReLU \(= \max(0, z)\) este liniară pentru \(z > 0\) și se antrenează mai repede
                                            SFM_ch13_neural_networks

                                            Antrenarea unei rețele

                                            Slide 40 în PDF

                                            Pierderea unei rețele se minimizează prin coborîre pe gradient (gradient descent): \(\theta \leftarrow \theta - \eta\,\nabla_\theta L\). Vectorul \(\theta\) conține toate ponderile și constantele, \(\nabla_\theta L\) este gradientul pierderii, iar \(\eta > 0\) este rata de învățare, mărimea pasului. Fiecare pas deplasează \(\theta\) în direcția în care pierderea scade cel mai repede.

                                            Retropropagarea (Rumelhart, Hinton & Williams, 1986) calculează gradientul strat cu strat, aplicînd regula de derivare a funcțiilor compuse de la ieșire spre intrări. O epocă (epoch) este o trecere completă prin datele de antrenare. Adam este o variantă de coborîre pe gradient cu pași adaptivi.

                                            Pierderea unei rețele nu este convexă, astfel încît ponderi inițiale diferite duc la rețele diferite. Capitolul fixează semințele aleatoare și face media a cinci rețele, un ansamblu (ensemble). Împotriva overfitting-ului, intrările și ținta se standardizează cu statisticile de antrenare, ponderile primesc o penalizare \(L_2\), ca la ridge, iar numărul de epoci este fixat. Cu date puține, rețeaua trebuie să fie mică: aici este suficient un strat ascuns cu 16 neuroni.

                                            Pe scurt

                                            • Minimizăm pierderea prin coborîre pe gradient: \(\theta \leftarrow \theta - \eta\,\nabla_\theta L\)
                                              • \(\theta\): toate ponderile și constantele; \(\nabla_\theta L\): gradientul, vectorul derivatelor parțiale ale pierderii; \(\eta > 0\): rata de învățare (mărimea pasului)
                                              • fiecare pas deplasează \(\theta\) în direcția în care pierderea scade cel mai repede
                                              • retropropagarea calculează \(\nabla_\theta L\) strat cu strat, cu regula de derivare a funcțiilor compuse Rumelhart, Hinton & Williams (1986)
                                              • o epocă = o trecere prin datele de antrenare; Adam este o metodă de gradient cu pași adaptivi
                                            • Pierderea nu este convexă: ponderi inițiale diferite dau rețele diferite
                                              • fixăm semințele aleatoare și facem media a cinci rețele (un ansamblu)
                                            • Împotriva overfitting-ului
                                              • standardizăm intrările și ținta cu statisticile de antrenare; o penalizare \(L_2\) a ponderilor (ca la ridge); un număr fix de epoci
                                              • date puține, rețea mică: aici este suficient un strat ascuns cu 16 neuroni

                                            Deep Blue și deep learning

                                            Slide 41 în PDF

                                            În 1997, calculatorul Deep Blue al IBM (International Business Machines) l-a învins pe campionul mondial la șah. Succesul a venit mai ales din căutare și din reguli de evaluare scrise de oameni, nu din învățare din date: Deep Blue aparține mai degrabă inteligenței artificiale clasice decît machine learning-ului.

                                            Învățarea profundă (deep learning), cu rețele de multe straturi antrenate pe volume uriașe de date, domină azi recunoașterea imaginilor și prelucrarea textului. Geoffrey Hinton, unul dintre autorii retropropagării, a primit pentru aceste contribuții Premiul Nobel pentru fizică în 2024.

                                            Condițiile din finanțe sînt diferite. Datele de preț sînt puține în comparație cu milioanele de imagini dintr-un set de antrenare, iar raportul semnal–zgomot este mic. Pentru prognozele financiare, rețelele mici sînt de aceea regula, iar studiul de caz din secțiunea 11 arată că și acolo straturile suplimentare aduc puțin.

                                            Pe scurt

                                            Deep Blue și deep learning IBM Deep Blue, Computer History Museum Foto: Anton Chiang (2011); CC BY 2.0; Wikimedia Commons
                                            Deep Blue și deep learning Geoffrey Hinton, Premiul Nobel pentru fizică 2024 Foto: Arthur Petron (2024); CC BY-SA 4.0; Wikimedia Commons
                                            • 1997: Deep Blue l-a învins pe campionul mondial la șah mai ales prin căutare și reguli de evaluare scrise de oameni, nu prin învățare din date
                                            • Deep learning (multe straturi, volume uriașe de date) domină azi imaginile și textul; la prețurile financiare datele sînt puține și zgomotoase, deci rețelele mici sînt regula

                                            ARCH cu rețea neuronală: modelul din manual (1/2)

                                            Slide 42 în PDF

                                            Manualul Franke, Härdle & Hafner (2019), cap. 19, scrie randamentul ca

                                            \[r_t = f(x_{t-1}) + s(x_{t-1})\,\varepsilon_t,\]

                                            unde \(r_t\) este randamentul zilei \(t\), \(x_{t-1}\) sînt intrările cunoscute la închiderea zilei \(t - 1\), \(f(x_{t-1})\) este media condiționată, \(s^2(x_{t-1})\) este varianța condiționată, iar \(\varepsilon_t\) este un șoc cu media 0 și varianța 1. Atît \(f\), cît și \(s^2\) se estimează prin rețele neuronale.

                                            Modelul ARCH (autoregressive conditional heteroskedasticity) al lui Engle (1982) este un caz particular, cu \(s^2(x) = \omega + \sum_i \alpha_i r_{t-i}^2\), \(\omega > 0\) și \(\alpha_i \ge 0\): varianța este o funcție liniară de pătratele randamentelor trecute. Rețeaua renunță la această formă și lasă datele să determine cum depinde varianța de trecut.

                                            Modelul NN-ARCH (neural-network ARCH) păstrează deci structura medie plus volatilitate din Capitolul 9 și face flexibilă doar forma funcțiilor. Întrebarea este dacă această flexibilitate aduce ceva față de ARCH și GARCH.

                                            Pe scurt

                                            • Franke, Härdle & Hafner (2019), cap. 19: \(r_t = f(x_{t-1}) + s(x_{t-1})\,\varepsilon_t\), cu \(f\) și \(s^2\) estimate prin rețele neuronale
                                              • \(r_t\): randamentul zilei \(t\); \(x_{t-1}\): intrările cunoscute la închiderea zilei \(t - 1\)
                                              • \(f(x_{t-1})\): media condiționată; \(s^2(x_{t-1})\): varianța condiționată; \(\varepsilon_t\): un șoc cu media 0 și varianța 1
                                            • ARCH (Engle (1982)) este cazul particular \(s^2(x) = \omega + \sum_i \alpha_i r_{t-i}^2\)
                                              • \(\omega > 0\), \(\alpha_i \ge 0\): varianța este o funcție liniară de pătratele randamentelor trecute
                                              • rețeaua nu impune nicio formă funcției \(s^2\)

                                            ARCH cu rețea neuronală: modelul din manual (2/2)

                                            Slide 43 în PDF

                                            Quantlet-ul SFEnnarch al manualului aplică modelul cursului GBP/USD. Intrările \(x\) sînt ultimele 3 randamente ale cursului, randamentul obligațiunilor germane pe 10 ani și randamentul aurului. Estimarea are doi pași: o rețea \(\hat f\) pentru medie, cu reziduurile \(e_t = r_t - \hat f(x_{t-1})\), apoi o rețea pentru \(e_t^2\), care dă varianța condiționată \(\hat s^2(x_{t-1})\).

                                            Rețeaua folosită, ca în Quantlet, este o rețea RBF (radial basis function) cu 3 unități. Unitatea \(j\) calculează \(\exp(-\|x - c_j\|^2/s_j^2)\), unde \(c_j\) este centrul ei, obținut prin clustering, \(s_j\) este lățimea ei, iar \(\|x - c_j\|\) este distanța de la \(x\) la centru. Unitatea este aproape 1 cînd \(x\) este lîngă \(c_j\) și aproape 0 departe de el; ieșirea rețelei este o combinație liniară a celor 3 unități.

                                            O problemă tehnică apare la pasul al doilea: nimic din construcția rețelei nu impune \(\hat s^2 > 0\). O rețea pentru varianță are nevoie de un prag minim impus din afară, în timp ce GARCH garantează pozitivitatea prin restricțiile asupra parametrilor săi.

                                            Pe scurt

                                            • Quantlet-ul SFEnnarch: GBP/USD, intrările \(x\) = ultimele 3 randamente, randamentul obligațiunilor germane pe 10 ani, randamentul aurului
                                              • pasul 1: o rețea \(\hat f\) pentru medie; reziduurile \(e_t = r_t - \hat f(x_{t-1})\)
                                              • pasul 2: o rețea pentru \(e_t^2\) dă varianța condiționată \(\hat s^2(x_{t-1})\)
                                            • Rețea RBF (radial basis function, cu funcții de bază radiale) cu 3 unități, ca în Quantlet
                                              • unitatea \(j\): \(\exp(-\|x - c_j\|^2/s_j^2)\); \(c_j\): centrul ei (obținut prin clustering); \(s_j\): lățimea ei; \(\|x - c_j\|\): distanța de la \(x\) la \(c_j\)
                                              • unitatea este aproape de 1 cînd \(x\) este lîngă \(c_j\) și aproape de 0 departe de el; ieșirea: o combinație liniară a celor 3 unități
                                              • nimic nu impune \(\hat s^2 > 0\): o rețea pentru varianță are nevoie de un prag minim, pe care GARCH îl garantează prin restricțiile sale

                                            ARCH cu rețea neuronală pentru GBP/USD

                                            Slide 44 în PDF
                                              Întrebare pentru sală Cu 5 unități RBF în loc de 3 (rulare suplimentară), crește sau scade corelația volatilității rețelei cu GARCH (0,45 cu 3 unități)?
                                              Răspuns

                                              Crește la 0,61, iar maximul rețelei urcă de la 22,0% la 27,6%; cu 2 unități corelația scade la 0,26. Mai multe unități dau o formă mai flexibilă, dar rețeaua vede tot doar ultimele 3 randamente: maximul GARCH de după votul pentru Brexit, 37,3%, rămîne departe.

                                              Graficul folosește date zilnice începînd cu 7 ianuarie 2010, în total 4 048 de zile, și compară volatilitatea anualizată dată de rețeaua RBF cu cea a unui GARCH(1,1) estimat pe aceleași date, cu \(\hat\alpha = 0{,}077\) și \(\hat\beta = 0{,}892\).

                                              În medie, cele două modele sînt de acord: volatilitatea medie este 8,9% pentru rețea și 8,8% pentru GARCH. Traiectoriile lor diferă însă: corelația dintre ele este doar 0,45, iar un MLP mic estimat în locul rețelei RBF dă o corelație asemănătoare, 0,43.

                                              Corelația modestă arată că cele două modele nu spun același lucru despre momentul în care volatilitatea este mare. Slide-ul următor explică diferența printr-un episod concret.

                                              Pe scurt

                                              • Date zilnice din 7 ianuarie 2010 (4 048 de zile); volatilitatea anualizată a rețelei RBF și a modelului GARCH(1,1) (\(\hat\alpha = 0{,}077\), \(\hat\beta = 0{,}892\))
                                              • Volatilitatea medie: rețeaua 8,9%, GARCH 8,8%; corelația celor două traiectorii \(0{,}45\) (un MLP mic: \(0{,}43\))
                                              SFM_ch13_neural_networks

                                              Interpretare: ARCH cu rețea neuronală și GARCH

                                              Slide 45 în PDF

                                              După votul pentru Brexit, volatilitatea GARCH atinge maximul de 37,3% pe 28 iunie 2016, iar cea a rețelei doar 22,0%. Rețeaua vede doar ultimele 3 randamente: un randament mare îi crește varianța timp de 3 zile, apoi efectul dispare. În modelul GARCH(1,1) din Capitolul 9,

                                              \[\sigma_t^2 = \omega + \alpha\,r_{t-1}^2 + \beta\,\sigma_{t-1}^2,\]

                                              termenul \(\beta\,\sigma_{t-1}^2\), cu \(\sigma_{t-1}^2\) varianța condiționată de ieri, transmite tot trecutul cu ponderi care descresc geometric. Volatility clustering are nevoie de memorie, nu doar de flexibilitate.

                                              Rețeaua pentru medie explică 0,08% din variația randamentelor în eșantion: cursurile de schimb sînt aproape un mers aleator, iar partea utilă a modelului NN-ARCH este varianța, ca la GARCH.

                                              Lecția depășește acest exemplu. Variabilele explicative bune, precum mediile HAR din secțiunea 7, care rezumă trecutul pe mai multe orizonturi, contează mai mult decît tipul de rețea. O rețea flexibilă cu intrări sărace nu poate reconstitui informația pe care nu o primește.

                                              Pe scurt

                                              • După votul pentru Brexit, GARCH atinge maximul de 37,3% (28 iunie 2016); rețeaua doar 22,0%
                                                • rețeaua vede doar ultimele 3 randamente: un randament mare îi crește varianța timp de 3 zile, apoi efectul dispare
                                                • GARCH(1,1) (Capitolul 9): \(\sigma_t^2 = \omega + \alpha\,r_{t-1}^2 + \beta\,\sigma_{t-1}^2\), cu \(\sigma_{t-1}^2\) varianța condiționată de ieri
                                                • termenul \(\beta\,\sigma_{t-1}^2\) transmite tot trecutul: volatility clustering are nevoie de memorie, nu doar de flexibilitate
                                              • Rețeaua pentru medie explică \(0{,}08\%\) din randamente în eșantion: cursurile de schimb sînt aproape un mers aleator
                                                • partea utilă a modelului NN-ARCH este varianța, ca la GARCH
                                              • Lecția: variabilele bune (mediile HAR, secțiunea 7) contează mai mult decît tipul de rețea

                                              Prognoza nivelului unui curs de schimb: SFEnnjpyusd

                                              Slide 46 în PDF

                                              Quantlet-ul SFEnnjpyusd al manualului prognozează cursul yen–dolar din ultimele 3 valori, cu o rețea RBF cu 3 unități. Primele 80% din zile servesc pentru antrenare, ultimele 20% pentru test. Aplicarea din capitol folosește USD/JPY din 2000, cu separarea la 21 iunie 2021.

                                              Prognoza nivelului are două capcane. Prima: o serie de niveluri pare previzibilă deoarece \(P_t \approx P_{t-1}\), iar orice model care urmează valoarea de ieri are o eroare mică în termeni absoluți. Reperul corect este de aceea mersul aleator \(\hat P_t = P_{t-1}\) din Capitolul 7. A doua: o rețea cu unități mărginite nu poate extrapola. Nivelurile de test urcă pînă la 163,9 yeni, în timp ce maximul din antrenare a fost 134,9.

                                              Codul original rescalează prognozele de test folosind intervalul de valori al seriei de test, care nu este cunoscut în timp real: un caz de look-ahead bias. Versiunea din capitol folosește intervalul din antrenare, singurul disponibil la momentul prognozei.

                                              Pe scurt

                                              • Quantlet-ul SFEnnjpyusd prognozează cursul yen–dolar din ultimele 3 valori, cu o rețea RBF cu 3 unități
                                                • primele 80% din zile pentru antrenare, ultimele 20% pentru test; aici USD/JPY din 2000, cu separarea la 21 iunie 2021
                                              • Două capcane ale prognozei nivelului
                                                • o serie de niveluri pare previzibilă deoarece \(P_t \approx P_{t-1}\): reperul corect este mersul aleator \(\hat P_t = P_{t-1}\) (Capitolul 7)
                                                • o rețea cu unități mărginite nu poate extrapola: nivelurile de test urcă pînă la 163,9, iar maximul din antrenare a fost 134,9
                                              • Codul original rescalează prognozele de test cu intervalul seriei de test, necunoscut în timp real; aici se folosește intervalul din antrenare

                                              Rețeaua RBF comparată cu mersul aleator

                                              Slide 47 în PDF
                                                Întrebare pentru sală Cu 90% din zile la antrenare (rulare suplimentară), de cîte ori este RMSE de test al rețelei mai mare decît al mersului aleator?
                                                Răspuns

                                                De 13 ori (12,12 față de 0,91 yeni), față de 31 de ori cu 80%. Maximul din antrenare urcă la 151,6, dar testul ajunge la 163,9: rețeaua tot nu poate extrapola dincolo de nivelurile văzute.

                                                Comparația folosește RMSE (root mean squared error), rădăcina erorii pătratice medii, exprimată în yeni. Pe eșantionul de antrenare, rețeaua are RMSE 2,64, iar mersul aleator 0,66. Pe eșantionul de test, rețeaua are 27,56, iar mersul aleator 0,89.

                                                În afara eșantionului, rețeaua este de 31 de ori mai slabă decît regula „mîine = azi”. Diferența uriașă vine din a doua capcană de pe slide-ul anterior: cînd cursul depășește intervalul din antrenare, unitățile RBF se apropie de zero și prognoza rămîne blocată sub nivelurile observate.

                                                Problema nu dispare dacă rețeaua prognozează randamente în locul nivelurilor. Pe randamente, aceeași rețea are un \(R^2\) în afara eșantionului de −0,14%: nu există semnal de învățat, iar o prognoză zero este mai bună.

                                                Pe scurt

                                                • RMSE (root mean squared error, rădăcina erorii pătratice medii) în yeni: antrenare: rețeaua 2,64, mersul aleator 0,66; test: rețeaua 27,56, mersul aleator 0,89
                                                • Interpretare: în afara eșantionului rețeaua este de 31 de ori mai slabă decît „mîine = azi”; pe randamente, aceeași rețea are un \(R^2\) în afara eșantionului de \(-0{,}14\%\)
                                                SFM_ch13_neural_networks

                                                Sinteza secțiunii

                                                Un MLP, (13.4), este o regresie liniară în variabile neliniare învățate din date și se antrenează prin coborîre pe gradient și retropropagare. Modelul NN-ARCH al manualului dă o volatilitate medie apropiată de GARCH, dar, fără memorie lungă, reacționează slab la șocuri precum votul pentru Brexit. Pe nivelul cursului USD/JPY, o rețea este de 31 de ori mai slabă decît mersul aleator. Secțiunea următoare aplică toate modelele într-o comparație riguroasă pentru volatilitate.

                                                Aplicație: prognoza volatilității realizate

                                                Prima aplicație compară modelele capitolului pe ținta cea mai favorabilă lor: volatilitatea săptămînii viitoare. Secțiunea definește ținta și variabilele explicative, reperul HAR și trei instrumente de evaluare, \(R^2\) în afara eșantionului, QLIKE și testul Diebold–Mariano, apoi prezintă rezultatele pentru S&P 500 și Bitcoin, prognozele din două episoade de criză și importanța variabilelor.

                                                Ținta și variabilele explicative (1/2)

                                                Slide 48 în PDF

                                                Fără date intrazilnice, varianța zilnică se estimează din prețurile de deschidere, maxim, minim și închidere, cu variabila proxy din Capitolul 8:

                                                \[v_t = o_t^2 + \tfrac12(u_t - d_t)^2 - (2\ln 2 - 1)c_t^2.\]

                                                Aici \(o_t\) este randamentul logaritmic peste noapte, de la închiderea precedentă la deschidere, iar \(u_t\), \(d_t\), \(c_t\) sînt logaritmii maximului, minimului și închiderii față de deschidere. Ultimii doi termeni formează estimatorul Garman & Klass (1980), care folosește amplitudinea zilei pentru a reduce zgomotul față de randamentul la pătrat.

                                                Ținta este \(y_t = \ln\big(\tfrac15\sum_{j=1}^{5} v_{t+j}\big)\), logaritmul varianței realizate din săptămîna următoare, adică din următoarele cinci zile de tranzacționare. Ea este cunoscută abia la închiderea zilei \(t + 5\), ceea ce face țintele zilelor vecine suprapuse și cere purging-ul din secțiunea 3. Logaritmul apropie distribuția țintei de distribuția Normală și garantează prognoze pozitive după aplicarea funcției exponențiale.

                                                Pe scurt

                                                • Variabila proxy zilnică a varianței din Capitolul 8 (fără date intrazilnice): o estimație a varianței zilei \(t\) din prețurile de deschidere, maxim, minim și închidere
                                                  \[ v_t = o_t^2 + \tfrac12(u_t - d_t)^2 - (2\ln 2 - 1)c_t^2 \]
                                                  • \(o_t\): randamentul logaritmic peste noapte (de la închiderea precedentă la deschidere)
                                                  • \(u_t, d_t, c_t\): logaritmii maximului, minimului și închiderii față de deschidere (termenul Garman–Klass, Garman & Klass (1980))
                                                • Ținta: \(y_t = \ln\big(\tfrac15\sum_{j=1}^{5} v_{t+j}\big)\), logaritmul varianței realizate din săptămîna următoare
                                                  • \(j = 1, \dots, 5\): următoarele cinci zile de tranzacționare; ținta este cunoscută abia la închiderea zilei \(t + 5\)
                                                  • logaritmul apropie ținta de distribuția Normală și face prognozele pozitive după \(\exp\)

                                                Ținta și variabilele explicative (2/2)

                                                Slide 49 în PDF

                                                Variabilele explicative sînt calculate la închiderea zilei \(t\). Setul HAR conține trei variabile: \(\ln v_t\), logaritmul mediei lui \(v\) pe 5 zile (săptămîna) și logaritmul mediei pe 22 de zile (luna). Setul extins are 11 variabile: în plus, 4 laguri ale lui \(\ln v_t\), de la \(\ln v_{t-1}\) la \(\ln v_{t-4}\), media pe 66 de zile, randamentul \(r_t\), partea lui negativă \(\min(r_t, 0)\) și valoarea lui absolută \(|r_t|\).

                                                Variabila \(\min(r_t, 0)\) este egală cu randamentul dacă acesta este negativ și cu 0 în rest. Ea permite scăderilor și creșterilor să aibă efecte diferite asupra volatilității viitoare, adică efectul de levier. Un model liniar cu \(r_t\) și \(\min(r_t, 0)\) are o pantă pentru zilele în creștere și alta pentru zilele în scădere.

                                                Setul extins dă modelelor flexibile ocazia de a găsi informație în plus față de HAR: laguri individuale, un orizont mai lung și asimetrie. Dacă un model depășește HAR, aceste variabile și neliniaritățile dintre ele sînt sursele posibile ale cîștigului.

                                                Pe scurt

                                                • Variabilele explicative la închiderea zilei \(t\)
                                                  • HAR: \(\ln v_t\), logaritmul mediei pe 5 zile (săptămîna) și pe 22 de zile (luna)
                                                  • extinse (11): în plus 4 laguri ale lui \(\ln v_t\) (\(\ln v_{t-1}, \dots, \ln v_{t-4}\)), media pe 66 de zile, \(r_t\), \(\min(r_t, 0)\), \(|r_t|\)
                                                • Notațiile
                                                  • \(r_t\): randamentul logaritmic al zilei \(t\); \(|r_t|\): valoarea lui absolută
                                                  • \(\min(r_t, 0)\): randamentul, dacă este negativ, și 0 în rest; permite scăderilor și creșterilor să aibă efecte diferite (efectul de levier)

                                                Reperul HAR (1/2)

                                                Slide 50 în PDF

                                                Modelul HAR al lui Corsi (2009) explică logaritmul varianței viitoare prin trei componente:

                                                \[y_t = \beta_0 + \beta_d\ln v_t + \beta_w\ln v_t^{(w)} + \beta_m\ln v_t^{(m)} + u_t,\]
                                                (13.5)

                                                unde \(v_t^{(w)}\) și \(v_t^{(m)}\) sînt mediile lui \(v\) pe ultimele 5 zile și pe ultimele 22 de zile, \(\beta_0\) este constanta, \(\beta_d\), \(\beta_w\), \(\beta_m\) sînt ponderile celor trei orizonturi, iar \(u_t\) este eroarea. Modelul se estimează prin OLS.

                                                Cele trei componente corespund unor participanți la piață cu orizonturi diferite: zilnic, săptămînal și lunar. Cu ponderi pozitive pe toate trei, un șoc al volatilității rămîne în media lunară mult după ce a ieșit din cea zilnică, astfel încît se atenuează lent.

                                                Această atenuare lentă imită memoria lungă a volatilității din Capitolul 11, fără parametrii fracționari ai unui model FIGARCH. Un model liniar cu patru coeficienți care reproduce acest fapt stilizat este un reper greu de depășit.

                                                Pe scurt

                                                • Modelul HAR (heterogeneous autoregressive, autoregresiv heterogen) Corsi (2009)
                                                  \[ y_t = \beta_0 + \beta_d\ln v_t + \beta_w\ln v_t^{(w)} + \beta_m\ln v_t^{(m)} + u_t \]
                                                  • \(v_t^{(w)}\), \(v_t^{(m)}\): media lui \(v\) pe ultimele 5 zile (săptămîna) și pe ultimele 22 de zile (luna)
                                                  • \(\beta_0\): constanta; \(\beta_d, \beta_w, \beta_m\): ponderile celor trei orizonturi; \(u_t\): eroarea
                                                • Interpretarea
                                                  • trei orizonturi ale participanților la piață (zilnic, săptămînal, lunar); estimat prin OLS
                                                  • cu ponderi pozitive pe cele trei orizonturi, un șoc al volatilității se atenuează lent
                                                  • un model liniar simplu care imită memoria lungă (Capitolul 11) și este greu de depășit

                                                Reperul HAR (2/2)

                                                Slide 51 în PDF

                                                Întrebarea secțiunii este dacă lasso, random forest, gradient boosting sau un MLP adaugă ceva peste HAR în afara eșantionului. Pe date intrazilnice, studiul amplu al lui Christensen, Siggaard & Veliyev (2023) găsește cîștiguri modeste, venite mai ales din variabilele suplimentare.

                                                Evaluarea folosește schema walk-forward din secțiunea 3, cu reestimare anuală: pentru S&P 500 prognozele încep în 2013, pentru Bitcoin în 2018. Toate modelele primesc aceleași date și aceleași reguli de alegere a hiperparametrilor.

                                                Modelele prognozează logaritmul varianței, \(\hat y_t\), dar evaluarea prin QLIKE cere o prognoză a varianței în niveluri. Transformarea este \(\hat h_t = \exp(\hat y_t + \hat s^2/2)\), unde \(\hat s^2\) este varianța reziduală din antrenare. Dacă eroarea din logaritm este aproximativ Normală, varianța are o distribuție log-Normală, iar media ei este \(\exp(\hat y_t + \hat s^2/2)\); \(\exp(\hat y_t)\) singur ar subestima varianța medie.

                                                Pe scurt

                                                • Întrebarea acestei secțiuni
                                                  • adaugă lasso, random forest, gradient boosting sau un MLP ceva peste HAR în afara eșantionului?
                                                  • un studiu amplu cu date intrazilnice găsește cîștiguri modeste, mai ales din variabile suplimentare Christensen, Siggaard & Veliyev (2023)
                                                • Schema de evaluare: walk-forward din secțiunea 3, reestimare anuală; S&P 500 din 2013, Bitcoin din 2018
                                                  • prognoza varianței \(\hat h_t = \exp(\hat y_t + \hat s^2/2)\), cu \(\hat s^2\) varianța reziduală din antrenare (media log-Normală)
                                                  • \(\hat y_t\): prognoza logaritmului varianței; \(\exp(\hat y_t)\) singur ar subestima varianța medie, de aici termenul \(\hat s^2/2\)

                                                Evaluarea (1/3): \(R^2\) în afara eșantionului

                                                Slide 52 în PDF

                                                \(R^2\) în afara eșantionului (out-of-sample), propus de Campbell & Thompson (2008), compară eroarea pătratică a modelului cu cea a unei prognoze de referință \(\tilde y_t\):

                                                \[R^2_{OOS} = 1 - \frac{\sum_t (y_t - \hat y_t)^2}{\sum_t (y_t - \tilde y_t)^2},\]
                                                (13.6)

                                                unde \(\hat y_t\) este prognoza modelului, iar sumele se calculează doar pe zilele de test. Reperul \(\tilde y_t\) este, în capitol, fie media din antrenare, fie prognoza HAR.

                                                Indicatorul este cel mult 1. O valoare pozitivă înseamnă o eroare pătratică mai mică decît a reperului, una negativă o eroare mai mare. Spre deosebire de \(R^2\) din eșantion, \(R^2_{OOS}\) poate fi negativ, iar valorile negative sînt frecvente cînd modelele flexibile se aplică unor ținte zgomotoase.

                                                Pentru S&P 500, eroarea pătratică a MLP este 0,397, iar cea a HAR este 0,433. Raportul este 0,917, deci \(R^2_{OOS} = 1 - 0{,}917 = +8{,}3\%\): MLP reduce eroarea pătratică a prognozelor HAR cu 8,3%.

                                                Pe scurt

                                                • \(R^2\) în afara eșantionului față de o prognoză de referință \(\tilde y_t\) Campbell & Thompson (2008)
                                                  \[ R^2_{OOS} = 1 - \frac{\sum_t (y_t - \hat y_t)^2}{\sum_t (y_t - \tilde y_t)^2} \]
                                                  • \(\hat y_t\): prognoza modelului; sumele se calculează doar pe zilele de test
                                                  • reperul \(\tilde y_t\): media din antrenare sau HAR
                                                • Interpretarea
                                                  • \(R^2_{OOS} \le 1\); \(R^2_{OOS} > 0\): eroare pătratică mai mică decît a reperului; \(R^2_{OOS} < 0\): mai slab decît reperul
                                                  • spre deosebire de \(R^2\) din eșantion, poate fi negativ
                                                • Pas cu pas, S&P 500, MLP față de HAR
                                                  • \(1 - 0{,}397/0{,}433 = 1 - 0{,}917\), adică \(+8{,}3\%\)

                                                Evaluarea (2/3): QLIKE

                                                Slide 53 în PDF

                                                QLIKE (quasi-likelihood), introdusă în Capitolul 8, este o funcție de pierdere pentru prognozele varianței:

                                                \[L_t = \frac{\mathrm{RV}_t}{\hat h_t} + \ln\hat h_t,\]
                                                (13.7)

                                                unde \(\mathrm{RV}_t\) este varianța realizată din următoarele 5 zile, ținta în niveluri, iar \(\hat h_t\) este prognoza ei. Patton (2011) arată că QLIKE este robustă la folosirea unei variabile proxy zgomotoase în locul varianței adevărate: ordonarea modelelor nu este distorsionată de zgomotul variabilei proxy.

                                                Pentru un \(\mathrm{RV}_t\) dat, pierderea este minimă la \(\hat h_t = \mathrm{RV}_t\), iar un QLIKE mediu mai mic indică prognoze mai bune. Pierderea este însă asimetrică. Pentru \(\mathrm{RV} = 1\), prognoza \(\hat h = 0{,}5\) costă 1,307, iar prognoza \(\hat h = 2\) costă 1,193, deși ambele greșesc cu un factor de 2.

                                                Subestimarea este deci penalizată mai mult decît supraestimarea. Asimetria corespunde costurilor din managementul riscului, unde o volatilitate subestimată duce la capital insuficient și la depășiri ale VaR, adică la eroarea mai costisitoare.

                                                Pe scurt

                                                • QLIKE (Capitolul 8): o funcție de pierdere pentru prognozele varianței, robustă la o variabilă proxy zgomotoasă Patton (2011)
                                                  \[ L_t = \frac{\mathrm{RV}_t}{\hat h_t} + \ln\hat h_t \]
                                                  • \(\mathrm{RV}_t\): varianța realizată din următoarele 5 zile (ținta, în niveluri); \(\hat h_t\): prognoza ei
                                                  • pentru un \(\mathrm{RV}_t\) dat, pierderea este minimă la \(\hat h_t = \mathrm{RV}_t\); un QLIKE mediu mai mic este mai bun
                                                • Asimetria
                                                  • pentru \(\mathrm{RV} = 1\): \(\hat h = 0{,}5\) costă \(1{,}307\), \(\hat h = 2\) costă \(1{,}193\)
                                                  • subestimarea este penalizată mai mult: în managementul riscului, subestimarea volatilității este eroarea costisitoare

                                                Evaluarea (3/3): testul Diebold–Mariano

                                                Slide 54 în PDF

                                                Testul Diebold & Mariano (1995) (DM) întreabă dacă două modele \(A\) și \(B\) au aceeași pierdere așteptată. Pornind de la diferența pierderilor din fiecare zi,

                                                \[d_t = L_t^{A} - L_t^{B}, \qquad \mathrm{DM} = \frac{\bar d}{\sqrt{\widehat{\mathrm{LRV}}/n}},\]
                                                (13.8)

                                                unde \(\bar d\) este media lui \(d_t\) și \(n\) este numărul zilelor de test. Sub ipoteza acurateții egale, statistica DM are aproximativ distribuția Normală standard.

                                                Numitorul folosește varianța pe termen lung (long-run variance) \(\widehat{\mathrm{LRV}}\) a lui \(d_t\), estimată Newey–West cu 5 laguri. Corecția este necesară deoarece țintele suprapuse pe 5 zile fac diferențele de pierdere autocorelate; varianța simplă ar subestima incertitudinea lui \(\bar d\) și ar face testul prea permisiv.

                                                Semnul statisticii arată direcția: DM negativ înseamnă că modelul \(A\) are pierderea mai mică, DM pozitiv că \(B\) este mai bun. Dacă \(|\mathrm{DM}| > 1{,}96\), diferența este semnificativă la pragul de 5%. În tabelul următor, \(A\) este fiecare model de machine learning, iar \(B\) este HAR.

                                                Pe scurt

                                                • Testul Diebold–Mariano Diebold & Mariano (1995): au două modele \(A\) și \(B\) aceeași pierdere așteptată?
                                                  \[ d_t = L_t^{A} - L_t^{B}, \qquad \mathrm{DM} = \frac{\bar d}{\sqrt{\widehat{\mathrm{LRV}}/n}} \sim N(0,1) \text{ la acuratețe egală} \]
                                                  • \(L_t^{A}\), \(L_t^{B}\): pierderile celor două modele în ziua \(t\); \(\bar d\): media lui \(d_t\); \(n\): numărul zilelor de test
                                                  • \(\widehat{\mathrm{LRV}}\): varianța pe termen lung Newey–West a lui \(d_t\) (5 laguri), deoarece țintele suprapuse fac \(d_t\) autocorelat
                                                • Interpretarea
                                                  • DM \(< 0\): \(A\) are pierderea mai mică; DM \(> 0\): \(B\) este mai bun
                                                  • \(|\mathrm{DM}| > 1{,}96\): diferența este semnificativă la 5%

                                                Rezultatele: S&P 500 și Bitcoin

                                                Slide 55 în PDF

                                                Tabelul rezumă prognozele pentru 3 444 de zile de S&P 500, începînd cu 2 ianuarie 2013, și pentru 3 178 de zile de Bitcoin, începînd cu 1 ianuarie 2018. \(R^2_{OOS}\) este exprimat în procente și calculat pe logaritmul varianței, față de media din antrenare și față de HAR; GB înseamnă gradient boosting.

                                                Pentru S&P 500, HAR are deja \(R^2_{OOS}\) de 61,5% față de medie. Lasso și MLP îl depășesc semnificativ: \(R^2_{OOS}\) față de HAR este +7,1% pentru lasso și +8,3% pentru MLP, cu statisticile DM −5,12 și −3,96, ambele cu p-value sub 0,001, iar QLIKE scade de la 0,414 la 0,400 și 0,398. Random forest (+1,0%, p 0,747) și boosting (−2,7%, p 0,308) nu diferă semnificativ de HAR.

                                                Pentru Bitcoin, HAR are \(R^2_{OOS}\) de 44,0% față de medie și niciun model nu îl depășește semnificativ: lasso cîștigă +2,0%, dar cu p-value 0,520. Boosting este semnificativ mai slab decît HAR, cu \(R^2_{OOS}\) −4,2% și DM +2,12 (p 0,034). Cîștigurile, acolo unde există, sînt de cîteva procente, iar ele vin de la modelele cele mai apropiate de HAR: lasso este un HAR extins și penalizat, iar MLP folosește aceleași intrări.

                                                Pe scurt

                                                Model\(R^2_{OOS}\) față de medie\(R^2_{OOS}\) față de HARQLIKEDM față de HAR (p)
                                                S&P 500HAR\(61{,}5\)–\(0{,}414\)–
                                                Lasso\(64{,}2\)\({+7{,}1}\)\(0{,}400\)\({-5{,}12}\) (\(<\) 0,001)
                                                RF\(61{,}9\)\({+1{,}0}\)\(0{,}416\)\({+0{,}32}\) (0,747)
                                                GB\(60{,}4\)\({-2{,}7}\)\(0{,}421\)\({+1{,}02}\) (0,308)
                                                MLP\(64{,}7\)\({+8{,}3}\)\(0{,}398\)\({-3{,}96}\) (\(<\) 0,001)
                                                BitcoinHAR\(44{,}0\)–\(3{,}111\)–
                                                Lasso\(45{,}1\)\({+2{,}0}\)\(3{,}108\)\({-0{,}64}\) (0,520)
                                                RF\(43{,}4\)\({-1{,}2}\)\(3{,}119\)\({+0{,}81}\) (0,418)
                                                GB\(41{,}7\)\({-4{,}2}\)\(3{,}148\)\({+2{,}12}\) (0,034)
                                                MLP\(43{,}8\)\({-0{,}3}\)\(3{,}123\)\({+1{,}10}\) (0,272)
                                                • Prognoze pentru 3 444 de zile (S&P 500, de la 2 ianuarie 2013) și 3 178 de zile (Bitcoin, de la 1 ianuarie 2018); \(R^2_{OOS}\) în %, pe log RV; GB: gradient boosting
                                                • S&P 500: lasso și MLP depășesc semnificativ HAR (\(+7{,}1\%\); \(+8{,}3\%\)); random forest și boosting nu
                                                • Bitcoin: niciun model nu depășește HAR; boosting este semnificativ mai slab (DM \(+2{,}12\))
                                                SFM_ch13_volatility_forecast

                                                Prognozele în perioadele turbulente din 2020 și 2025

                                                Slide 56 în PDF

                                                Exemplu lucrat: o prognoză HAR

                                                \[\hat y_t = \hat\beta_0 + \hat\beta_d\ln v_t + \hat\beta_w\ln v_t^{(w)} + \hat\beta_m\ln v_t^{(m)}, \qquad \hat h_t = \exp(\hat y_t + \hat s^2/2)\]
                                                    Întrebare pentru sală Partiția 2020, ziua cu prognoza HAR maximă (18 martie 2020): este prognoza peste sau sub volatilitatea realizată în următoarele 5 zile?
                                                    Răspuns

                                                    Puțin peste: 69,3% față de 66,1% pe an. Maximul volatilității realizate în 2020, 102,4%, a venit însă înaintea vîrfului prognozei: HAR reacționează după șoc, nu îl anticipează.

                                                    Exemplu lucrat: R² în afara eșantionului

                                                    \[R^2_{OOS} = 1 - \frac{\sum_t (y_t - \hat y_t)^2}{\sum_t (y_t - \tilde y_t)^2}\]
                                                        Întrebare pentru sală ▶ trece la random forest (S&P 500, față de HAR). Cît este R²_OOS?
                                                        Răspuns

                                                        +1,0%: MSE 0,429 față de 0,433. Față de media de antrenare, același model are 61,9%: R²_OOS depinde de reper, iar HAR este un reper mult mai exigent. Testul DM nu separă acest cîștig de zgomot (p = 0,747).

                                                        Exemplu lucrat: pierderea QLIKE

                                                        \[L_t = \frac{\mathrm{RV}_t}{\hat h_t} + \ln\hat h_t\]
                                                            Întrebare pentru sală RV = 1: care prognoză costă mai mult în QLIKE, ĥ = 1/3 sau ĥ = 3?
                                                            Răspuns

                                                            ĥ = 1/3: 3 + ln(1/3) = 1,901, față de 1/3 + ln 3 = 1,432. Subestimarea de trei ori costă mai mult decît supraestimarea de trei ori, deși eroarea pătratică ordonează invers: (1 − 1/3)² = 0,444 și (1 − 3)² = 4.

                                                            Exemplu lucrat: statistica Diebold–Mariano

                                                            \[d_t = L_t^{A} - L_t^{HAR}, \qquad \widehat{\mathrm{LRV}} = \hat\gamma_0 + 2\sum_{j=1}^{q}\Big(1 - \frac{j}{q + 1}\Big)\hat\gamma_j, \qquad \mathrm{DM} = \frac{\bar d}{\sqrt{\widehat{\mathrm{LRV}}/n}}\]
                                                                Întrebare pentru sală ▶ coboară numărul de laguri Newey–West de la 5 la 0. Ce se întîmplă cu statistica DM a MLP față de HAR (S&P 500, −3,96)?
                                                                Răspuns

                                                                Crește în valoare absolută, la −4,61: varianța pe termen lung cu 5 laguri este de 1,35 ori varianța simplă, pentru că țintele pe 5 zile se suprapun și fac d_t autocorelat. Fără corecție testul pare mai sigur decît este; aici concluzia (MLP mai bun) rămîne aceeași.

                                                                Rezultatele în afara eșantionului: R²_OOS pe log RV (%), QLIKE, statistica DM față de HAR (p-value)

                                                                  Întrebare pentru sală ▶ trece la zilele de test din 2020. Mai este MLP semnificativ mai bun decît HAR pe S&P 500 la 5%?
                                                                  Răspuns

                                                                  Da: R²_OOS +7,9%, DM −2,28 (p = 0,023); lasso +7,4%, DM −3,42. Random forest și boosting nu sînt semnificativ mai bune decît HAR în nicio subperioadă: pînă în 2019 au −1,5% și −11,0%, din 2020 +3,5% și +5,8%, cu p peste 0,6.

                                                                    Întrebare pentru sală În 2020, este maximul prognozei random forest peste sau sub maximul volatilității realizate (102% pe an)?
                                                                    Răspuns

                                                                    Mult sub: 53%, față de 69% pentru HAR și 159% pentru MLP. Un random forest prezice medii ale frunzelor din antrenare, deci rămîne sub valorile extreme; MLP și lasso (172%) extrapolează și pot depăși ținta.

                                                                    Graficul arată, pentru S&P 500, volatilitatea realizată anualizată din următoarele 5 zile, \(\sqrt{252\,\mathrm{RV}_t}\), și prognozele HAR, random forest și MLP făcute la închiderea zilei \(t\), în două episoade de criză: martie 2020 și aprilie 2025.

                                                                    Toate modelele reacționează abia după primul șoc. Nicio variabilă explicativă construită din volatilitatea trecută nu poate anunța un salt al volatilității înainte ca acesta să înceapă; modelele se ajustează rapid după prima zi agitată, dar nu o pot anticipa.

                                                                    După șoc, modelele diferă prin modul în care extrapolează. Random forest este limitat de cele mai mari valori văzute în antrenare, pentru că prognoza lui este o medie a unor frunze care conțin observații istorice. MLP nu are această limită și poate depăși ținta în zilele cele mai agitate.

                                                                    Pe scurt

                                                                    • S&P 500: volatilitatea realizată anualizată din următoarele 5 zile, \(\sqrt{252\,\mathrm{RV}_t}\), și prognozele HAR, random forest și MLP făcute la închiderea zilei \(t\)
                                                                    • Interpretare: toate modelele reacționează abia după primul șoc (martie 2020, aprilie 2025); random forest este limitat de cele mai mari valori văzute în antrenare, iar MLP poate depăși ținta
                                                                    SFM_ch13_volatility_forecast

                                                                    Importanța variabilelor: permutare și valori Shapley

                                                                    Slide 57 în PDF

                                                                    Importanța prin permutare (permutation importance) amestecă valorile unei variabile în datele de test și măsoară cu cît crește MSE de test. O creștere mare arată că modelul se bazează pe acea variabilă. Variabilele corelate își împart însă importanța: dacă una este amestecată, modelul poate folosi o alta similară, astfel încît fiecare pare mai puțin importantă decît grupul.

                                                                    Valorile Shapley (Shapley values), din teoria jocurilor, descompun fiecare prognoză: \(\hat f(x) = \phi_0 + \sum_j \phi_j(x)\). Aici \(\phi_0\) este prognoza medie, iar \(\phi_j(x)\) este contribuția variabilei \(j\) la această prognoză: pozitivă dacă variabila ridică prognoza peste medie, negativă dacă o coboară. Contribuția \(\phi_j\) este media modificării lui \(\hat f\) cînd \(j\) se adaugă la fiecare submulțime a celorlalte variabile. SHAP (Shapley additive explanations), al lui Lundberg & Lee (2017), oferă versiuni rapide pentru arbori; pentru un model liniar, \(\phi_j = \beta_j(x_j - \bar x_j)\).

                                                                    Ambele instrumente descriu modelul, nu economia. O variabilă importantă este una pe care modelul o folosește pentru prognoză, ceea ce nu înseamnă că ea cauzează volatilitatea viitoare.

                                                                    Pe scurt

                                                                    • Importanța prin permutare: amestecăm o variabilă în datele de test și măsurăm cu cît crește MSE de test
                                                                      • creștere mare: modelul se bazează pe variabilă; variabilele corelate își împart (și își ascund) importanța
                                                                    • Valorile Shapley (teoria jocurilor): \(\hat f(x) = \phi_0 + \sum_j \phi_j(x)\), \(\phi_j\) este contribuția echitabilă a variabilei \(j\) la prognoză
                                                                      • \(\phi_0\): prognoza medie; \(\phi_j(x) > 0\): variabila \(j\) ridică această prognoză peste medie, \(\phi_j(x) < 0\): o coboară
                                                                      • \(\phi_j\) este media modificării lui \(\hat f\) cînd \(j\) se adaugă la fiecare submulțime a celorlalte variabile
                                                                      • SHAP (Shapley additive explanations) Lundberg & Lee (2017): versiuni rapide pentru arbori; pentru un model liniar \(\phi_j = \beta_j(x_j - \bar x_j)\)
                                                                    • Ambele descriu modelul, nu economia: importanța nu înseamnă cauzalitate

                                                                    Variabilele folosite de random forest

                                                                    Slide 58 în PDF

                                                                    Importanța prin permutare (10 amestecări) și media |φ| (random forest pe cele 3 variabile HAR)

                                                                      Întrebare pentru sală ▶ afișează doar log RV zilnic. Este intervalul valorilor Shapley mai larg sau mai îngust decît la log RV săptămînal?
                                                                      Răspuns

                                                                      Mai îngust: φ zilnic între −0,32 și 0,35, față de −0,66 și 2,25 pentru săptămînă; media |φ| este 0,13, față de 0,52. Pădurea se bazează pe varianța săptămînală, care conține deja o parte din informația zilei.

                                                                      Graficul din stînga arată importanța prin permutare pentru un random forest pe cele 11 variabile, antrenat pînă în 2019 și testat în 2020–2026, pe 1 682 de zile. Amestecarea varianței săptămînale crește MSE de test cu 0,201, a celei lunare cu 0,053, iar a celei zilnice cu 0,034. Celelalte variabile contează mult mai puțin.

                                                                      Graficul din dreapta folosește valorile Shapley exacte ale unui random forest pe cele 3 variabile HAR. Media lui \(|\phi|\) este 0,52 pentru componenta săptămînală, 0,13 pentru cea lunară și 0,13 pentru cea zilnică. Efectul componentei săptămînale este neliniar și crește cu nivelul volatilității.

                                                                      Cele două metode și cele trei modele din capitol, lasso, arborele de adîncime 2 și random forest, ajung la aceeași concluzie: varianța săptămînală este variabila principală. Random forest adaugă o formă neliniară a acestei dependențe, dar nu o sursă nouă de informație.

                                                                      Pe scurt

                                                                      • Stînga: random forest pe 11 variabile, antrenat pînă în 2019, testat în 2020–2026 (1 682 de zile): amestecarea varianței săptămînale crește MSE cu \(0{,}201\), a celei lunare cu \(0{,}053\), a celei zilnice cu \(0{,}034\)
                                                                      • Dreapta: valorile Shapley exacte ale unui random forest pe cele 3 variabile HAR; media \(|\phi|\): săptămîna \(0{,}52\), luna \(0{,}13\), ziua \(0{,}13\); efectul este neliniar și crește cu nivelul volatilității
                                                                      SFM_ch13_volatility_forecast

                                                                      Sinteza secțiunii

                                                                      HAR, (13.5), este un reper puternic pentru volatilitate. Evaluat prin \(R^2_{OOS}\), (13.6), QLIKE, (13.7), și testul Diebold–Mariano, (13.8), pe S&P 500 lasso și MLP îl depășesc semnificativ cu 7,1% și 8,3%, iar random forest și boosting nu; pe Bitcoin niciun model nu îl depășește. Toate modelele reacționează abia după primul șoc al unei crize, iar varianța săptămînală domină importanța variabilelor. Secțiunea următoare aplică aceleași metode unei ținte cu mult mai puțin semnal, semnul randamentului.

                                                                      Aplicație: semnul randamentului de mîine

                                                                      A doua aplicație este o problemă de clasificare: prognoza direcției randamentului de mîine. Secțiunea definește ținta și modelele, stabilește reperul corect, clasa majoritară, și un test față de acesta, apoi compară acuratețea modelelor pentru S&P 500, BET și Bitcoin.

                                                                      O problemă de clasificare

                                                                      Slide 59 în PDF

                                                                      Ținta este \(y_t = \mathbf{1}\{r_{t+1} > 0\}\), unde \(\mathbf{1}\{\cdot\}\) este funcția indicator, egală cu 1 dacă afirmația este adevărată și cu 0 în caz contrar; \(y_t = 1\) înseamnă că randamentul de mîine este pozitiv. Variabilele explicative, calculate la închiderea zilei \(t\), sînt ultimele 5 randamente, sumele randamentelor pe 5, 21 și 63 de zile și volatilitatea pe 21 și 63 de zile.

                                                                      Modelele sînt regresia logit din Capitolul 12 și clasificatorii random forest și gradient boosting, estimați cu schema walk-forward și reestimare anuală. Datele sînt S&P 500 și BET (Bucharest Exchange Trading), indicele de referință al Bursei de Valori București (BVB), din 2008, și Bitcoin din 2018. Indicatorii, definiți în Capitolul 12, sînt acuratețea, ponderea zilelor cu semnul prognozat corect, și AUC (area under the ROC curve), aria de sub curba ROC (receiver operating characteristic), pentru care 0,5 înseamnă nicio capacitate de ordonare.

                                                                      Așteptările sînt modeste din motive teoretice. Eficiența în formă slabă din Capitolul 7 spune că orice tipar sigur din randamentele trecute ar fi exploatat prin tranzacționare și ar dispărea. Un model care găsește totuși un asemenea tipar trebuie verificat cu atît mai atent.

                                                                      Pe scurt

                                                                      • Ținta: \(y_t = \mathbf{1}\{r_{t+1} > 0\}\); variabilele la închiderea zilei \(t\): ultimele 5 randamente, sumele pe 5, 21 și 63 de zile, volatilitatea pe 21 și 63 de zile
                                                                        • \(\mathbf{1}\{\cdot\}\): indicatorul, egal cu 1 dacă afirmația este adevărată și cu 0 în caz contrar; \(y_t = 1\): randamentul de mîine este pozitiv
                                                                        • modele: logit (Capitolul 12), clasificatori random forest și gradient boosting; walk-forward, reestimare anuală
                                                                        • S&P 500 și BET din 2008, Bitcoin din 2018
                                                                      • Indicatori (definiți în Capitolul 12)
                                                                        • acuratețea: ponderea zilelor cu semnul corect; AUC (aria de sub curba ROC): 0,5 înseamnă nicio capacitate de ordonare
                                                                      • Motivul unor așteptări modeste: eficiența în formă slabă (Capitolul 7)
                                                                        • orice tipar sigur din randamentele trecute ar dispărea prin tranzacționare

                                                                      Reperul clasei majoritare

                                                                      Slide 60 în PDF

                                                                      Reperul pentru clasificare este clasa majoritară (majority class): se prognozează mereu clasa mai frecventă din eșantionul de antrenare, aici „creștere”. Pentru S&P 500 din 2008, 54,4% din zile sînt în creștere, deci regula „mereu creștere” are dreptate în 54,4% din zile. O acuratețe de 53% pare o abilitate, fiind peste 50%, dar față de acest reper este o pierdere.

                                                                      Diferența față de reper se testează cu statistica

                                                                      \[z = \frac{\widehat{\mathrm{acc}} - \mathrm{acc}_0}{\sqrt{\mathrm{acc}_0(1 - \mathrm{acc}_0)/n}},\]

                                                                      unde \(\widehat{\mathrm{acc}}\) este acuratețea modelului, \(\mathrm{acc}_0\) acuratețea reperului, iar \(n\) numărul zilelor de test. Dacă modelul nu are un avantaj real, \(z\) are aproximativ distribuția Normală standard. Pentru S&P 500, cu \(n = 4\,705\), eroarea standard este 0,73 puncte procentuale, deci banda de 95% în jurul reperului are o lățime de ±1,4 puncte.

                                                                      Random forest are o acuratețe de 53,1%, cu \(z = -1{,}79\) (p 0,074), iar boosting 52,1%, cu \(z = -3{,}19\) (p 0,001): boosting este semnificativ mai slab decît regula „mereu creștere”. Pentru prognozele randamentelor înseși, reperul corespunzător este prognoza zero sau media istorică (Welch & Goyal, 2008).

                                                                      Pe scurt

                                                                      • Reperul clasei majoritare: prognozăm mereu clasa mai frecventă din eșantionul de antrenare (aici: „creștere”)
                                                                        • S&P 500 din 2008: 54,4% din zile sînt în creștere, deci „mereu creștere” are dreptate în 54,4% din zile
                                                                        • o acuratețe de 53% pare o abilitate; față de acest reper este o pierdere
                                                                      • Testul față de reper: \(z = (\widehat{\mathrm{acc}} - \mathrm{acc}_0)/\sqrt{\mathrm{acc}_0(1 - \mathrm{acc}_0)/n}\)
                                                                        • \(\widehat{\mathrm{acc}}\): acuratețea modelului; \(\mathrm{acc}_0\): acuratețea reperului; \(n\): zilele de test; \(z \approx N(0,1)\) dacă modelul nu are un avantaj real
                                                                        • S&P 500, \(n = 4\,705\): eroarea standard 0,73 puncte; o bandă de 95% de \(\pm\)1,4 puncte în jurul reperului
                                                                        • random forest: 53,1%, \(z = -1{,}79\) (p 0,074); boosting: 52,1%, \(z = -3{,}19\) (p 0,001)
                                                                      • Pentru randamente, reperul corespunzător este prognoza zero sau media istorică Welch & Goyal (2008)

                                                                      Acuratețea față de reper

                                                                      Slide 61 în PDF

                                                                      Exemplu lucrat: testul față de reper

                                                                      \[z = \frac{\widehat{\mathrm{acc}} - \mathrm{acc}_0}{\sqrt{\mathrm{acc}_0(1 - \mathrm{acc}_0)/n}} \approx N(0, 1)\]
                                                                          Întrebare pentru sală BET în loc de S&P 500, random forest: cît este statistica z față de reper?
                                                                          Răspuns

                                                                          −0,21 (53,6% față de 53,8%, p = 0,84). Pe S&P 500 random forest are z = −1,79, pe Bitcoin −0,99: pe nicio piață un model nu este semnificativ mai bun decît „mereu creștere”.

                                                                            Întrebare pentru sală ▶ testează doar pînă în 2012 (5 ani). Este vreun model semnificativ mai slab decît reperul pe S&P 500?
                                                                            Răspuns

                                                                            Da: gradient boosting, −3,9 puncte, z = −2,77; logit și random forest au z = −1,36 și −1,30. Banda de 95% este mai largă cu mai puține zile, totuși boosting rămîne în afara ei: modelul învață tipare din zgomotul anilor de antrenare.

                                                                            Graficul arată, pentru fiecare piață și fiecare model, acuratețea minus acuratețea reperului, în puncte procentuale. Banda gri cuprinde ±1,96 erori standard în jurul lui zero: un model aflat în bandă nu diferă semnificativ de regula „mereu creștere”.

                                                                            AUC confirmă imaginea. Pentru logit și random forest, AUC este 0,511 și 0,507 pe S&P 500, 0,533 și 0,533 pe BET, 0,515 și 0,519 pe Bitcoin. Toate valorile sînt foarte aproape de 0,5, adică modelele aproape nu ordonează zilele după probabilitatea de creștere.

                                                                            Logit prognozează „creștere” în 86% din zilele S&P 500. Probabilitățile estimate de el sînt aproape constante, puțin peste 0,5, astfel încît logit se comportă aproape ca reperul. Aceasta explică de ce el pierde puțin față de reper, iar modelele flexibile pierd mai mult.

                                                                            Pe scurt

                                                                            • Acuratețea minus acuratețea reperului (puncte procentuale); banda: \(\pm 1{,}96\) erori standard în jurul lui zero
                                                                            • AUC pentru logit și pentru random forest: S&P 500 0,511 și 0,507, BET 0,533 și 0,533, Bitcoin 0,515 și 0,519; logit prognozează „creștere” în 86% din zilele S&P 500
                                                                            SFM_ch13_sign_prediction

                                                                            Interpretare: limitele prognozei semnului

                                                                            Slide 62 în PDF

                                                                            Pe nicio piață, niciun model nu este semnificativ superior regulii „mereu creștere”, iar modelele flexibile sînt mai slabe decît logit. Pe S&P 500, diferențele față de reper sînt −0,6 puncte pentru logit, −1,3 pentru random forest și −2,3 pentru boosting; pe Bitcoin, +0,1 pentru logit și −0,9 pentru random forest.

                                                                            Explicația este raportul semnal–zgomot foarte mic al randamentelor zilnice. În termenii descompunerii (13.1), aproape toată eroarea este zgomot. Modelele flexibile găsesc tipare în zgomotul anilor de antrenare, ca în secțiunea 2, și le aplică unor ani în care tiparele nu mai există; logit rămîne aproape de reper tocmai pentru că aproape nu se mișcă.

                                                                            Chiar și un avantaj real de un punct procentual ar rămîne rareori profitabil: o strategie zilnică bazată pe semn tranzacționează foarte des, iar costurile de tranzacționare ar consuma cîștigul. Cîștigurile documentate ale machine learning-ului în prognoza randamentelor provin din secțiuni transversale mari, pe orizonturi lunare, nu dintr-un singur indice pentru ziua următoare, așa cum arată studiul de caz din secțiunea 11.

                                                                            Pe scurt

                                                                            • Pe nicio piață, niciun model nu este semnificativ superior regulii „mereu creștere”; modelele flexibile sînt mai slabe decît logit
                                                                              • S&P 500: logit \(-0{,}6\), random forest \(-1{,}3\), boosting \(-2{,}3\) puncte; Bitcoin: logit \(+0{,}1\), random forest \(-0{,}9\)
                                                                            • Raportul semnal–zgomot al randamentelor zilnice este foarte mic
                                                                              • modelele flexibile găsesc tipare în zgomotul anilor de antrenare (secțiunea 2); logit este aproape de reper deoarece aproape nu se mișcă
                                                                            • Chiar și un avantaj real de un punct procentual ar rămîne rareori profitabil după costurile de tranzacționare: o strategie zilnică bazată pe semn tranzacționează foarte des
                                                                              • cîștigurile aduse de machine learning în prognoza randamentelor provin din secțiuni transversale mari, pe orizonturi lunare, nu dintr-un singur indice pentru ziua următoare (secțiunea 11)

                                                                            Sinteza secțiunii

                                                                            Prognoza semnului randamentului de mîine se judecă față de regula clasei majoritare, care pentru S&P 500 are dreptate în 54,4% din zile. Niciun model, pe nicio piață, nu este semnificativ superior acestei reguli; AUC rămîne aproape de 0,5, iar modelele flexibile sînt mai slabe decît logit. Secțiunea următoare revine la risc, cu prognoza unei cuantile.

                                                                            Aplicație: VaR 1% prin metode cuantilice

                                                                            A treia aplicație prognozează VaR 1% direct ca o cuantilă condiționată. Secțiunea introduce regresia cuantilică și pierderea cuantilică, varianta ei cu arbori în boosting și le compară prin backtesting cu simularea istorică și cu GARCH-t pe S&P 500 și Bitcoin.

                                                                            Regresia cuantilică (1/2)

                                                                            Slide 63 în PDF

                                                                            Regresia cuantilică (quantile regression) a lui Koenker & Bassett (1978) estimează cuantila condiționată de ordin \(\alpha\), \(q_\alpha(x) = x^\top\beta_\alpha\). Cuantila \(q_\alpha(x)\) este nivelul sub care \(y\) se află cu probabilitatea \(\alpha\), condiționat de \(x\), iar coeficienții \(\beta_\alpha\) sînt specifici nivelului \(\alpha\): aceeași variabilă poate avea efecte diferite asupra cozii și asupra centrului distribuției.

                                                                            Estimarea minimizează pierderea cuantilică. Pentru o eroare \(u = y - q\),

                                                                            \[\rho_\alpha(u) = u\,(\alpha - \mathbf{1}\{u < 0\}).\]
                                                                            (13.9)

                                                                            O observație aflată sub cuantilă (\(u < 0\)) costă \((1 - \alpha)|u|\), iar una aflată deasupra costă \(\alpha|u|\). Pentru \(\alpha = 0{,}5\) cele două costuri sînt egale și se obține regresia medianei.

                                                                            Cu \(\alpha = 0{,}01\), observațiile de sub cuantilă sînt de 99 de ori mai scumpe decît cele de deasupra. Minimul pierderii medii se atinge atunci cînd aproximativ 1% din observații se află sub \(q\), adică exact proprietatea care definește cuantila de 1%.

                                                                            Pe scurt

                                                                            • Koenker & Bassett (1978): estimăm cuantila condiționată de ordin \(\alpha\), \(q_\alpha(x) = x^\top\beta_\alpha\), minimizînd pierderea cuantilică (pinball loss)
                                                                              • \(q_\alpha(x)\): nivelul sub care \(y\) se află cu probabilitatea \(\alpha\), condiționat de \(x\); \(\beta_\alpha\): coeficienți specifici nivelului \(\alpha\)
                                                                            • Pierderea pentru o eroare \(u = y - q\):
                                                                              \[ \rho_\alpha(u) = u\,(\alpha - \mathbf{1}\{u < 0\}) \]
                                                                              • sub cuantilă (\(u < 0\)) eroarea costă \((1 - \alpha)|u|\), deasupra ei \(\alpha|u|\)
                                                                              • cu \(\alpha = 0{,}01\), minimul se atinge cînd aproximativ 1% din observații se află sub \(q\)

                                                                            Regresia cuantilică (2/2)

                                                                            Slide 64 în PDF

                                                                            Cu \(\alpha = 0{,}01\) și \(q = -\mathrm{VaR}\), pierderea (13.9) devine pierderea cuantilică medie din Capitolul 10: \((\alpha - I_t)(r_t + \mathrm{VaR}_t)\), unde \(I_t = 1\) dacă \(r_t < -\mathrm{VaR}_t\), adică dacă are loc o depășire, și 0 în rest. Aceeași funcție servește deci și la estimare, și la evaluarea prognozelor VaR.

                                                                            VaR 1% pentru ziua \(t + 1\) este \(\widehat{\mathrm{VaR}}_t = -\hat q_{0{,}01}(x_t)\), cu variabilele explicative \(x_t\): volatilitatea zilnică, săptămînală și lunară, calculate ca rădăcini ale variabilei proxy, și randamentul \(r_t\). Nu se presupune nicio distribuție a randamentelor: datele aleg cum se transformă volatilitatea în coada de 1%. CAViaR (Engle & Manganelli, 2004) este o versiune dinamică a acestei idei, în care cuantila de ieri intră în ecuația cuantilei de azi.

                                                                            Quantile gradient boosting (QGB) folosește aceeași pierdere, cu arbori adăugați în boosting ca în secțiunea 5. Este mai flexibil decît regresia liniară, dar la nivelul de 1% fiecare frunză vede puține observații din coadă, astfel încît varianța estimării este mare.

                                                                            Pe scurt

                                                                            • Cu \(\alpha = 0{,}01\) și \(q = -\mathrm{VaR}\): pierderea cuantilică medie din Capitolul 10
                                                                              • \((\alpha - I_t)(r_t + \mathrm{VaR}_t)\), cu \(I_t = 1\) dacă \(r_t < -\mathrm{VaR}_t\) (o depășire) și 0 în rest
                                                                            • VaR 1% pentru ziua \(t + 1\): \(\widehat{\mathrm{VaR}}_t = -\hat q_{0{,}01}(x_t)\), cu \(x_t\) = volatilitatea zilnică, săptămînală și lunară (rădăcinile variabilei proxy) și \(r_t\)
                                                                              • nu presupunem nicio distribuție: datele aleg cum se transformă volatilitatea în coadă; CAViaR Engle & Manganelli (2004) este o versiune dinamică
                                                                            • Quantile gradient boosting: aceeași pierdere, cu arbori în boosting (secțiunea 5)
                                                                              • flexibil, dar la 1% fiecare frunză vede puține observații din coadă: varianță mare

                                                                            Backtesting pentru VaR 1%: metode cuantilice, HS și GARCH-t (1/2)

                                                                            Slide 65 în PDF

                                                                            Tabelul compară patru metode. QR este regresia cuantilică liniară, iar QGB este quantile gradient boosting. Reperele sînt simularea istorică (HS, historical simulation) pe 500 de zile și un GARCH-t, reestimat în fiecare ianuarie, ambele din Capitolul 10.

                                                                            Coloana \(x\) dă numărul depășirilor, zilele cu \(r_{t+1} < -\widehat{\mathrm{VaR}}_t\), în cele \(n\) zile de test, iar rata este \(x/n\), cu ținta 1%. „p Kupiec” este p-value-ul testului lui Kupiec (1995) pentru rata depășirilor, iar „p ind.” este p-value-ul testului de independență al lui Christoffersen (1998). Pierderea cuantilică medie, înmulțită cu 100, măsoară calitatea prognozelor ca un tot (mai mică este mai bună), iar „VaR mediu” este media VaR 1%, în procente.

                                                                            Pe S&P 500, QR are 28 de depășiri, o rată de 0,81% și cea mai mică pierdere, 3,38; GARCH-t are 52 de depășiri, o rată de 1,51% și p Kupiec 0,005. Pe Bitcoin, HS are 32 de depășiri, o rată de 1,01%, iar QGB are 47 de depășiri, cu rata 1,48%. VaR mediu variază între 2,42% (GARCH-t) și 2,97% (HS) pentru S&P 500 și între 8,52% (GARCH-t) și 10,46% (QR) pentru Bitcoin.

                                                                            Pe scurt

                                                                            Metoda\(x\)rata (%)p Kupiecp ind.pierdere \(\times 100\)VaR mediu
                                                                            S&P 500QR28\(0{,}81\)0,2520,020\(3{,}38\)\(2{,}70\)
                                                                            QGB42\(1{,}22\)0,2130,015\(3{,}51\)\(2{,}46\)
                                                                            HS46\(1{,}33\)0,061\(<\) 0,001\(4{,}78\)\(2{,}97\)
                                                                            GARCH-t52\(1{,}51\)0,0050,008\(3{,}50\)\(2{,}42\)
                                                                            BitcoinQR23\(0{,}72\)0,0980,563\(13{,}03\)\(10{,}46\)
                                                                            QGB47\(1{,}48\)0,0120,235\(13{,}19\)\(8{,}86\)
                                                                            HS32\(1{,}01\)0,9740,332\(13{,}01\)\(9{,}30\)
                                                                            GARCH-t41\(1{,}29\)0,1170,558\(13{,}15\)\(8{,}52\)
                                                                            • Coloanele
                                                                              • \(x\): numărul depășirilor (\(r_{t+1} < -\widehat{\mathrm{VaR}}_t\)) în cele \(n\) zile de test; rata \(= x/n\), ținta 1%
                                                                              • p Kupiec: p-value-ul testului Kupiec al ratei; p ind.: p-value-ul testului de independență Christoffersen (Capitolul 10)
                                                                              • pierdere \(\times 100\): pierderea cuantilică medie (mai mică este mai bună); VaR mediu: media VaR 1%, în %
                                                                            • Metodele
                                                                              • QR: regresie cuantilică liniară; QGB: quantile gradient boosting
                                                                              • HS: simulare istorică pe 500 de zile; GARCH-t: reestimat în fiecare ianuarie (Capitolul 10)
                                                                            SFM_ch13_quantile_var

                                                                            Backtesting pentru VaR 1%: metode cuantilice, HS și GARCH-t (2/2)

                                                                            Slide 66 în PDF

                                                                            Pe S&P 500, cu 3 448 de zile de test începînd cu 2 ianuarie 2013, regresia cuantilică are o rată a depășirilor compatibilă cu 1% (0,81%) și cea mai mică pierdere cuantilică. Depășirile ei nu sînt complet independente: p-value-ul testului de independență este 0,020. GARCH-t este depășit prea des, în 1,51% din zile, iar testul Kupiec îl respinge.

                                                                            Pe Bitcoin, cu 3 182 de zile de test, simularea istorică are cea mai bună rată, 1,01%. Quantile gradient boosting este respins de testul Kupiec, cu rata 1,48% și p-value 0,012: flexibilitatea lui nu compensează numărul mic de observații din coadă.

                                                                            Citirea p-value-urilor urmează Capitolul 10. Un p Kupiec sub 0,05 arată că rata depășirilor diferă semnificativ de 1%. Un p ind. sub 0,05 arată că depășirile apar grupat, adică VaR reacționează prea lent la creșterile de volatilitate și lasă să treacă mai multe depășiri în zile consecutive.

                                                                            Pe scurt

                                                                            • S&P 500 (3 448 de zile de la 2 ianuarie 2013): QR are rata corectă (0,81%) și cea mai mică pierdere
                                                                              • depășirile lui nu sînt complet independente (p ind. 0,020)
                                                                              • GARCH-t este depășit prea des (1,51%)
                                                                            • Bitcoin (3 182 de zile): HS are cea mai bună rată (1,01%)
                                                                              • QGB este respins de testul Kupiec (1,48%, p 0,012)
                                                                            • Interpretarea p-value-urilor
                                                                              • p Kupiec sub 0,05: rata depășirilor diferă semnificativ de 1%
                                                                              • p ind. sub 0,05: depășirile apar grupat, deci VaR reacționează prea lent

                                                                            Prognozele VaR 1% în 2020 și 2025

                                                                            Slide 67 în PDF

                                                                            Exemplu lucrat: pierderea cuantilică pe randamentele S&P 500

                                                                            \[\rho_\alpha(u) = u\,(\alpha - \mathbf{1}\{u < 0\}), \qquad u = y - q, \qquad \hat q = \arg\min_q \frac1n\sum_t \rho_\alpha(y_t - q)\]
                                                                                Întrebare pentru sală Cu α = 0,05, ce prognoză constantă q minimizează pierderea medie pe randamentele de test ale S&P 500?
                                                                                Răspuns

                                                                                q = −1,59%, cuantila empirică de 5%: 4,99% din zile se află sub ea. Pentru α = 0,01 minimul este la −3,07% (0,99% din zile sub el). Media randamentelor, 0,05%, minimizează eroarea pătratică, nu pierderea cuantilică.

                                                                                Backtesting pentru VaR 1% (tabelul de pe slide)

                                                                                  Întrebare pentru sală ▶ trece la zilele de test din 2020. Respinge testul Kupiec la 5% rata depășirilor GARCH-t pe S&P 500?
                                                                                  Răspuns

                                                                                  Da: 1,60% (27 din 1686 de zile), p = 0,022. QR are 0,71% (p = 0,21), iar depășirile HS apar grupat (p ind. 0,005). Pentru Bitcoin din 2020, QR este depășit prea rar: 0,45%, p Kupiec 0,002.

                                                                                    Întrebare pentru sală În 2025 (pînă în septembrie), care metodă are cele mai multe depășiri pe S&P 500?
                                                                                    Răspuns

                                                                                    HS: 5 depășiri, față de 4 pentru GARCH-t și cîte 1 pentru QR și QGB. După 500 de zile liniștite, simularea istorică intră în aprilie 2025 cu un VaR prea mic și reacționează lent.

                                                                                    Graficul arată, pentru S&P 500, randamentele zilei următoare și minus VaR 1% pentru cele patru metode, în 2020 și 2025; punctele marchează depășirile VaR obținut prin regresie cuantilică.

                                                                                    QR și GARCH-t urmează volatilitatea: cînd volatilitatea crește, pragul lor coboară în cîteva zile. HS reacționează lent, pentru că fereastra de 500 de zile se schimbă doar prin intrarea zilelor noi, una cîte una, iar o zi extremă mută cuantila de 1% abia după ce mai multe asemenea zile au intrat în fereastră.

                                                                                    Diferența se vede în 2020: HS a fost depășit de 10 ori, iar QR de 4 ori, iar depășirile HS apar grupat, ceea ce explică p-value-ul testului de independență sub 0,001 din tabel. O metodă care urmează volatilitatea curentă evită tocmai aceste șiruri de depășiri.

                                                                                    Pe scurt

                                                                                    • S&P 500: randamentele zilei următoare și minus VaR 1% pentru cele patru metode; punctele: depășirile VaR obținut prin regresie cuantilică
                                                                                    • Interpretare: QR și GARCH-t urmează volatilitatea; HS reacționează lent; în 2020, HS a fost depășit de 10 ori, QR de 4 ori, iar depășirile HS apar grupat (p ind. \(<\) 0,001)
                                                                                    SFM_ch13_quantile_var

                                                                                    Sinteza secțiunii

                                                                                    Regresia cuantilică estimează VaR 1% direct, prin pierderea cuantilică (13.9), fără ipoteze asupra distribuției. Pe S&P 500, varianta liniară are rata corectă a depășirilor și cea mai mică pierdere, iar GARCH-t este depășit prea des; pe Bitcoin, simularea istorică are cea mai bună rată, iar quantile boosting este respins, pentru că la 1% are prea puține observații din coadă. Secțiunea următoare tratează o problemă comună tuturor comparațiilor de modele: numărul încercărilor.

                                                                                    Data snooping și raportul Sharpe deflatat

                                                                                    Secțiunea cuantifică optimismul care apare cînd se raportează cea mai bună dintre multe strategii încercate pe aceleași date. Calculează maximul așteptat al rapoartelor Sharpe ale unor strategii fără abilitate, îl ilustrează cu 30 de reguli de medii mobile pe S&P 500 și introduce raportul Sharpe deflatat, care corectează pentru numărul încercărilor.

                                                                                    Cea mai bună dintre \(N\) strategii (1/2)

                                                                                    Slide 68 în PDF

                                                                                    Data snooping înseamnă încercarea multor modele sau reguli pe aceleași date și raportarea celei mai bune (White, 2000). Cu suficiente încercări, o regulă fără nicio abilitate pare excelentă în eșantion, pentru că maximul multor estimări zgomotoase este sistematic peste valoarea lor adevărată. Harvey, Liu & Zhu (2016) arată că sute de predictori publicați ai randamentelor nu ar trece de o corecție pentru testarea multiplă.

                                                                                    Raportul Sharpe este randamentul mediu în exces împărțit la abaterea lui standard (Capitolul 1). Pentru o strategie fără abilitate, raportul Sharpe anual estimat pe \(Y\) ani de date are aproximativ distribuția \(N(0, 1/Y)\). Media zero exprimă lipsa abilității, iar varianța \(1/Y\) este eroarea de estimare, care scade cu lungimea eșantionului.

                                                                                    Pe 10 ani, abaterea standard a raportului Sharpe estimat este \(1/\sqrt{10} = 0{,}316\). O strategie fără abilitate are deci o șansă rezonabilă de a arăta un raport Sharpe de 0,3 sau mai mult doar din noroc, iar cînd se încearcă multe strategii, cea mai bună dintre ele va arăta mult mai bine.

                                                                                    Pe scurt

                                                                                    • Data snooping: încercarea multor modele sau reguli pe aceleași date și raportarea celei mai bune White (2000)
                                                                                      • cu suficiente încercări, o regulă fără nicio abilitate pare excelentă în eșantion
                                                                                      • sute de predictori ai randamentelor publicați nu ar trece de o corecție pentru testare multiplă Harvey, Liu & Zhu (2016)
                                                                                    • Raportul Sharpe anual al unei strategii fără abilitate pe \(Y\) ani este aproximativ \(N(0, 1/Y)\)
                                                                                      • raportul Sharpe: randamentul mediu în exces împărțit la abaterea lui standard (Capitolul 1); \(Y\): numărul de ani de date
                                                                                      • media 0: nicio abilitate; varianța \(1/Y\): eroarea de estimare, care scade odată cu lungimea eșantionului

                                                                                    Cea mai bună dintre \(N\) strategii (2/2)

                                                                                    Slide 69 în PDF

                                                                                    Bailey & López de Prado (2014) dau o aproximare pentru maximul așteptat al celor \(N\) încercări independente fără abilitate:

                                                                                    \[\mathrm{E}[\max] \approx \sigma\Big[(1 - \gamma)\,\Phi^{-1}\big(1 - \tfrac1N\big) + \gamma\,\Phi^{-1}\big(1 - \tfrac{1}{Ne}\big)\Big],\]
                                                                                    (13.10)

                                                                                    unde \(\sigma\) este abaterea standard a rapoartelor Sharpe între încercări, \(1/\sqrt{Y}\) în cazul de mai sus, \(N\) este numărul încercărilor, \(\Phi^{-1}\) este funcția cuantilă a distribuției Normale standard, \(e \approx 2{,}718\), iar \(\gamma = 0{,}5772\) este constanta Euler–Mascheroni.

                                                                                    Termenul \(\Phi^{-1}(1 - 1/N)\) crește aproximativ ca \(\sqrt{2\ln N}\). Avantajul dat de noroc crește deci lent cu numărul încercărilor, dar fără limită: zece ori mai multe încercări adaugă mereu ceva la cel mai bun rezultat aparent.

                                                                                    Pentru 10 ani, cu \(\sigma = 0{,}316\) și \(N = 100\), formula dă \(0{,}316\,[(1 - \gamma)\,2{,}326 + \gamma\,2{,}680] = 0{,}80\). Un raport Sharpe anual de 0,80 apare deci, în medie, doar din noroc, dacă se aleg cele mai bune dintre 100 de strategii. Într-o simulare, cea mai bună dintre 10, 100 și 1 000 de strategii fără abilitate are un raport Sharpe mediu de 0,48, 0,79 și 1,02.

                                                                                    Pe scurt

                                                                                    • Maximul așteptat al celor \(N\) încercări independente, fără abilitate Bailey & López de Prado (2014)
                                                                                      \[ \mathrm{E}[\max] \approx \sigma\Big[(1 - \gamma)\,\Phi^{-1}\big(1 - \tfrac1N\big) + \gamma\,\Phi^{-1}\big(1 - \tfrac{1}{Ne}\big)\Big] \]
                                                                                      • \(\sigma\): abaterea standard a rapoartelor Sharpe între încercări (\(1/\sqrt{Y}\) mai sus); \(N\): numărul de încercări
                                                                                      • \(\Phi^{-1}\): funcția cuantilă a distribuției Normale standard; \(e \approx 2{,}718\); \(\gamma = 0{,}5772\): constanta Euler–Mascheroni
                                                                                      • \(\Phi^{-1}(1 - 1/N)\) crește aproximativ ca \(\sqrt{2\ln N}\): avantajul dat de noroc crește lent, dar fără limită
                                                                                    • Exemplu: 10 ani, \(\sigma = 1/\sqrt{10} = 0{,}316\), \(N = 100\)
                                                                                      • \(0{,}316\,[(1 - \gamma)\,2{,}326 + \gamma\,2{,}680] = 0{,}80\): un asemenea raport Sharpe apare, în medie, doar prin noroc
                                                                                      • simulare: cea mai bună dintre 10, 100 și 1000 de strategii fără abilitate are un raport Sharpe mediu de \(0{,}48\); \(0{,}79\); \(1{,}02\)

                                                                                    Distorsiunea de selecție în practică

                                                                                    Slide 70 în PDF

                                                                                    Exemplu lucrat: maximul așteptat al celor N rapoarte Sharpe

                                                                                    \[\mathrm{E}[\max] \approx \sigma\Big[(1 - \gamma)\,\Phi^{-1}\big(1 - \tfrac1N\big) + \gamma\,\Phi^{-1}\big(1 - \tfrac{1}{Ne}\big)\Big], \qquad \sigma = 1/\sqrt{Y}\]
                                                                                        Întrebare pentru sală Cu 20 de ani de date în loc de 10, cît este maximul așteptat pentru N = 100?
                                                                                        Răspuns

                                                                                        0,566 = 0,800/√2, pentru că σ = 1/√20 = 0,224; simularea dă 0,559. Mai mulți ani reduc distorsiunea de selecție doar cu √Y: cu N = 1000 maximul este tot 0,728.

                                                                                        Exemplu lucrat: raportul Sharpe deflatat al celei mai bune reguli MA

                                                                                        \[\mathrm{DSR} = \Phi\Big(\frac{(\widehat{SR} - SR_0)\sqrt{T - 1}}{\sqrt{1 - \hat\gamma_3\widehat{SR} + \frac{\hat\gamma_4 - 1}{4}\widehat{SR}^2}}\Big)\]
                                                                                            Întrebare pentru sală Pînă la ce număr de reguli încercate rămîne cea mai bună regulă MA semnificativă (DSR > 0,95)?
                                                                                            Răspuns

                                                                                            Pînă la N = 6: DSR = 0,961 la N = 5, 0,955 la N = 6 și 0,949 la N = 7; la N = 30, 0,884. Fără corecție (PSR) regula ar părea semnificativă, cu 0,994: SR₀ crește lent cu N, dar SR̂ = 0,0416 pe zi are o margine mică.

                                                                                              Întrebare pentru sală ▶ încearcă doar primele 10 reguli. Care este cea mai bună în eșantion și ce loc ocupă după 2014?
                                                                                              Răspuns

                                                                                              MA 5/200 (Sharpe 0,57 în eșantion), cu 0,74 după 2014, locul 3 din 30. Cu toate cele 30 de reguli, cîștigătoarea, MA 50/200 (0,66), ajunge pe locul 22: alegerea dintre mai multe reguli ridică raportul Sharpe din eșantion, nu pe cel viitor.

                                                                                              Graficul din stînga arată cel mai bun raport Sharpe anual dintre \(N\) strategii fără abilitate, pe 10 ani, în funcție de \(N\): curba urcă lent, ca în (13.10). Graficul din dreapta trece la date reale: 30 de reguli cu medii mobile (MA, moving average) pe S&P 500, fiecare investită în indice sau în numerar după semnalul ei, evaluate în 2000–2014 și apoi în 2015–2026.

                                                                                              Cea mai bună regulă în eșantion, MA 50/200, are un raport Sharpe de 0,66. În perioada următoare, aceeași regulă obține 0,54, locul 22 din 30, sub strategia buy and hold, care are 0,72.

                                                                                              Rapoartele Sharpe din eșantion și din afara lui au corelația 0,04: ordinea regulilor din prima perioadă nu spune practic nimic despre ordinea lor în a doua. Selecția celei mai bune reguli a ales, în mare parte, norocul primei perioade.

                                                                                              Pe scurt

                                                                                              • Stînga: cel mai bun raport Sharpe anual dintre \(N\) strategii fără abilitate (10 ani); dreapta: 30 de reguli cu medii mobile pe S&P 500 (investit sau numerar), 2000–2014 față de 2015–2026
                                                                                              • Interpretare: cea mai bună regulă în eșantion (MA 50/200, Sharpe \(0{,}66\)) obține apoi \(0{,}54\), locul 22 din 30, sub buy and hold (\(0{,}72\)); rapoartele Sharpe din eșantion și din afara lui au corelația \(0{,}04\)
                                                                                              SFM_ch13_data_snooping

                                                                                              Raportul Sharpe deflatat (1/2)

                                                                                              Slide 71 în PDF

                                                                                              Raportul Sharpe deflatat (DSR, deflated Sharpe ratio) al lui Bailey & López de Prado (2014) este probabilitatea ca adevăratul raport Sharpe să depășească ceea ce ar arăta din noroc cea mai bună dintre \(N\) încercări:

                                                                                              \[\mathrm{DSR} = \Phi\Big(\frac{(\widehat{SR} - SR_0)\sqrt{T - 1}}{\sqrt{1 - \hat\gamma_3\widehat{SR} + \frac{\hat\gamma_4 - 1}{4}\widehat{SR}^2}}\Big).\]
                                                                                              (13.11)

                                                                                              Aici \(\widehat{SR}\) este raportul Sharpe zilnic al strategiei alese, \(T\) este numărul de zile, iar \(SR_0\) este maximul așteptat din (13.10), calculat cu \(\sigma\) egal cu abaterea standard a celor \(N\) rapoarte Sharpe încercate. \(\hat\gamma_3\) este asimetria (skewness), iar \(\hat\gamma_4\) boltirea (kurtosis) randamentelor zilnice, cu valoarea 3 pentru distribuția Normală; \(\Phi\) este funcția de repartiție Normală standard.

                                                                                              DSR este o probabilitate în intervalul \((0, 1)\). O valoare peste 0,95 indică un raport Sharpe semnificativ după corecția pentru cele \(N\) încercări. Numitorul măsoară precizia estimării lui \(\widehat{SR}\): asimetria negativă și cozile groase (heavy tails), frecvente la strategiile financiare, îl măresc și reduc DSR, pentru că un raport Sharpe estimat din asemenea randamente este mai puțin precis.

                                                                                              Pe scurt

                                                                                              • Bailey & López de Prado (2014): probabilitatea ca adevăratul raport Sharpe să depășească ceea ce ar arăta din noroc cea mai bună dintre \(N\) încercări
                                                                                                \[ \mathrm{DSR} = \Phi\Big(\dfrac{(\widehat{SR} - SR_0)\sqrt{T - 1}}{\sqrt{1 - \hat\gamma_3\widehat{SR} + \frac{\hat\gamma_4 - 1}{4}\widehat{SR}^2}}\Big) \]
                                                                                              • Notațiile
                                                                                                • \(\widehat{SR}\): raportul Sharpe zilnic al strategiei alese; \(T\): numărul de zile
                                                                                                • \(SR_0\): maximul așteptat al celor \(N\) încercări fără abilitate (mai sus), cu \(\sigma\) = abaterea standard a celor \(N\) rapoarte Sharpe încercate
                                                                                                • \(\hat\gamma_3\): asimetria, \(\hat\gamma_4\): boltirea randamentelor zilnice (3 pentru distribuția Normală); \(\Phi\): funcția de repartiție Normală standard
                                                                                              • Interpretarea
                                                                                                • DSR este o probabilitate în \((0, 1)\); peste 0,95: raportul Sharpe este semnificativ după corecția pentru \(N\) încercări
                                                                                                • asimetria negativă și cozile groase măresc numitorul și reduc DSR

                                                                                              Raportul Sharpe deflatat (2/2)

                                                                                              Slide 72 în PDF

                                                                                              Calculul pas cu pas folosește cea mai bună regulă MA, cu \(N = 30\) de reguli încercate și \(T = 3\,769\) de zile. Raportul Sharpe zilnic este \(\widehat{SR} = 0{,}0416\), adică \(0{,}0416 \times \sqrt{252} = 0{,}66\) anual; asimetria randamentelor zilnice este \(\hat\gamma_3 = -0{,}44\), iar boltirea \(\hat\gamma_4 = 12{,}0\).

                                                                                              Pragul de noroc este \(SR_0 = 0{,}0105\,[(1 - \gamma)\,1{,}834 + \gamma\,2{,}249] = 0{,}0219\) pe zi, adică 0,35 anual. Argumentul lui \(\Phi\) din (13.11) este \(z = 1{,}20\), deci DSR \(= \Phi(1{,}20) = 0{,}88\). Fără corecția pentru \(N\), cu \(SR_0 = 0\), se obține raportul Sharpe probabilistic (PSR, probabilistic Sharpe ratio), egal cu 0,994.

                                                                                              Luată singură, regula pare semnificativă: PSR este mult peste 0,95. După corecția pentru cele 30 de încercări, DSR coboară la 0,88, sub pragul de 0,95, iar raportul Sharpe nu mai este semnificativ. Rezultatul din perioada 2015–2026, locul 22 din 30, confirmă această concluzie.

                                                                                              Pe scurt

                                                                                              • Pas cu pas: cea mai bună regulă MA, \(N = 30\), \(T = 3\,769\) de zile
                                                                                                • \(\widehat{SR} = 0{,}0416\) pe zi (\(\times\sqrt{252} = 0{,}66\)); \(\hat\gamma_3 = -0{,}44\), \(\hat\gamma_4 = 12{,}0\)
                                                                                                • \(SR_0 = 0{,}0105\,[(1 - \gamma)\,1{,}834 + \gamma\,2{,}249] = 0{,}0219\) (anual \(0{,}35\))
                                                                                                • \(z\), argumentul lui \(\Phi\) din formula DSR: \(z = 1{,}20\), deci DSR \(= \Phi(z) = 0{,}88\)
                                                                                                • fără corecția pentru \(N\) (PSR, probabilistic Sharpe ratio, cu \(SR_0 = 0\)): \(0{,}994\)
                                                                                              • Interpretare: luată singură, regula pare semnificativă; după 30 de încercări nu mai este (DSR sub 0,95), așa cum confirmă și rezultatele ulterioare

                                                                                              Sinteza secțiunii

                                                                                              Cea mai bună dintre \(N\) strategii fără abilitate are un raport Sharpe pozitiv care crește cu \(N\), (13.10): pe 10 ani, aproximativ 0,80 pentru 100 de încercări. Pe S&P 500, cea mai bună dintre 30 de reguli de medii mobile ajunge pe locul 22 în perioada următoare, iar DSR, (13.11), arată că raportul ei Sharpe nu este semnificativ după corecție. Numărul de încercări trebuie de aceea raportat împreună cu rezultatul. Secțiunea următoare prezintă o lucrare în care machine learning trece aceste teste.

                                                                                              Studiu de caz: Gu, Kelly și Xiu (2020)

                                                                                              Secțiunea prezintă lucrarea de referință a domeniului, care compară metodele de machine learning pentru randamentele lunare ale acțiunilor americane. Descrie datele și schema de estimare, modul de evaluare, rezultatele statistice și economice și limitele lor.

                                                                                              Empirical Asset Pricing via Machine Learning

                                                                                              Slide 73 în PDF

                                                                                              Gu, Kelly & Xiu (2020) întreabă care metode prezic cel mai bine randamentul lunar al acțiunilor americane individuale. Datele cuprind aproape 30 000 de acțiuni în perioada 1957–2016. Variabilele explicative sînt 94 de caracteristici ale firmelor, în interacțiune cu 8 variabile macroeconomice, plus 74 de variabile indicatoare de industrie: în total, 920 de variabile.

                                                                                              Schema de estimare este de tip walk-forward: 18 ani de antrenare (1957–1974), 12 ani de validare (1975–1986) și 30 de ani de test (1987–2016). Modelele se reestimează o dată pe an; fereastra de antrenare crește, iar cea de validare avansează, astfel încît fiecare prognoză folosește doar date anterioare.

                                                                                              Lucrarea compară OLS, regresii penalizate și cu reducerea dimensiunii, random forest, arbori în boosting și rețele neuronale cu 1 pînă la 5 straturi ascunse, notate NN1–NN5, unde NN\(k\) are \(k\) straturi ascunse. Este deci aceeași familie de modele ca în acest capitol, aplicată unei probleme cu mult mai multe date.

                                                                                              Pe scurt

                                                                                              • Gu, Kelly & Xiu (2020): care metode prezic cel mai bine randamentul lunar al acțiunilor americane individuale?
                                                                                                • aproape 30 000 de acțiuni, 1957–2016; 94 de caracteristici ale firmelor, în interacțiune cu 8 variabile macroeconomice, plus 74 de variabile indicatoare de industrie: 920 de variabile
                                                                                              • Schema de estimare: 18 ani de antrenare (1957–1974), 12 de validare (1975–1986), 30 de test (1987–2016)
                                                                                                • reestimare o dată pe an; fereastra de antrenare crește, cea de validare avansează: o schemă walk-forward
                                                                                                • modele: OLS, regresii penalizate și cu reducerea dimensiunii, random forest, arbori în boosting
                                                                                                • rețelele NN1–NN5: NN\(k\) are \(k\) straturi ascunse
                                                                                              Empirical Asset Pricing via Machine Learning Charles M. Harper Center, Chicago Booth, unde au lucrat Gu și Xiu Foto: Michael Barera (2013); CC BY-SA 4.0; Wikimedia Commons

                                                                                              Evaluarea din lucrare

                                                                                              Slide 74 în PDF

                                                                                              Autorii folosesc

                                                                                              \[R^2_{OOS} = 1 - \frac{\sum_{(i,t)}(r_{i,t+1} - \hat r_{i,t+1})^2}{\sum_{(i,t)} r_{i,t+1}^2},\]

                                                                                              unde \(r_{i,t+1}\) este randamentul acțiunii \(i\) în luna \(t + 1\), \(\hat r_{i,t+1}\) este prognoza lui, iar sumele parcurg toate perechile acțiune–lună din perioada de test. Reperul este o prognoză zero, nu media istorică, ca în (13.6). Autorii arată că media istorică a unei acțiuni individuale este atît de zgomotoasă încît este ușor de depășit, deci reperul zero este mai exigent.

                                                                                              Modelele se compară cu teste Diebold–Mariano între toate perechile, adaptate unui panel de acțiuni: același instrument ca în secțiunea 7. Pentru cele 12 comparații se aplică o corecție Bonferroni, în care pragul de semnificație se împarte la numărul comparațiilor, o formă simplă de protecție împotriva data snooping-ului din secțiunea 10.

                                                                                              Valoarea economică se măsoară printr-un portofoliu. În fiecare lună, acțiunile se sortează în decile după prognoză; se cumpără decila de sus și se vinde decila de jos. Portofoliile sînt ponderate cu valoarea de piață, iar pentru fiecare se raportează raportul Sharpe, drawdown-ul și rulajul (turnover), adică ponderea portofoliului tranzacționată lunar.

                                                                                              Pe scurt

                                                                                              • \(R^2_{OOS} = 1 - \sum_{(i,t)}(r_{i,t+1} - \hat r_{i,t+1})^2 / \sum_{(i,t)} r_{i,t+1}^2\): reperul este o prognoză zero, nu media istorică
                                                                                                • \(r_{i,t+1}\): randamentul acțiunii \(i\) în luna \(t + 1\); \(\hat r_{i,t+1}\): prognoza lui; sumele parcurg toate perechile acțiune–lună din perioada de test
                                                                                                • autorii arată că media istorică a unei acțiuni este atît de zgomotoasă încît este ușor de depășit: reperul zero este mai exigent
                                                                                              • Teste Diebold–Mariano între toate perechile de modele, cu o corecție Bonferroni pentru cele 12 comparații (pragul de semnificație se împarte la numărul comparațiilor)
                                                                                                • același instrument ca în secțiunea 7, aplicat unui panel de acțiuni
                                                                                              • Valoarea economică: în fiecare lună, sortăm acțiunile în decile după prognoză; cumpărăm decila de sus și vindem decila de jos
                                                                                                • portofolii ponderate cu valoarea de piață; raportul Sharpe, drawdown și rulajul (ponderea portofoliului tranzacționată lunar)

                                                                                              Rezultatele: \(R^2\) predictiv și valoarea economică

                                                                                              Slide 75 în PDF
                                                                                                Întrebare pentru sală Este modelul cu cel mai mare R²_OOS pe toate acțiunile și modelul cu cel mai mare raport Sharpe același?
                                                                                                Răspuns

                                                                                                Nu: NN3 are cel mai mare R² (0,40%), NN4 cel mai mare raport Sharpe (1,35, față de 1,20 pentru NN3). Diferențele de R² dintre rețele sînt de cîteva sutimi de punct procentual, iar clasamentul după valoarea economică poate diferi.

                                                                                                Graficul din stînga reproduce \(R^2_{OOS}\) lunar din tabelul 1 al lucrării. OLS cu toate cele 920 de variabile are −3,46%: estimatorul nepenalizat cu atîtea variabile învață zgomot. OLS-3, cu trei predictori clasici, mărimea, raportul valoare contabilă/valoare de piață (book-to-market) și momentum, are 0,16%. Random forest ajunge la 0,33%, iar rețeaua NN3 la 0,40%, respectiv 0,70% pentru cele mai mari 1 000 de acțiuni.

                                                                                                Graficul din dreapta trece la valoarea economică, din tabelul 7 al lucrării: raportul Sharpe anual al portofoliului diferenței dintre decile, ponderat cu valoarea de piață. Acesta este 0,61 pentru OLS-3, 0,98 pentru random forest și 1,35 pentru NN4.

                                                                                                Contrastul dintre cele două grafice este principala lecție a lucrării. Un \(R^2\) lunar sub 1% pare neglijabil, dar aplicat unei secțiuni transversale de mii de acțiuni, în fiecare lună, el ordonează acțiunile suficient de bine pentru a dubla raportul Sharpe al unei strategii long–short față de modelul liniar cu trei predictori.

                                                                                                Pe scurt

                                                                                                • Stînga: \(R^2_{OOS}\) lunar (tabelul 1): OLS cu toate cele 920 de variabile \(-3{,}46\%\); OLS-3 (mărime, valoare, momentum) \(0{,}16\%\); random forest \(0{,}33\%\); NN3 \(0{,}40\%\) (\(0{,}70\%\) pentru cele mai mari 1 000 de acțiuni)
                                                                                                • Dreapta: raportul Sharpe anual al diferenței dintre decile, ponderată cu valoarea de piață (tabelul 7): OLS-3 \(0{,}61\), random forest \(0{,}98\), NN4 \(1{,}35\)
                                                                                                SFM_ch13_case_gkx

                                                                                                Interpretare și limite

                                                                                                Slide 76 în PDF

                                                                                                Lucrarea găsește că modelele neliniare, arborii și rețelele, sînt superioare celor liniare, deoarece surprind interacțiunile dintre caracteristicile firmelor. Toate metodele sînt de acord asupra semnalelor principale: tendințele prețului, adică momentum și inversarea pe termen scurt, lichiditatea și volatilitatea. Rețelele puțin adînci sînt suficiente: 3–4 straturi dau rezultate mai bune decît 5, iar deep learning nu ajută la randamentele lunare.

                                                                                                Un \(R^2_{OOS}\) sub 1% pe lună este, în acest context, un rezultat important. Comparația cu secțiunea 8 este instructivă: acolo, niciun model nu depășea regula „mereu creștere” pentru semnul unui singur indice pe ziua următoare.

                                                                                                Rezultatele au și limite. Portofoliile construite pe baza rețelelor își schimbă lunar peste 100% din valoare, iar costurile de tranzacționare reduc cîștigurile. Dovezile provin dintr-o secțiune transversală de mii de acțiuni, unde avantajul se obține prin ordonarea relativă a acțiunilor; ele spun puțin despre alegerea momentului de intrare pe piață pentru un singur indice.

                                                                                                Pe scurt

                                                                                                • Rezultatele lucrării
                                                                                                  • modelele neliniare (arbori, rețele) sînt superioare celor liniare deoarece surprind interacțiunile dintre caracteristici
                                                                                                  • toate metodele sînt de acord asupra semnalelor principale: tendințele prețului (momentum, inversarea pe termen scurt), lichiditatea, volatilitatea
                                                                                                  • rețelele puțin adînci sînt suficiente: 3–4 straturi dau rezultate mai bune decît 5; deep learning nu ajută la randamentele lunare
                                                                                                • De reținut
                                                                                                  • un \(R^2_{OOS}\) sub 1% pe lună este un rezultat important în acest context: comparați cu prognozele semnului din secțiunea 8
                                                                                                  • portofoliile pe baza rețelelor își schimbă lunar peste 100% din valoare: costurile de tranzacționare reduc cîștigurile
                                                                                                  • dovezile provin dintr-o secțiune transversală de mii de acțiuni; ele spun puțin despre alegerea momentului pentru un singur indice

                                                                                                Sinteza secțiunii

                                                                                                Gu, Kelly & Xiu (2020) arată că, pe o secțiune transversală de aproape 30 000 de acțiuni, modelele neliniare au un \(R^2_{OOS}\) lunar mic, de 0,40% pentru NN3 pe întregul eșantion, dar o valoare economică mare: un raport Sharpe de 1,35 pentru NN4, față de 0,61 pentru modelul liniar cu trei predictori. Rețelele puțin adînci sînt suficiente, iar rulajul ridicat reduce cîștigurile după costuri. Secțiunea următoare formulează o întrebare deschisă pentru piața românească.

                                                                                                AI pentru descoperire științifică

                                                                                                Secțiunea formulează o întrebare de cercetare deschisă, legată de piața românească, arată cum poate un asistent AI (artificial intelligence) să accelereze studiul ei și ce verificări sînt necesare înainte ca rezultatele să fie crezute. Se încheie cu o idee de proiect.

                                                                                                O întrebare de cercetare deschisă

                                                                                                Slide 77 în PDF

                                                                                                Întrebarea este dacă prognozele de volatilitate prin machine learning ajută la Bursa de Valori București, unde lichiditatea este redusă și datele intrazilnice sînt rare. Rezultatele de pînă acum sînt mixte: la S&P 500, lasso cîștigă +7,1% față de HAR, iar la Bitcoin nu există un cîștig semnificativ (+2,0%, p 0,520).

                                                                                                BET nu are prețuri maxime și minime în datele capitolului, astfel încît variabila proxy a varianței trebuie construită din randamentele la pătrat, mai zgomotoase decît estimatorul bazat pe amplitudine. Tranzacționarea rară, un calendar diferit de cel de la New York și numărul mic de crize din eșantion fac întrebarea greu de tranșat.

                                                                                                Ca lectură suplimentară, Pele et al. (2023) tratează clasificarea statistică a activelor cripto, iar Pele & Mazurencu-Marinescu-Pele (2026) analizează cît de precise pot fi comparațiile de prognoze. Instrumentele AI pot accelera un astfel de studiu, dar nu înlocuiesc verificarea lui (Wang et al., 2023).

                                                                                                Pe scurt

                                                                                                • Ajută prognozele de volatilitate prin machine learning la Bursa de Valori București, unde lichiditatea este redusă și datele intrazilnice sînt rare?
                                                                                                  • azi: la S&P 500, lasso cîștigă \(+7{,}1\%\) față de HAR; la Bitcoin niciun cîștig semnificativ (\(+2{,}0\%\), p 0,520)
                                                                                                  • BET nu are prețuri maxime și minime în datele noastre, deci variabila proxy trebuie construită din randamente la pătrat, mai zgomotoase
                                                                                                • Întrebarea rămîne deschisă: tranzacționare rară, un calendar diferit de cel de la New York, puține crize în eșantion
                                                                                                • Lucrări înrudite, ca lectură suplimentară: Pele et al. (2023) (clasificarea statistică a activelor cripto); Pele & Mazurencu-Marinescu-Pele (2026) (cît de precise pot fi comparațiile de prognoze)
                                                                                                • Instrumentele AI pot accelera un astfel de studiu; nu înlocuiesc verificarea lui Wang et al. (2023)

                                                                                                Utilizări posibile ale instrumentelor AI

                                                                                                Slide 78 în PDF

                                                                                                Un asistent AI poate ajuta în trei etape. Pentru literatură, poate întocmi o listă a studiilor despre HAR și machine learning pentru piețele emergente și de frontieră. Pentru cod, poate scrie o primă versiune a comparației walk-forward dintre HAR, lasso și random forest pentru BET și trei acțiuni BVB. Pentru robustețe, poate propune variante: alte variabile proxy, de exemplu randamentele absolute sau randamentele pe două zile, alte orizonturi (1, 5 și 22 de zile) și variabile S&P 500 de la închiderea precedentă.

                                                                                                Exemplul de prompt de pe slide este precis. El numește ținta (logaritmul varianței săptămînale a BET), variabila proxy (randamentele zilnice la pătrat), modelele (HAR, lasso, random forest), schema (reestimare walk-forward anuală din 2012, cu eliminarea ultimelor 5 rînduri de antrenare) și indicatorii (\(R^2\) în afara eșantionului, QLIKE și testele Diebold–Mariano).

                                                                                                Un prompt precis produce cod ale cărui alegeri pot fi comparate cu definițiile capitolului. Un prompt vag lasă asistentul să aleagă singur schema de validare, iar alegerea implicită a multor biblioteci este o partiție aleatoare, adică exact eroarea din secțiunea 3.

                                                                                                Pe scurt

                                                                                                • Literatura: o listă a studiilor despre HAR și machine learning pentru piețele emergente și de frontieră
                                                                                                • Cod: o primă versiune a comparației walk-forward dintre HAR, lasso și random forest pentru BET și trei acțiuni BVB
                                                                                                • Robustețe: alte variabile proxy (randamente absolute, randamente pe două zile), alte orizonturi (1, 5, 22 de zile), variabile S&P 500 de la închiderea precedentă
                                                                                                • Exemplu de prompt
                                                                                                  • Write Python code that compares HAR, lasso and a random forest for the weekly log variance of the BET index (proxy: squared daily returns), with yearly walk-forward refits from 2012, purging the last 5 training rows, and reports the out-of-sample R2, QLIKE and Diebold-Mariano tests.

                                                                                                Verificări necesare

                                                                                                Slide 79 în PDF

                                                                                                Prima verificare privește ordinea temporală. Partițiile nu se amestecă, variabilele explicative folosesc doar date pînă la închiderea zilei \(t\), iar ultimele ținte de antrenare nu ajung în perioada de test. A doua privește scalarea și alegerea hiperparametrilor: standardizarea, \(\lambda\) și numărul de arbori se stabilesc doar în fereastra de antrenare.

                                                                                                A treia verificare privește calendarele. BVB se închide înaintea bursei din New York, astfel încît o variabilă S&P 500 din aceeași zi calendaristică nu era cunoscută la închiderea BVB; ea trebuie să provină de la închiderea precedentă din New York. Este o formă de look-ahead bias ușor de introdus de un cod care aliniază seriile după dată.

                                                                                                Ultimele verificări privesc raportarea. Fiecare tabel are nevoie de un reper (HAR, clasa majoritară, simularea istorică) și de un test al diferenței față de el, iar numărul de modele încercate se raportează, ca în secțiunea 10. Fiecare lucrare citată de un instrument AI trebuie să existe, iar DOI-ul ei trebuie verificat.

                                                                                                Pe scurt

                                                                                                • Ordinea temporală: fără partiții amestecate; variabilele folosesc doar date pînă la închiderea zilei \(t\); ultimele ținte de antrenare nu ajung în perioada de test
                                                                                                • Scalarea și alegerea hiperparametrilor doar în fereastra de antrenare (standardizarea, \(\lambda\), numărul de arbori)
                                                                                                • Calendarele: BVB se închide înaintea bursei din New York; variabilele S&P 500 trebuie să provină de la închiderea precedentă din New York
                                                                                                • Un reper în fiecare tabel (HAR, clasa majoritară, simularea istorică) și un test al diferenței
                                                                                                • Numărul de modele încercate, raportat; referințele: fiecare lucrare citată trebuie să existe; verificați DOI-ul

                                                                                                Idee de proiect

                                                                                                Slide 80 în PDF

                                                                                                Proiectul întreabă dacă modelele de machine learning prognozează volatilitatea acțiunilor BVB mai bine decît HAR. Datele sînt BET și acțiunile Banca Transilvania, OMV Petrom și BRD, de la furnizorul EODHD (EOD Historical Data), cu S&P 500 și DAX ca variabile externe.

                                                                                                Pașii urmează capitolul. Pentru fiecare acțiune se construiește o variabilă proxy a varianței, din amplitudine unde există, altfel din randamentele la pătrat, cu o țintă săptămînală. Se estimează HAR, lasso, random forest și un MLP mic, walk-forward din 2014, cu reestimare anuală și purging. Evaluarea folosește \(R^2\) în afara eșantionului, QLIKE și testul Diebold–Mariano, iar valorile Shapley arată contribuția variabilelor externe.

                                                                                                Rezultatul este un tabel, un grafic și un paragraf despre ce pot și ce nu pot arăta datele. Orice folosire a instrumentelor AI se declară, împreună cu erorile acestora găsite și corectate.

                                                                                                Pe scurt

                                                                                                • Întrebarea: prognozează modelele de machine learning volatilitatea acțiunilor BVB mai bine decît HAR?
                                                                                                  • date: BET, Banca Transilvania, OMV Petrom, BRD (EODHD); S&P 500 și DAX ca variabile externe
                                                                                                • Pași
                                                                                                  • o variabilă proxy a varianței pentru fiecare acțiune (amplitudinea, unde există, altfel randamentele la pătrat), țintă săptămînală
                                                                                                  • HAR, lasso, random forest și un MLP mic, walk-forward din 2014, reestimare anuală cu purging
                                                                                                  • \(R^2\) în afara eșantionului, QLIKE și Diebold–Mariano; valori Shapley pentru variabilele externe
                                                                                                • Livrabil: un tabel, un grafic și un paragraf despre ce pot și ce nu pot arăta datele
                                                                                                • Declarați orice utilizare a instrumentelor AI și enumerați erorile acestora pe care le-ați corectat

                                                                                                Sinteza secțiunii

                                                                                                Rămîne deschisă întrebarea dacă machine learning îmbunătățește prognozele de volatilitate pe o piață puțin lichidă precum BVB, unde variabila proxy este mai zgomotoasă și crizele sînt puține. Instrumentele AI pot scrie o primă versiune a codului și a căutării bibliografice; cercetătorul verifică ordinea temporală, scalarea, calendarele, reperele și existența fiecărei referințe.

                                                                                                Rezumat

                                                                                                Rezultatele capitolului se reduc la cîteva afirmații despre cînd ajută machine learning în finanțe, un set de formule și trei întrebări de autoevaluare.

                                                                                                Idei de reținut

                                                                                                Slide 81 în PDF

                                                                                                Machine learning se judecă după eroarea pe date noi, iar compromisul deplasare–varianță stabilește cît de flexibil trebuie să fie un model. Seriile de timp au nevoie de validare walk-forward cu purging: partițiile aleatoare pe ținte suprapuse simulează o predictibilitate falsă, cu un \(R^2\) de peste 30% chiar pentru un mers aleator.

                                                                                                Ridge și lasso contractă coeficienții, random forest face media arborilor, boosting adaugă arbori mici în secvență, iar rețelele neuronale învață variabile neliniare. Pentru volatilitate, HAR este greu de depășit, iar cîștigurile sînt de cîteva procente; pentru semnul randamentelor, niciun model nu cîștigă față de regula „mereu creștere”.

                                                                                                Pentru VaR 1%, regresia cuantilică liniară funcționează, în timp ce modelelor cuantilice flexibile le lipsesc datele din coadă. Numărul de încercări se raportează, raportul Sharpe se deflatează, iar fiecare model se compară cu un reper simplu.

                                                                                                Pe scurt

                                                                                                • Machine learning se judecă după eroarea pe date noi; compromisul deplasare–varianță stabilește cît de flexibil trebuie să fie un model
                                                                                                • Seriile de timp au nevoie de validare walk-forward cu purging; partițiile aleatoare pe ținte suprapuse simulează o predictibilitate falsă
                                                                                                • Ridge și lasso contractă coeficienții; random forest face media arborilor; boosting adaugă arbori; rețelele învață variabile neliniare
                                                                                                • Volatilitatea: HAR este greu de depășit, cîștigurile sînt de cîteva procente; semnul randamentelor: niciun cîștig față de „mereu creștere”
                                                                                                • VaR 1%: regresia cuantilică liniară funcționează; modelelor cuantilice flexibile le lipsesc datele din coadă
                                                                                                • Raportați numărul de încercări și deflatați raportul Sharpe; comparați fiecare model cu un reper simplu

                                                                                                Formule de reținut

                                                                                                Slide 82 în PDF

                                                                                                Tabelul adună formulele capitolului. Descompunerea deplasare–varianță, (13.1), explică forma de U a erorii de test. Ridge, (13.2), are în cazul unei singure variabile forma \(S_{xy}/(S_{xx} + \lambda)\), iar lasso dă pragul de contracție \(\mathrm{sign}(S_{xy})\max(|S_{xy}| - \lambda/2, 0)/S_{xx}\). Varianța mediei unui random forest, (13.3), are un prag \(\rho\sigma^2\) care nu scade cu numărul arborilor, iar boosting actualizează modelul prin \(F_m = F_{m-1} + \nu h_m\).

                                                                                                Perceptronul multistrat, (13.4), este o regresie liniară în variabile neliniare învățate. Reperul HAR, (13.5), combină trei orizonturi ale volatilității, iar \(R^2_{OOS}\), (13.6), compară eroarea unui model cu a reperului pe zilele de test.

                                                                                                Pierderea cuantilică, (13.9), estimează și evaluează prognozele VaR. Raportul Sharpe deflatat, (13.11), corectează raportul Sharpe pentru numărul încercărilor și pentru asimetria și boltirea randamentelor.

                                                                                                Pe scurt

                                                                                                MărimeaFormula
                                                                                                Deplasare–varianță\(E[(y_0 - \hat f)^2] = (E\hat f - f)^2 + \mathrm{Var}(\hat f) + \sigma^2\)
                                                                                                Ridge\((X^\top X + \lambda I)^{-1}X^\top y\); 1D: \(S_{xy}/(S_{xx} + \lambda)\)
                                                                                                Lasso (1D)\(\mathrm{sign}(S_{xy})\max(|S_{xy}| - \lambda/2, 0)/S_{xx}\)
                                                                                                Random forest\(\mathrm{Var} = \rho\sigma^2 + (1 - \rho)\sigma^2/B\)
                                                                                                Boosting\(F_m = F_{m-1} + \nu h_m\)
                                                                                                MLP\(\hat y = c + \sum_k v_k g(b_k + w_k^\top x)\)
                                                                                                HAR\(y_t = \beta_0 + \beta_d\ln v_t + \beta_w\ln v_t^{(w)} + \beta_m\ln v_t^{(m)} + u_t\)
                                                                                                \(R^2_{OOS}\)\(1 - \sum(y - \hat y)^2/\sum(y - \tilde y)^2\)
                                                                                                Pierderea cuantilică\(\rho_\alpha(u) = u(\alpha - \mathbf{1}\{u < 0\})\)
                                                                                                DSR\(\Phi\big((\widehat{SR} - SR_0)\sqrt{T - 1}/\sqrt{1 - \hat\gamma_3\widehat{SR} + (\hat\gamma_4 - 1)\widehat{SR}^2/4}\big)\)

                                                                                                Autoevaluare

                                                                                                Slide 83 în PDF

                                                                                                Prima întrebare descrie un model cu un \(R^2\) de antrenare de 80% și un \(R^2\) în afara eșantionului de −5%. Diagnosticul este overfitting: modelul a învățat zgomotul eșantionului de antrenare și pierde în fața reperului pe date noi.

                                                                                                A doua întrebare cere de ce K-fold aleator este greșit pentru o țintă de tip randament pe 21 de zile. Țintele vecine se suprapun, astfel încît răspunsurile de test ajung în antrenare; schema corectă este walk-forward cu purging.

                                                                                                A treia întrebare descrie un clasificator care are dreptate în 53% din zile, într-o piață care a crescut în 54% dintre ele. Clasificatorul nu este util, pentru că regula „mereu creștere” are dreptate în 54% din zile. Capitolul următor, Capitolul 14, tratează activele cripto.

                                                                                                Pe scurt

                                                                                                • Întrebare: un model are un \(R^2\) de antrenare de 80% și un \(R^2\) în afara eșantionului de \(-5\%\). Ce s-a întîmplat?
                                                                                                  • Răspuns: overfitting: modelul a învățat zgomotul eșantionului de antrenare și pierde în fața reperului pe date noi
                                                                                                • Întrebare: de ce este greșit K-fold aleator pentru o țintă de tip randament pe 21 de zile?
                                                                                                  • Răspuns: țintele vecine se suprapun, deci răspunsurile de test ajung în antrenare; folosiți walk-forward cu purging
                                                                                                • Întrebare: un clasificator are dreptate în 53% din zile, iar piața a crescut în 54% dintre ele. Este util?
                                                                                                  • Răspuns: nu: „mereu creștere” are dreptate în 54% din zile
                                                                                                • Urmează: Capitolul 14, activele cripto

                                                                                                Datele cursului din data/market (pînă la 18 septembrie 2026): S&P 500 și Bitcoin (prețuri de deschidere, maxim, minim și închidere), BET, GBP/USD, randamentul obligațiunilor germane pe 10 ani, aurul, USD/JPY. Simularea deplasare–varianță, schema de validare, traiectoriile ridge și lasso, arborii, curbele random forest și boosting, rețelele RBF și MLP, prognozele walk-forward ale celor șase modele de volatilitate, ale clasificatorilor de semn și ale celor patru metode VaR vin din codul din curs (Quantlets/Ch_13, semințele 2026 și 3); modelele grele nu sînt reestimate în browser. Browserul recalculează din aceste prognoze HAR, R² în afara eșantionului, QLIKE, testul Diebold–Mariano, acuratețea, testul z, AUC, testele Kupiec și Christoffersen, pierderea cuantilică, maximul așteptat al raportului Sharpe și DSR. Gu, Kelly și Xiu (2020): valorile publicate în tabelele 1 și 7 ale lucrării. Alte niveluri de zgomot, orizonturi, adîncimi, numere de arbori și de unități, ponderi de antrenare, perioade și ani de separare sînt rulări suplimentare ale aceluiași cod; exemplul de boosting pe cele șase săptămîni este un calcul suplimentar.

                                                                                                Bibliografie