Modelarea piețelor financiare

Capitolul 15: LLM-uri și analiza sentimentului

Capitolul 15: LLM-uri și analiza sentimentului

Daniel Traian PELE

Academia de Studii Economice din București
IDA Institute Digital Assets
Blockchain Research Center
AI4EFin Artificial Intelligence for Energy Finance
Academia Română, Institutul de Prognoză Economică
MSCA Digital Finance

I find that high media pessimism predicts downward pressure on market prices followed by a reversion to fundamentals, and unusually high or low pessimism predicts high market trading volume.

— Tetlock (2007), Giving content to investor sentiment: the role of media in the stock market

Tetlock (2007) măsoară pesimismul dintr-o rubrică a Wall Street Journal și arată că el anunță presiuni de scădere a prețurilor, urmate de o revenire. Capitolul pornește de la aceeași întrebare, cu instrumentele de azi: cît de bine citesc modelele sentimentul (sentiment) unui text financiar și dacă acest sentiment poate fi tranzacționat. Sînt comparate patru căi: dicționarele de cuvinte, modelul FinBERT antrenat pe propoziții financiare etichetate, modelele mari de limbaj (LLM, large language models) folosite zero-shot și embeddings urmate de un clasificator. Dicționarele generale citesc greșit textele financiare: în listele folosite aici, 77% dintre cuvintele negative din Harvard General Inquirer (GI) nu apar printre cuvintele negative ale dicționarului financiar al lui Loughran & McDonald (2011).

Pe titlurile financiare de pe Twitter, niciun model nu cîștigă detașat. Cel mai bun este cel mai simplu model supervizat, TF-IDF (term frequency–inverse document frequency) urmat de o regresie logistică (logistic regression), cu o acuratețe de 83,2%, față de 74,2% pentru Qwen2.5-7B și 72,5% pentru FinBERT. Etichetele din domeniul-țintă contează mai mult decît mărimea modelului. Un LLM ridică și o problemă de look-ahead bias: întrebat doar de lună, Qwen2.5-14B separă lunile de creștere ale S&P 500 (Standard & Poor's) de cele de scădere cu o arie de sub curba ROC (AUC, area under the curve) de 0,69, unde 0,5 înseamnă nicio discriminare.

Pe 16 acțiuni americane mari, cu 106 820 de titluri distincte din FNSPID (Financial News and Stock Price Integration Dataset), scorurile explică mișcarea prețului din ziua știrii: pentru FinBERT, o abatere standard a scorului corespunde unui randament în exces mai mare cu 39,2 puncte de bază (bp, basis points). Multe titluri relatează însă chiar mișcarea prețului. O strategie zilnică long-short după semnul scorului, cu poziții deschise după ziua știrii, nu aduce profit net. Cel mai bun scor, Qwen2.5-7B, cîștigă 5,64 bp pe zi înainte de costuri, dar \(p\) = 0,071 după corecția Holm, iar costul lui de echilibru, 1,5 bp pe tranzacție, este sub costul presupus de 5 bp. Raportul Sharpe (Sharpe ratio) este +0,63 înainte de costuri și −1,48 după costuri.

Suma randamentelor zilnice în exces ale strategiei long-short (%), pentru scorurile FinBERT, Qwen2.5-7B și LM, înainte de costuri și cu 5 bp pe tranzacție.
Suma randamentelor zilnice în exces ale strategiei long-short (%), pentru scorurile FinBERT, Qwen2.5-7B și LM (Loughran-McDonald, financial sentiment dictionary, dicționarul financiar de sentiment Loughran-McDonald), înainte de costuri și cu 5 bp pe tranzacție. Graficul interactiv: „Randamentele cumulate ale strategiei: niciun profit net” →

Rezultatele învățării

  • Calculați sentimentul unui text cu un dicționar, cu FinBERT și cu un LLM zero-shot.
  • Interpretați un test pe perechi pentru doi clasificatori evaluați pe aceleași texte.
  • Interpretați testele de suprapunere și de memorare dintr-un backtest cu LLM.
  • Interpretați testul unui semnal de sentiment, cu aliniere corectă în timp, inferență pentru puține grupuri, costuri și corecție pentru testarea multiplă (multiple testing).
  • Derivați atenuarea pantei pe un regresor generat.
  • Interpretați intervalele prediction-powered inference.

Aprofundările și Anexa sînt lectură pentru familiarizare.

Planul capitolului

  1. Textul ca sursă de informațieÎntrebarea capitolului, textul ca date, definiția sentimentului și primele dovezi.
  2. DicționareTonul unui text măsurat prin liste de cuvinte: GI, Loughran–McDonald și VADER (Valence Aware Dictionary and sEntiment Reasoner, dicționar și reguli pentru valența și sentimentul textelor).
  3. Date etichetate și evaluareCorpusurile etichetate, acuratețea și F1 macro, testul McNemar și comparația celor unsprezece clasificatori.
  4. Modele de limbaj: FinBERT și LLM-uriDe la cuvinte la BERT, clasificarea zero-shot cu Qwen2.5 și mărimea modelului.
  5. Embeddings ca variabileVectorii generici ai textelor și numărul necesar de etichete.
  6. Deplasarea de anticipare și memorareaTestul memoriei pe lunile S&P 500 și pe zilele Apple și remediile.
  7. De la sentiment la un semnal de tranzacționareReacția din ziua știrii, inferența cu 16 acțiuni și strategia long-short după costuri.
  8. Eroarea de măsurare a scorurilor de sentimentAtenuarea pantelor și prediction-powered inference.
  9. Studii de caz: ChatGPT și culoarea cuvintelor financiareReacția la știri citită de GPT-4 (Generative Pre-trained Transformer 4, Transformer generativ pre-antrenat, versiunea 4) și listele de cuvinte alese de randamente.
  10. AI pentru descoperire științificăIpotezele generate de LLM-uri, familia de teste și curba specificațiilor.
  11. ConcluziiIdeile principale și decizia practică.
  12. AprofundăriExemple detaliate și subiecte avansate.
  13. AnexăDerivări, teste formale și lecturi.

Textul ca sursă de informație

Prețurile răspund la informație, iar cea mai mare parte a informației care ajunge pe piață vine sub formă de text: știri, rapoarte ale companiilor, conferințe privind rezultatele, rapoarte ale analiștilor, comunicate ale băncilor centrale și rețele sociale. Capitolul tratează tonul acestor texte ca pe o mărime de măsurat, compară instrumentele care îl măsoară pe aceleași date etichetate și se întreabă apoi dacă tonul măsurat al titlurilor datate poate fi tranzacționat, odată ce sînt luate în calcul alinierea în timp, costurile și testarea multiplă.

Prima secțiune fixează vocabularul: ce înseamnă „textul ca date”, ce noțiune de sentiment folosim, ce a găsit literatura timpurie și care sînt cele patru familii de metode care transformă un document într-un scor de sentiment.

Pot modelele citi sentimentul știrilor și îl putem tranzacționa?

Slide 2 în PDF
De la text la semnalul de tranzacționare
  • Partea I: textul ca date, dicționare, evaluarea clasificatorilor, FinBERT, LLM-uri și embeddings
    • LLM-uri: large language models, modele mari de limbaj
  • Partea a II-a: deplasarea de anticipare (look-ahead bias), semnalul de tranzacționare, scorurile ca estimări
    • Deplasarea de anticipare: folosirea informației din viitor
    • Două studii de caz și bucla de cercetare asistată de AI (artificial intelligence, inteligență artificială)
  • Exemplele detaliate și subiectele avansate sînt în Aprofundări, după Concluzii
Rezultatele învățării
  • calculați sentimentul unui text cu un dicționar, cu FinBERT și cu un LLM zero-shot
  • interpretați un test pe perechi pentru doi clasificatori
  • interpretați testele de suprapunere și de memorare dintr-un backtest cu LLM
  • interpretați testul unui semnal de sentiment
    • cu aliniere corectă în timp și inferență pentru puține grupuri
    • cu costuri și corecție pentru testarea multiplă
  • derivați atenuarea pantei pe un regresor generat
  • interpretați intervalele prediction-powered inference
  • Aprofundări și Anexa: lectură pentru familiarizare

Piețele reacționează la cuvinte

Slide 3 în PDF

Informația care mișcă prețurile ajunge la investitori pe multe canale, iar aproape toate sînt textuale: agenții de știri și ziare, rapoartele periodice ale companiilor listate, transcrierile conferințelor privind rezultatele (earnings calls), rapoartele analiștilor, comunicatele băncilor centrale și, mai recent, postările de pe rețelele sociale. Un model al modului în care prețurile răspund la știri are deci nevoie, la un moment dat, de o modalitate de a citi textul.

Ziarele financiare sînt la fel de vechi ca piețele organizate. The Wall Street Journal a apărut pentru prima dată la 8 iulie 1889, iar fotografia de pe slide arată această primă pagină. Diferența de azi este una de scară: apar zilnic milioane de documente, mult mai multe decît poate citi orice analist. Lectura la această scară trebuie delegată unui algoritm, iar calitatea algoritmului devine ea însăși o problemă de măsurare.

Pe scurt

  • Prețurile reacționează la informație, iar cea mai mare parte a ei vine sub formă de text
    • Știri, raportări ale companiilor, conferințe despre rezultate, rapoarte ale analiștilor, comunicate ale băncilor centrale, rețele sociale
  • Ziarele financiare sînt la fel de vechi ca piețele organizate
    • The Wall Street Journal: primul număr pe 8 iulie 1889
  • Astăzi: milioane de documente pe zi, peste ce poate citi orice analist
Piețele reacționează la cuvinte The Wall Street Journal, primul număr, 8 iulie 1889 Foto: Dow Jones & Company (1889); domeniu public; Wikimedia Commons

Textul ca date și definiția sentimentului

Slide 4 în PDF

Gentzkow, Kelly & Taddy (2019) descriu rețeta generală a textului ca date în economie. Un document \(d\) este mai întîi transformat într-o reprezentare numerică \(x_d\): frecvențe de cuvinte, scoruri sau vectori. Această reprezentare este apoi transformată într-o mărime de interes, cum ar fi sentimentul, tema sau riscul, iar mărimea intră într-un model statistic obișnuit al unei variabile economice, cum ar fi randamentele sau volatilitatea. Fiecare pas presupune alegeri, iar fiecare alegere poate introduce erori.

În acest capitol, sentimentul unui text este o proprietate a textului: dacă el este o știre bună, rea sau neutră pentru activul pe care îl menționează. El este raportat fie ca una dintre trei clase, fie ca un scor net

\[s = P(\text{positive}) - P(\text{negative}) \in [-1, 1],\]
(15.1)

unde cele două probabilități sînt cele atribuite de un clasificator claselor pozitivă și negativă. Noțiunea este distinctă de sentimentul investitorilor (investor sentiment), starea de spirit a investitorilor măsurată din datele de piață (Baker & Wurgler, 2006). Sintezele lui Kearney & Liu (2014) și Loughran & McDonald (2016) acoperă ambele direcții ale literaturii financiare.

Capitolul tratează scorul (15.1) ca pe o estimare a tonului adevărat al textului, măsurată cu eroare. Această perspectivă străbate toate secțiunile: ea determină cum sînt evaluați clasificatorii față de etichetele umane, cum sînt citite pantele regresiilor pe scoruri și cum sînt construite intervalele de încredere cînd scorurile modelelor înlocuiesc etichetele umane.

Pe scurt

  • Gentzkow, Kelly & Taddy (2019): un document \(d\) este reprezentat numeric prin \(x_d\), folosit într-un model statistic obișnuit
    • \(x_d\): frecvențe, scoruri, vectori
    • \(x_d\) devine o mărime de interes (sentiment, temă, risc), folosită apoi pentru a analiza o problemă economică (randamente, volatilitate)
  • Sentimentul unui text: o veste bună, rea sau neutră pentru activul menționat
    • Trei clase sau scorul net \(s = P(\text{pozitiv}) - P(\text{negativ}) \in [-1, 1]\)
    • Nu este sentimentul investitorilor, starea de spirit măsurată din date de piață (Baker & Wurgler (2006))
  • Sinteze pentru finanțe: Kearney & Liu (2014), Loughran & McDonald (2016)
  • În acest capitol, scorul este o estimare a tonului adevărat, cu eroare de măsurare

Primele dovezi și narațiunile

Slide 5 în PDF

Patru contribuții încadrează întrebarea empirică. Antweiler & Frank (2004) studiază mesajele de pe forumurile de internet despre acțiuni și constată că ele ajută la prognoza volatilității, în timp ce efectul asupra randamentelor este mic. Tetlock (2007) măsoară pesimismul dintr-o rubrică a Wall Street Journal și constată că un pesimism ridicat în presă anunță presiuni de scădere a prețurilor, urmate de o revenire; un pesimism neobișnuit de ridicat sau de scăzut anunță și un volum mare de tranzacționare.

Tetlock, Saar-Tsechansky & Macskassy (2008) trec de la piață la firmele individuale. Măsura lor este ponderea cuvintelor negative în știrile despre o firmă, iar ea anunță profituri și randamente mai mici. Prețurile încorporează această informație doar treptat, adică exact tipul de ajustare lentă pe care o strategie de tranzacționare l-ar putea exploata.

Shiller (2017) oferă motivația mai largă: poveștile populare se răspîndesc ca epidemiile și influențează deciziile economice, iar ele pot fi măsurate prin text. Shiller a primit Premiul Nobel pentru Economie în 2013, împreună cu Fama și Hansen. Narațiunile pot îndepărta prețurile de fundamente, temă tratată în Capitolul 2, despre eficiența pieței, și în Capitolul 17, despre bule și crahuri.

Pe scurt

  • Antweiler & Frank (2004): mesajele de pe forumurile despre acțiuni ajută la prognoza volatilității
    • Efectul asupra randamentelor este mic
  • Tetlock (2007): pesimismul ridicat dintr-o rubrică a Wall Street Journal anunță presiuni de scădere a prețurilor
    • Presiunile sînt urmate de o revenire
    • Pesimismul neobișnuit de mare sau de mic anunță și volume mari de tranzacționare
  • Tetlock, Saar-Tsechansky & Macskassy (2008): ponderea cuvintelor negative din știrile despre o firmă anticipează profituri și randamente scăzute
    • Prețurile încorporează această informație doar treptat
  • Shiller (2017): narațiunile populare se răspîndesc ca epidemiile și influențează deciziile economice
    • Ele pot fi măsurate prin text
    • Shiller a primit Premiul Nobel pentru Economie în 2013, împreună cu Fama și Hansen
    • Narațiunile pot îndepărta prețurile de valorile fundamentale (capitolele 2 și 17)
Primele dovezi și narațiunile Robert J. Shiller, Stockholm, decembrie 2013 Foto: Bengt Nyman (2013); CC BY 2.0; Wikimedia Commons

Patru moduri de a transforma textul în sentiment

Slide 6 în PDF

Metodele comparate în capitol aparțin la patru familii, care diferă prin cantitatea de date etichetate de care au nevoie. Un dicționar numără cuvintele unui document care apar pe liste predefinite de cuvinte pozitive și negative; nu are nevoie de etichete. Sînt folosite trei dicționare:

  • Harvard General Inquirer (GI), o listă de cuvinte de uz general;
  • dicționarul financiar Loughran–McDonald (LM);
  • VADER (Valence Aware Dictionary and sEntiment Reasoner), un dicționar cu reguli construit pentru rețelele sociale.

Un model ajustat (fine-tuned model), cum este FinBERT, este o rețea neuronală antrenată pe mii de propoziții etichetate. Un model mare de limbaj (LLM), cum sînt Qwen2.5 sau modelele GPT (Generative Pre-trained Transformer) ale OpenAI, primește o instrucțiune în limbaj natural, prompt-ul, și clasifică fără niciun exemplu etichetat; aceasta este utilizarea zero-shot. În fine, embeddings urmate de un clasificator transformă fiecare text într-un vector generic, aici produs de modelul MiniLM, și estimează o regresie pe sute sau mii de etichete.

Toate cele patru sînt comparate pe aceleași date etichetate, cu intervale de încredere (CI, confidence intervals) de 95%, și apoi testate pe randamentele zilnice ale acțiunilor. O a cincea cale, regresiile pe text cu fundamentare statistică (Taddy, 2013; Ke, Kelly & Xiu, 2019), nu este testată în corpul capitolului; ea este descrisă în Anexă.

Pe scurt

MetodaPrincipiulEtichete necesareExemple
Dicționarnumără cuvintele din listăniciunaGI, LM, VADER
Model cu fine-tuningrețea antrenată pe propoziții etichetatemiiFinBERT
Model mare de limbajinstrucțiune în limbaj natural (prompt)niciuna (zero-shot)Qwen2.5, GPT
Embeddings + clasificatorvectorii textelor într-o regresiesute pînă la miiMiniLM
GI: Harvard General Inquirer, o listă de cuvinte de uz general; LM: dicționarul financiar Loughran–McDonald; VADER: Valence Aware Dictionary and sEntiment Reasoner, un dicționar cu reguli pentru rețelele sociale; GPT: Generative Pre-trained Transformer, modelele de limbaj ale OpenAI
  • Le comparăm pe toate patru pe aceleași date etichetate, cu intervale de încredere (CI, confidence intervals) de 95%
  • Apoi testăm dacă vreuna produce cîștiguri pe randamentele zilnice ale acțiunilor
  • O a cincea cale, regresiile pe text cu fundamentare statistică, nu este testată aici (Anexa)
    • Autori: Taddy; Ke, Kelly și Xiu

Sinteza secțiunii

Textul intră în finanțe ca date: un document devine numere, numerele devin un scor de sentiment, iar scorul intră într-un model al randamentelor. Literatura timpurie a găsit că tonul știrilor este legat de prețuri, volum și profituri, cu o ajustare lentă. Cele patru familii de metode diferă mai ales prin cantitatea de date etichetate de care au nevoie, iar secțiunile următoare le compară pe aceleași texte.

Dicționare

Cea mai veche metodă din finanțe măsoară tonul numărînd cuvintele din liste predefinite. Avantajul ei este transparența: fiecare scor poate fi urmărit pînă la cuvintele care l-au produs. Slăbiciunea ei este că o listă de cuvinte ignoră contextul, iar o listă construită pentru un domeniu poate citi greșit un altul.

Poate o listă de cuvinte măsura tonul unui text financiar?

Slide 7 în PDF

Metoda dicționarului se bazează pe reprezentarea bag of words: un document este redus la frecvențele cuvintelor sale, iar ordinea lor este ignorată. Unitățile (tokens) sînt cuvinte fără deosebire între majuscule și minuscule, fără cifre și fără punctuație. Un dicționar furnizează o mulțime \(\mathcal{P}\) de cuvinte pozitive și o mulțime \(\mathcal{N}\) de cuvinte negative; fie \(P_d\) și \(N_d\) numărul de cuvinte pozitive și negative din documentul \(d\).

Tonul documentului este

\[\tau_d = \frac{P_d - N_d}{P_d + N_d} \in [-1, 1],\]
(15.2)

cu \(\tau_d = 0\) dacă \(P_d + N_d = 0\), iar clasa prezisă este semnul lui \(\tau_d\), neutră cînd \(\tau_d = 0\). Un document care conține doar cuvinte pozitive din listă are tonul \(+1\), unul cu doar cuvinte negative are tonul \(-1\), iar un document fără niciun cuvînt din listă este neutru prin construcție.

Metoda este transparentă, rapidă și nu are nevoie de date de antrenare. Limita ei rezultă direct din (15.2): semnul fiecărui cuvînt este fixat dinainte, deci metoda nu vede contextul și negația. „Not good” este numărat ca pozitiv, iar un cuvînt al cărui sens depinde de vecinii lui primește același semn în orice propoziție.

Pe scurt

  • Reprezentarea prin frecvențele cuvintelor (bag of words): documentul este redus la frecvențele cuvintelor
    • Ordinea este ignorată
    • Tokeni: cuvinte fără cifre și punctuație, indiferent de majuscule
  • Un dicționar listează cuvintele pozitive \(\mathcal{P}\) și cuvintele negative \(\mathcal{N}\)
    • \(P_d\), \(N_d\): numărul de cuvinte pozitive și negative din documentul \(d\)
    • Tonul: \(\tau_d = \dfrac{P_d - N_d}{P_d + N_d} \in [-1, 1]\), iar \(\tau_d = 0\) dacă \(P_d + N_d = 0\); clasa este semnul lui \(\tau_d\) (neutră pentru \(\tau_d = 0\))
  • Avantaje: transparență, viteză, fără date de antrenare
  • Limita: ignoră contextul și negația

Dicționare generale, financiare și cu reguli

Slide 8 în PDF

Harvard General Inquirer (GI), lista Harvard IV-4, este un dicționar de psihologie din anii 1960, cu 2 007 cuvinte negative și 1 637 pozitive. Loughran & McDonald (2011) au construit dicționarul LM din rapoartele anuale (formularele 10-K) ale firmelor americane. El are 2 355 de cuvinte negative și doar 354 pozitive. Constatarea lor a fost că aproape trei sferturi dintre cuvintele negative din GI nu sînt negative într-un context financiar. În listele folosite în acest capitol, 1 552 de cuvinte negative din GI, adică 77%, nu sînt cuvinte negative în LM.

VADER (Hutto & Gilbert, 2014) conține circa 7 500 de termeni cu scoruri de intensitate și a fost construit pentru rețelele sociale. El adaugă reguli pentru negație („not good”), intensificatori („very”), majuscule, semne de exclamare și emoticoane și întoarce un scor compus (compound score) în \([-1, 1]\), tăiat de obicei la \(\pm 0{,}05\) pentru a obține trei clase.

Cele trei dicționare diferă astfel pe două axe: vocabularul (general pentru GI și VADER, financiar pentru LM) și tratarea contextului (deloc pentru GI și LM, reguli simple pentru VADER). Regulile VADER rezolvă unele probleme de context, dar vocabularul lui rămîne general, ca al GI.

Pe scurt

  • Harvard General Inquirer (GI), lista Harvard IV-4: un dicționar de psihologie din anii 1960
    • 2 007 cuvinte negative și 1 637 pozitive
  • Loughran & McDonald (2011) (LM): construit din rapoartele anuale (formularele 10-K) ale firmelor americane
    • 2 355 de cuvinte negative și doar 354 pozitive
    • Concluzia lor: aproape trei sferturi dintre cuvintele negative din GI nu sînt negative în context financiar
    • În listele folosite aici, 1 552 de cuvinte negative din GI (77%) nu apar printre cuvintele negative din LM
  • VADER (Hutto & Gilbert (2014)): circa 7 500 de termeni cu scoruri de intensitate, pentru rețelele sociale
    • Reguli pentru negație („not good”), intensificatori („very”), majuscule, semne de exclamare și emoticoane
    • Scorul compus (compound score) ia valori în \([-1, 1]\), cu pragurile uzuale \(\pm 0{,}05\)
    • Regulile rezolvă o parte din problemele de context, dar vocabularul este general, ca la GI

Cuvinte negative în psihologie, neutre în contabilitate (1/2)

Slide 9 în PDF

Graficul examinează cuvintele asupra cărora GI și LM nu sînt de acord, folosind propozițiile din Financial PhraseBank, un corpus de propoziții din știri etichetate de adnotatori umani și descris în secțiunea următoare. Fiecare bară orizontală este un cuvînt; lungimea ei este numărul de propoziții PhraseBank care conțin cuvîntul, iar culorile împart aceste propoziții după eticheta dată de adnotatori: pozitivă, neutră sau negativă.

În versiunea interactivă, selectorul alege lista de cuvinte: negative în GI, dar nu și în LM, sau invers. Cursorul stabilește cîte cuvinte sînt afișate, iar butonul ▶ adaugă cuvintele unul cîte unul. Textul de sub grafic numără propozițiile și proporția celor care nu sînt etichetate negativ.

    Întrebare pentru sală „Service”, „capital” și „board” sînt cuvinte negative în dicționarul Harvard IV-4. În Financial PhraseBank, ce proporție dintre propozițiile care conțin fiecare dintre aceste cuvinte este etichetată negativ?
    Răspuns

    Sub 10% pentru fiecare cuvînt: 2 din 106 propoziții cu „service” (1,9%), 7 din 104 cu „capital” (6,7%) și 3 din 79 cu „board” (3,8%). Semnul unui cuvînt în dicționar nu stabilește eticheta propoziției. Iar un cuvînt fără legătură cu tonul nu ar da 50%: el ar apărea în propoziții negative cu frecvența clasei negative din corpus, 12,5%.

    Pentru lista implicită, cuvintele cele mai frecvente, „service” (106 propoziții), „capital” (104) și „board” (79), sînt substantive obișnuite în afaceri. Doar 2 dintre cele 106 propoziții cu „service” (1,9%), 7 dintre cele 104 cu „capital” (6,7%) și 3 dintre cele 79 cu „board” (3,8%) sînt etichetate negativ. Un cuvînt fără legătură cu tonul ar apărea în propoziții negative cu frecvența clasei negative din corpus, 12,5%; aceste cuvinte rămîn chiar sub acest nivel.

    Cuvinte negative în psihologie, neutre în contabilitate (2/2)

    Slide 10 în PDF

    Cuvintele pe care GI le marchează ca negative, iar LM nu, sînt în cea mai mare parte vocabular obișnuit al afacerilor. „Service”, „capital” și „board” apar în propoziții neetichetate negativ în 98%, 93% și 96% dintre cazuri, iar „vice”, ca în „vice president”, în 100% dintre cazuri. Numărarea lor ca negative adaugă zgomot tonului oricărui text financiar care le menționează.

    „Lower” este un caz diferit: doar 26% dintre propozițiile sale nu sînt etichetate negativ, deci este adesea un cuvînt cu adevărat negativ. Totuși, „lower costs” este o veste bună pentru o firmă. Semnul lui „lower” depinde de cuvîntul următor, pe care nicio listă nu îl vede; aceasta este problema contextului din (15.2) în forma ei cea mai pură.

    În ansamblu, cele 964 de propoziții PhraseBank ale căror singure cuvinte negative în GI lipsesc din lista negativă LM nu sînt etichetate negativ în 89% dintre cazuri. Un exemplu rezolvat, cu o propoziție evaluată de ambele dicționare, se află în Aprofundări.

    Pe scurt

    • Cuvinte negative în GI, dar nu în LM
      • Ordonate după numărul de propoziții din Financial PhraseBank care le conțin
      • Culoarea: eticheta dată propoziției de adnotatorii umani
    • „Service”, „capital”, „board” și „vice” sînt cuvinte uzuale în limbajul de afaceri, nu vești negative
      • Numărul de propoziții: „service” 106, „capital” 104, „board” 79, „vice” 17 (din „vice president”)
      • Ponderea propozițiilor care nu sînt etichetate negativ: 98% („service”), 93% („capital”), 96% („board”), 100% („vice”)
    • „Lower”: doar 26% dintre propoziții nu sînt negative
      • Totuși, „costuri mai mici” este o veste bună
      • Semnul depinde de cuvîntul următor, de care nicio listă nu ține cont
    • Din cele 964 de propoziții în care singurele cuvinte negative GI lipsesc din lista negativă LM:
      • 89% nu sînt etichetate negativ
    MFM_ch15_dictionaries

    Sinteza secțiunii

    Tonul calculat cu dicționarul, (15.2), este transparent și ieftin, dar calitatea lui depinde de listă. Un dicționar general de psihologie numără substantive din afaceri ca negative: în listele folosite aici, 77% dintre cuvintele negative din GI nu sînt negative în LM, iar propozițiile evaluate negativ doar prin astfel de cuvinte nu sînt etichetate negativ în 89% dintre cazuri. Nicio listă nu vede contextul, așa că un cuvînt precum „lower” își păstrează semnul greșit ori de cîte ori cuvîntul următor îl inversează.

    Date etichetate și evaluare

    Un clasificator este judecat după acordul cu etichetele umane pe texte pe care nu a fost antrenat. Secțiunea descrie cele două corpusuri etichetate, metricile folosite cînd o clasă domină, testul pe perechi care compară doi clasificatori pe aceleași texte și comparația celor unsprezece clasificatori.

    Pe ce texte judecăm un clasificator? Două corpusuri etichetate

    Slide 11 în PDF

    Financial PhraseBank (Malo et al., 2014) conține 4 846 de propoziții din știri financiare. Ele au fost etichetate de un grup de 16 adnotatori cu pregătire în finanțe, între 5 și 8 pentru fiecare propoziție, care au răspuns la o singură întrebare: este propoziția o știre bună, rea sau neutră pentru investitor? Corpusul este publicat cu niveluri de acord, ponderea adnotatorilor unei propoziții care au ales eticheta majoritară: cel puțin 50%, 66%, 75% sau 100%. Acordul deplin este atins pe 2 264 de propoziții, iar 629 de propoziții au un acord sub 66%. Etichetele sînt 59% neutre, 28% pozitive și 12% negative.

    Al doilea corpus, Twitter Financial News, este distribuit pe Hugging Face Hub sub licența MIT (Massachusetts Institute of Technology, Institutul de Tehnologie din Massachusetts) și conține titluri financiare din 2022, etichetate bearish, bullish sau neutral. Are un set de antrenare de 9 543 de titluri și un set de validare de 2 388 de titluri, folosit pentru evaluare în tot capitolul. Etichetele sînt 66% neutre, 20% pozitive și 15% negative. Textele sînt scurte și zgomotoase, cu simboluri bursiere (tickers) și linkuri, și sînt mai apropiate de fluxul real de știri decît propozițiile editate din PhraseBank.

    Sînt folosite două corpusuri pentru că un rezultat obținut pe unul nu se transferă neapărat pe celălalt. Comparația contează mai ales pentru FinBERT, a cărui versiune publică a fost ajustată pe PhraseBank, așa cum arată secțiunea despre modelele de limbaj.

    Pe scurt

    • Financial PhraseBank (Malo et al. (2014)): 4 846 de propoziții din știri
      • Etichetate de un grup de 16 adnotatori cu pregătire în finanțe, cîte 5–8 pentru fiecare propoziție
      • Întrebarea pusă adnotatorilor: este o veste bună, rea sau neutră pentru investitor?
      • Niveluri de acord: cel puțin 50%, 66%, 75% sau 100% dintre adnotatori
      • 2 264 de propoziții cu acord deplin, 629 cu acord sub 66%
      • Etichete: 59% neutre, 28% pozitive, 12% negative
    • Twitter Financial News (Hugging Face Hub, licența MIT): titluri din 2022
      • Etichetate bearish, bullish sau neutre
      • 9 543 de titluri de antrenare și 2 388 de validare, folosite pentru evaluare
      • Etichete: 66% neutre, 20% pozitive, 15% negative
      • Texte scurte, zgomotoase, cu simboluri bursiere și linkuri, apropiate de fluxul real de știri
    • Două corpusuri, pentru că un rezultat obținut pe unul s-ar putea să nu se confirme pe celălalt

    Acuratețe sau F1 macro? Metrici pentru clase dezechilibrate

    Slide 12 în PDF

    Acuratețea (accuracy) este ponderea textelor clasificate corect, \(\text{acc} = \frac{1}{n}\sum_{i=1}^{n}\mathbf{1}\{\hat y_i = y_i\}\). Cînd o clasă domină, acuratețea recompensează un clasificator care prezice acea clasă în majoritatea cazurilor. Este nevoie de o metrică ce cîntărește clasele în mod egal, pentru a vedea dacă clasele rare, aici știrile pozitive și negative, sînt recunoscute.

    Pentru clasa \(k\), fie \(TP_k\) numărul de texte din clasa \(k\) prezise ca \(k\), \(FP_k\) numărul de texte din alte clase prezise ca \(k\) și \(FN_k\) numărul de texte din clasa \(k\) prezise ca altă clasă. Precizia (precision), recall-ul și media lor armonică sînt

    \[\begin{gathered} P_k = \frac{TP_k}{TP_k + FP_k}, \qquad R_k = \frac{TP_k}{TP_k + FN_k}, \\ F1_k = \frac{2P_kR_k}{P_k + R_k}, \end{gathered}\]

    iar F1 macro este media lor pe clase,

    \[\text{F1 macro} = \frac{1}{K}\sum_{k=1}^{K} F1_k,\]
    (15.3)

    cu \(K = 3\) clase. F1 macro dă fiecărei clase aceeași pondere, oricît de rară ar fi; aceleași metrici sînt folosite în Capitolul 13.

    Reperul care răspunde mereu „neutru” arată diferența dintre cele două metrici. Pe setul de validare Twitter el atinge 66% acuratețe, ponderea titlurilor neutre. Recall-ul lui pe clasa neutră este 1, iar precizia 0,656, deci \(F1_{\text{neutru}} = 2 \times 0{,}656 \times 1/(0{,}656 + 1)\), adică 0,792, în timp ce \(F1 = 0\) pentru celelalte două clase. F1 macro este deci \(0{,}792/3\), doar 26,4%.

    Pe scurt

    • Întrebarea: cum comparăm clasificatori cînd o clasă domină?
    • Acuratețea: \(\text{acc} = \frac{1}{n}\sum_{i=1}^{n} \mathbf{1}\{\hat y_i = y_i\}\)
    • Pentru clasa \(k\):
      • Precizia \(P_k = \dfrac{TP_k}{TP_k + FP_k}\), recall-ul \(R_k = \dfrac{TP_k}{TP_k + FN_k}\), \(F1_k = \dfrac{2 P_k R_k}{P_k + R_k}\)
      • \(TP_k\): texte din clasa \(k\) prezise \(k\); \(FP_k\): texte din alte clase prezise \(k\); \(FN_k\): texte din clasa \(k\) prezise altfel
    • F1 macro \(= \frac{1}{K}\sum_{k=1}^{K} F1_k\), cu \(K = 3\) (Capitolul 13)
      • Fiecare clasă contează la fel, oricît de rară
    • Reperul „mereu neutru” pe Twitter: acuratețe 66%, dar F1 macro de doar 26,4%
      • \(F1_{\text{neutru}} = 2 \times 0{,}656 \times 1/(0{,}656 + 1) = 0{,}792\), iar \(F1 = 0\) pentru celelalte două clase, deci F1 macro \(= 0{,}792/3\)

    Cînd este un clasificator mai bun? Testul McNemar pe aceleași texte

    Slide 13 în PDF

    Cînd doi clasificatori A și B sînt evaluați pe aceleași \(n\) texte, acuratețile lor sînt corelate: ambii găsesc ușoare textele ușoare și grele textele grele. Două intervale de încredere separate nu răspund deci la întrebarea dacă unul este mai bun. Comparația trebuie să folosească împerecherea.

    Fie \(n_{01}\) numărul de texte pe care A greșește și B are dreptate, iar \(n_{10}\) numărul celor pe care A are dreptate și B greșește. Textele pe care cei doi clasificatori sînt de acord, ambii corecți sau ambii greșiți, nu aduc informație despre diferență: diferența de acuratețe este \((n_{01} - n_{10})/n\). Sub ipoteza nulă a acurateței egale, fiecare text discordant îl favorizează cu aceeași probabilitate pe oricare dintre clasificatori, deci \(n_{01} \sim \text{Binomial}(n_{01} + n_{10}; 0{,}5)\), ceea ce dă un test exact. Pentru \(n_{01} + n_{10}\) mare, statistica

    \[\chi^2 = \frac{(|n_{01} - n_{10}| - 1)^2}{n_{01} + n_{10}}\]
    (15.4)

    are aproximativ distribuția \(\chi^2_1\); termenul \(-1\) este o corecție de continuitate.

    Un exemplu mic ilustrează versiunea exactă. Dacă A greșește și B are dreptate pe 4 texte, iar invers se întîmplă pe 1, atunci, cu \(X \sim \text{Binomial}(5; 0{,}5)\), valoarea p bilaterală este \(p = 2\,P(X \ge 4) = 2 \times 6/32 = 0{,}375\). Cinci texte discordante sînt mult prea puține pentru a separa cei doi clasificatori. Un exemplu rezolvat pe date reale, FinBERT față de LM, se află în Anexă.

    Pe scurt

    • Doi clasificatori A și B pe aceleași \(n\) texte: acuratețile lor sînt corelate
      • Două CI separate nu răspund la întrebare
    • \(n_{01}\): numărul de texte pe care A greșește și B are dreptate
    • \(n_{10}\): numărul de texte pe care A are dreptate și B greșește
    • Textele pe care ambii clasificatori le clasifică la fel nu aduc informație
      • Diferența de acuratețe este \((n_{01} - n_{10})/n\)
    • Sub \(H_0\) (acuratețe egală), \(n_{01} \sim \text{Binomial}(n_{01} + n_{10}; 0{,}5)\): un test exact
    • Pentru \(n_{01} + n_{10}\) mare: \(\chi^2 = (|n_{01} - n_{10}| - 1)^2/(n_{01} + n_{10})\) are aproximativ distribuția \(\chi^2_1\)
      • \(-1\): corecția de continuitate
    • Exemplu: A greșește și B are dreptate pe 4 texte, invers pe 1
      • Atunci \(p = 2\,P(X \ge 4) = 2 \times 6/32 = 0{,}375\), cu \(X \sim \text{Binomial}(5; 0{,}5)\)

    Acuratețea celor unsprezece clasificatori pe două seturi de date (1/2)

    Slide 14 în PDF

    Graficul compară unsprezece clasificatori pe cele două corpusuri. Fiecare rînd este o metodă: cele trei dicționare (GI, VADER, LM), două modele supervizate antrenate pe etichete Twitter, TF-IDF + LR (Logistic Regression, regresie logistică) și MiniLM + LR, FinBERT și cinci modele Qwen2.5 zero-shot, de la 0,5 la 14 miliarde de parametri. TF-IDF (term frequency–inverse document frequency) reduce ponderea cuvintelor comune multor texte, iar LR este regresia logistică (logistic regression). Axa orizontală este acuratețea în procente, cu CI 95%; panoul din stînga este Financial PhraseBank, iar cel din dreapta Twitter Financial News. Linia verticală întreruptă marchează reperul „mereu neutru”.

    În versiunea interactivă, selectorul comută între acuratețe și F1 macro, iar cursorul restrînge PhraseBank la propozițiile cu acord mai mare între adnotatori: toate propozițiile, cel puțin 66%, cel puțin 75% sau 100%. Butonul ▶ crește pas cu pas nivelul acordului. Textele de sub grafic raportează valorile pentru FinBERT, Qwen2.5-7B și reper pe PhraseBank, iar pe Twitter cea mai bună metodă și dicționarele.

      Întrebare pentru sală Pe titlurile Twitter, care dintre cele 11 metode are cea mai mare acuratețe?
      Răspuns

      TF-IDF + regresie logistică, cu 83,2%. FinBERT are 72,5%, Qwen2.5-7B zero-shot 74,2%, iar Qwen2.5-14B 72,4%: nici adaptarea la domeniu, nici numărul de parametri nu garantează primul loc. Toate cele trei dicționare rămîn sub reperul „mereu neutru” (65,6%). TF-IDF + LR este antrenat pe etichete Twitter, deci comparația nu izolează efectul arhitecturii.

      Pe Twitter, cea mai mare acuratețe, 83,2%, o are TF-IDF + regresie logistică. Qwen2.5-7B zero-shot ajunge la 74,2%, FinBERT la 72,5%, iar Qwen2.5-14B la 72,4%: nici adaptarea la textul financiar, nici numărul de parametri nu garantează primul loc. Toate cele trei dicționare rămîn sub reperul „mereu neutru”, 65,6%. Pentru că TF-IDF + LR este singura metodă de acest tip antrenată pe etichete Twitter, comparația nu izolează efectul arhitecturii.

      Pe scurt

      TF-IDF: term frequency–inverse document frequency, frecvențe de cuvinte cu ponderi mai mici pentru cuvintele uzuale; LR: logistic regression, regresie logistică MFM_ch15_classification

      Acuratețea celor unsprezece clasificatori pe două seturi de date (2/2)

      Slide 15 în PDF

      Două dintre cele unsprezece metode, TF-IDF + LR și MiniLM + LR, sînt antrenate pe setul de antrenare Twitter; toate celelalte nu văd nicio etichetă Twitter. Această diferență de date de antrenare explică cea mai mare parte a clasamentului pe Twitter. Pe acest corpus, toate cele trei dicționare pierd în fața clasei majoritare: GI ajunge la 43,6%, VADER la 49,6% și LM la 60,5%, față de 66% pentru „mereu neutru”.

      FinBERT ajunge la 89,0% pe PhraseBank și 72,5% pe Twitter; Qwen2.5-7B zero-shot ajunge la 81,4% și 74,2%. Cel mai bun rezultat pe Twitter, 83,2%, vine de la cel mai simplu model supervizat, TF-IDF + regresie logistică. Lecția este că datele etichetate din domeniul-țintă contează mai mult decît mărimea modelului.

      Comparația este una între proceduri pe două corpusuri date: ea ordonează procese complete, inclusiv datele lor de antrenare, și nu atribuie diferențele unei singure componente. Dezacordul dintre adnotatori și κ al lui Cohen, care corectează acordul pentru hazard, sînt discutate în Aprofundări.

      Pe scurt

      • TF-IDF + LR și MiniLM + LR: singurele metode antrenate pe etichete Twitter
      • Toate cele trei dicționare rămîn, pe Twitter, sub reperul clasei majoritare
        • Acuratețea pe Twitter: GI 43,6%, VADER 49,6%, LM 60,5%, față de 66% pentru reperul „mereu neutru”
      • Acuratețea FinBERT: 89,0% pe PhraseBank și 72,5% pe Twitter
      • Acuratețea Qwen2.5-7B zero-shot: 81,4% pe PhraseBank și 74,2% pe Twitter
      • Cel mai bun pe Twitter, 83,2%: cel mai simplu model supervizat, TF-IDF + regresie logistică
      • Lecția: etichetele din domeniul-țintă contează mai mult decît mărimea modelului
      • Tipul de dovadă: comparație între proceduri (arată care metodă funcționează mai bine pe aceleași date, nu de ce)
      MFM_ch15_classification

      Sinteza secțiunii

      Clasificatorii sînt comparați pe două corpusuri etichetate, cu acuratețea și F1 macro (15.3), iar perechile de clasificatori cu testul McNemar (15.4), care folosește doar textele pe care aceștia nu sînt de acord. Pe titlurile Twitter, dicționarele se descurcă mai prost decît răspunsul constant „neutral”, FinBERT și Qwen2.5-7B zero-shot sînt apropiate (72,5% și 74,2%), iar o regresie logistică pe TF-IDF antrenată pe etichete Twitter conduce cu 83,2%.

      Modele de limbaj: FinBERT și LLM-uri

      Dicționarele dau fiecărui cuvînt un semn fix. Modelele de limbaj citesc fiecare cuvînt în contextul propoziției. Secțiunea descrie modelul ajustat FinBERT, capcana evaluării lui pe propriile date de antrenare, trecerea de la predicția cuvîntului următor la LLM-uri care urmează instrucțiuni și clasificarea zero-shot a titlurilor cu familia Qwen2.5.

      Ajută contextul? De la cuvinte la BERT

      Slide 16 în PDF

      Un dicționar dă cuvîntului „lower” un singur semn fix. Un model de limbaj reprezintă în schimb fiecare unitate printr-un vector care depinde de toate celelalte unități ale propoziției, prin mecanismul de atenție (attention) al arhitecturii Transformer (Vaswani et al., 2017), prezentat în Capitolul 14. Reprezentarea lui „lower” în „lower costs” poate astfel să difere de reprezentarea lui în „lower revenue”.

      BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al., 2019) este un encoder Transformer preantrenat pe cărți și pe Wikipedia prin ghicirea unor cuvinte ascunse aleator. Are circa 110 milioane de parametri. Pentru clasificare folosește vectorul final \(h_{\text{CLS}} \in \mathbb{R}^{768}\) al unei unități speciale, [CLS (classification token of BERT, simbolul de clasificare al modelului BERT)], plasată la începutul fiecărui text.

      Ajustarea (fine-tuning) adaugă un strat de clasificare peste \(h_{\text{CLS}}\) și antrenează întreaga rețea pe propoziții etichetate. Probabilitățile claselor și funcția de pierdere sînt

      \[p = \operatorname{softmax}(W h_{\text{CLS}} + c), \qquad W \in \mathbb{R}^{3\times 768},\]
      (15.5)
      \[\mathcal{L} = -\frac{1}{n}\sum_{i=1}^{n} \ln p_{i,y_i},\]

      unde \(p\) conține probabilitățile claselor negativă, neutră și pozitivă, \(y_i\) este eticheta umană a propoziției \(i\), iar \(\mathcal{L}\) este entropia încrucișată (cross-entropy). Minimizarea lui \(\mathcal{L}\) ajustează atît stratul nou, cît și ponderile preantrenate.

      Pe scurt

      • Un dicționar dă cuvîntului „lower” un semn fix
        • Un model de limbaj citește propoziția din jurul lui
        • Fiecare token primește un vector care depinde de toți ceilalți tokeni (atenție, Capitolul 14; Vaswani et al. (2017))
      • BERT (Bidirectional Encoder Representations from Transformers; Devlin et al. (2019)): un codificator Transformer
        • Pre-antrenat pe cărți și Wikipedia prin predicția cuvintelor mascate aleator
        • Circa 110 milioane de parametri
        • Pentru clasificare se folosește vectorul final \(h_{\text{CLS}} \in \mathbb{R}^{768}\) al tokenului special [CLS (classification token of BERT, simbolul de clasificare al modelului BERT)] (de la classification, clasificare), pus la începutul fiecărui text
      • Fine-tuning: un strat de clasificare peste \(h_{\text{CLS}}\)
        • Toată rețeaua este antrenată pe propoziții etichetate
        • \(p = \operatorname{softmax}(W h_{\text{CLS}} + c)\), cu \(W \in \mathbb{R}^{3 \times 768}\): probabilitățile claselor negativ, neutru și pozitiv
        • Antrenarea minimizează entropia încrucișată \(-\frac{1}{n}\sum_i \ln p_{i, y_i}\), cu \(y_i\) eticheta umană a propoziției \(i\)

      FinBERT: BERT adaptat textelor financiare

      Slide 17 în PDF

      FinBERT (Araci, 2019) este BERT preantrenat suplimentar pe știri financiare și apoi ajustat pentru clasificarea sentimentului. Modelul public folosit în acest capitol, ProsusAI/finbert, a fost ajustat pe Financial PhraseBank. El are nevoie de cîteva milisecunde pe propoziție pe un laptop, ceea ce îl face practic pentru arhive mari de știri.

      Scorul folosit în tot capitolul este scorul net (15.1), \(s = p_{\text{pos}} - p_{\text{neg}} \in [-1, 1]\), calculat din probabilitățile din (15.5), iar eticheta prezisă este \(\arg\max_k p_k\). FinBERT este reperul pentru că este public, rapid și larg folosit în literatura financiară.

      Există și alte versiuni ale modelului. Huang, Wang & Yang (2023) antrenează un FinBERT pe rapoartele analiștilor, transcrierile conferințelor privind rezultatele și formularele 10-K și constată că el depășește dicționarele, mai ales pe propozițiile pe care dicționarele le citesc greșit. Tiparele de eroare ale FinBERT pe titlurile Twitter, comparate cu cele ale LM și ale Qwen2.5-7B, se află în Aprofundări.

      Pe scurt

      • Araci (2019): FinBERT este BERT pre-antrenat suplimentar pe știri financiare
        • Apoi adaptat prin fine-tuning pentru sentiment
        • Modelul public folosit aici (ProsusAI/finbert) a fost adaptat prin fine-tuning pe Financial PhraseBank
        • Durata: cîteva milisecunde pe propoziție pe un laptop
      • Scorul folosit în acest capitol: \(s = p_{\text{poz}} - p_{\text{neg}} \in [-1, 1]\), iar eticheta este \(\arg\max_k p_k\)
      • De ce FinBERT ca reper: este public, rapid și larg folosit în literatura de finanțe
      • Huang, Wang & Yang (2023): un FinBERT antrenat pe texte financiare depășește dicționarele
        • Texte: rapoarte ale analiștilor, transcrieri ale conferințelor despre rezultate și formulare 10-K
        • Mai ales pe propozițiile pe care acestea le citesc greșit

      Distorsiunea evaluării în eșantion

      Slide 18 în PDF

      FinBERT atinge 89,0% acuratețe pe PhraseBank, dar cea mai mare parte a PhraseBank a fost folosită la antrenarea lui: Araci (2019) a folosit 3 101 dintre cele 4 845 de propoziții. Pe titlurile Twitter, acuratețea lui este 72,5%, o scădere de 16,4 puncte. O parte a scăderii reflectă o dificultate reală: Qwen2.5-7B, care nu a fost ajustat pe aceste etichete, scade și el, cu 7,2 puncte, pentru că titlurile Twitter sînt mai grele.

      Scăderea suplimentară a FinBERT este măsurată printr-o diferență a diferențelor (difference in differences):

      \[\Delta = (a_{F,P} - a_{F,T}) - (a_{Q,P} - a_{Q,T}),\]
      (15.6)

      egală cu 9,2 puncte, unde \(a_{m,D}\) este acuratețea modelului \(m\) (F pentru FinBERT, Q pentru Qwen) pe datele \(D\) (P pentru PhraseBank, T pentru Twitter). Intervalul ei bootstrap de 95% este [6,7; 11,9]. Ipoteza de identificare este că, fără suprapunerea cu datele de antrenare, ambele modele ar pierde la fel de mult de la PhraseBank la Twitter. Intervalul măsoară doar zgomotul de eșantionare, nu această ipoteză: cele două arhitecturi pot reacționa diferit la un domeniu nou.

      Rezultatul susține o diferență descriptivă între cele două scăderi de acuratețe. Atribuirea lui \(\Delta\) suprapunerii cu datele de antrenare ar cere și un comparator necontaminat și absența oricărei alte schimbări diferențiale; Qwen nu a fost ajustat pe PhraseBank, dar textele pot fi în datele lui de preantrenare. Regula practică este cea a testelor out-of-sample din Capitolele 8 și 13: un model de limbaj este evaluat numai pe texte pe care nu le-a văzut niciodată.

      Pe scurt

      • FinBERT: 89,0% acuratețe pe PhraseBank, pe care a fost antrenat în mare parte
        • Araci (2019): 3 101 din cele 4 845 de propoziții ale versiunii sale (aici 4 846)
      • Pe Twitter, FinBERT are 72,5%: o scădere de 16,4 puncte (din valorile nerotunjite)
        • Qwen2.5-7B, fără fine-tuning pe aceste etichete, scade și el cu 7,2 puncte: titlurile Twitter sînt mai greu de clasificat
      • Diferența diferențelor: \(\Delta = (a_{F,P} - a_{F,T}) - (a_{Q,P} - a_{Q,T})\) = 9,2 puncte
        • CI 95% bootstrap [6,7; 11,9]
        • \(a_{m,D}\): acuratețea modelului \(m\) (F: FinBERT, Q: Qwen) pe datele \(D\) (P: PhraseBank, T: Twitter)
        • Ipoteza de identificare, netestabilă: fără suprapunere, ambele modele ar pierde la fel de la PhraseBank la Twitter; CI măsoară doar zgomotul de eșantionare
      • Tipul de dovadă: o diferență descriptivă între scăderile de acuratețe
        • Atribuirea lui \(\Delta\) suprapunerii cere și un comparator necontaminat și nicio altă schimbare diferențială
        • Qwen nu a fost adaptat pe PhraseBank, dar textele pot apărea în datele lui de pretraining
      • Regula: evaluați un model de limbaj doar pe texte pe care nu le-a văzut niciodată
        • Ca în testele în afara eșantionului (out-of-sample) din capitolele 8 și 13

      De la predicția cuvîntului următor la urmarea instrucțiunilor

      Slide 19 în PDF

      Shannon (1951) a arătat că limba engleză este foarte previzibilă pornind de la literele anterioare. Un model mare de limbaj (LLM) se sprijină pe aceeași idee: el estimează distribuția condiționată \(P(w_{t+1} \mid w_1, \dots, w_t)\) a unității următoare, unde \(w_t\) este a \(t\)-a unitate, un cuvînt sau o parte de cuvînt. Antrenat pe suficient text, acest singur obiectiv produce modele care pot rezolva o gamă largă de sarcini.

      Brown et al. (2020) au arătat că, la scară mare, astfel de modele rezolvă sarcini pornind de la cîteva exemple incluse în prompt, adică utilizarea few-shot. Ouyang et al. (2022) au adăugat ajustarea pe instrucțiuni (instruction tuning) și RLHF (reinforcement learning from human feedback), care învață modelul să urmeze cereri formulate în limbaj natural. Clasificarea zero-shot folosită în capitol se bazează pe această capacitate.

      Există și LLM-uri specializate pe domeniu. BloombergGPT (Wu et al., 2023) are 50 de miliarde de parametri și a fost antrenat pe text financiar și general. Fundamentele predicției cuvîntului următor și ale prelucrării limbajului natural sînt prezentate în cursurile Quantinar indicate pe slide.

      Pe scurt

      • Shannon (1951): engleza este foarte predictibilă din literele anterioare
        • Un model mare de limbaj (LLM) estimează \(P(w_{t+1} \mid w_1, \dots, w_t)\) pe tokeni
        • \(w_t\): al \(t\)-lea token, un cuvînt sau o parte de cuvînt
        • Brown et al. (2020): la scară mare, sarcinile se rezolvă din cîteva exemple date în prompt (few-shot)
        • Ouyang et al. (2022): ajustarea pe instrucțiuni (instruction tuning) și RLHF (reinforcement learning from human feedback, învățare prin recompensă din evaluările oamenilor) antrenează modelul să urmeze instrucțiuni
      • BloombergGPT (Wu et al. (2023)): 50 de miliarde de parametri, antrenat pe text financiar și general
      De la predicția cuvîntului următor la urmarea instrucțiunilor Claude E. Shannon, fondatorul teoriei informației Foto: Tekniska museet, Stockholm (fără dată); CC BY 2.0; Wikimedia Commons

      Clasificarea zero-shot cu Qwen2.5: prompt-ul și probabilitățile

      Slide 20 în PDF

      Clasificatorul zero-shot nu are nevoie de niciun exemplu etichetat. Prompt-ul este format dintr-o instrucțiune de sistem, „You classify the sentiment of financial news for investors. Answer with one word: positive, negative or neutral.”, urmată de text în forma „Headline: <text> Sentiment:”. Răspunsul modelului nu este generat ca text liber; în schimb, probabilitățile celor trei cuvinte de răspuns sînt citite direct.

      La prima poziție generată, fie \(z_k\) valorile logit (logits) ale unităților „positive”, „negative” și „neutral”. Normalizarea pe aceste trei cuvinte dă

      \[p_k = \frac{e^{z_k}}{\sum_j e^{z_j}}, \qquad k \in \{\text{pos}, \text{neg}, \text{neu}\}.\]
      (15.7)

      Eticheta este \(\arg\max_k p_k\), iar scorul este \(p_{\text{pos}} - p_{\text{neg}}\), ca pentru FinBERT. Citirea probabilităților în locul analizei textului generat face clasificatorul determinist și dă un scor continuu care poate intra într-o regresie.

      Pe scurt

      • Prompt-ul: o instrucțiune de sistem plus textul de clasificat
        • You classify the sentiment of financial news for investors. Answer with one word: positive, negative or neutral.
        • Headline: <text> Sentiment:
      • Citim logiții \(z_k\) (scorurile nenormalizate ale modelului) ai tokenilor „positive”, „negative”, „neutral” la prima poziție generată
        • \(p_k = e^{z_k} / \sum_j e^{z_j}\), normalizat pe cele trei cuvinte-răspuns
        • Eticheta: \(\arg\max_k p_k\)
        • Scorul: \(p_{\text{poz}} - p_{\text{neg}}\), ca la FinBERT

      Temperatura și modelele Qwen2.5

      Slide 21 în PDF

      Cînd un LLM generează text, el extrage unitatea următoare dintr-o distribuție controlată de temperatura \(T > 0\):

      \[p_k(T) = \frac{e^{z_k/T}}{\sum_j e^{z_j/T}}.\]
      (15.8)

      Cînd \(T \to 0\), modelul alege mereu unitatea cea mai probabilă (greedy decoding) și dă același răspuns la fiecare rulare; Lopez-Lira & Tang (2026) folosesc temperatura 0. La \(T = 1\), modelul extrage din propria distribuție, iar \(T > 1\) aplatizează probabilitățile, deci răspunsurile variază mai mult.

      În acest capitol nu este generat niciun text. Eticheta \(\arg\max_k p_k\) este răspunsul pe care modelul l-ar da cînd \(T \to 0\), iar scorul păstrează probabilitățile la \(T = 1\) din (15.7), fără nimic de analizat. Modelele aparțin familiei Qwen2.5 (Qwen Team, 2024), modele cu ponderi publice (open-weight) de la 0,5 la 72 de miliarde de parametri, publicate la 19 septembrie 2024 sub licența Apache 2.0 sau, pentru 3B, Qwen Research License. Capitolul folosește 0.5B, 1.5B, 3B, 7B și 14B, unde B înseamnă miliarde de parametri; timpii de procesare se află în Anexă.

      Ponderile publice contează din două motive:

      1. Rezultatele pot fi reproduse cu exact același model.
      2. Data publicării ponderilor limitează ce ar fi putut ști modelul, proprietate folosită în secțiunea despre look-ahead bias.

      Pe scurt

      • La generare, modelul extrage următorul token din \(p_k(T) = e^{z_k/T} / \sum_j e^{z_j/T}\), cu temperatura \(T > 0\)
        • \(T \to 0\): mereu tokenul cel mai probabil (decodare greedy), deci același răspuns la fiecare rulare; Lopez-Lira & Tang (2026) folosesc temperatura 0
        • \(T = 1\): distribuția modelului; \(T > 1\) aplatizează probabilitățile, deci răspunsurile variază mai mult
      • Aici nu se generează text
        • Eticheta \(\arg\max_k p_k\) este răspunsul de la \(T \to 0\)
        • Scorul păstrează probabilitățile de la \(T = 1\), fără extragerea etichetei dintr-un răspuns textual
      • Qwen Team (2024): modele cu ponderi deschise, de la 0,5 la 72 de miliarde de parametri
        • Licențe: Apache 2.0; Qwen Research License pentru 3B
        • Publicate pe 19 septembrie 2024
      • Folosim variantele 0.5B, 1.5B, 3B, 7B și 14B
        • B: miliarde de parametri
        • Timpii de procesare: Anexa
      • Ponderi deschise: rezultatele pot fi reproduse
        • Data publicării limitează ce putea ști modelul

      Dimensiunea modelului și acuratețea zero-shot

      Slide 22 în PDF

      Graficul arată F1 macro pentru cele cinci modele Qwen2.5 zero-shot, toate cu același prompt. Axa orizontală este numărul de parametri în miliarde, pe scară logaritmică, iar axa verticală este F1 macro în procente. Linia albastră este Financial PhraseBank, iar cea roșie Twitter Financial News; liniile orizontale punctate sînt FinBERT pe cele două corpusuri.

      În versiunea interactivă, selectorul comută între F1 macro și acuratețe, iar cursorul alege prompt-ul folosit pe Twitter, P1, P2 sau P3; cele trei prompt-uri pun aceeași întrebare în cuvinte diferite. Butonul ▶ parcurge cele trei prompt-uri. Textul de sub grafic dă valoarea pentru 1.5B, 7B, 14B și FinBERT, ponderea răspunsurilor „neutral” ale modelului 1.5B și comparația McNemar dintre 7B și 1.5B.

        Întrebare pentru sală Pornim de la prompt-ul P1 și rulăm ▶ pînă la P3. Dintre modelele Qwen2.5 1.5B, 7B și 14B, care va avea cel mai mare F1 macro pe Twitter la P3?
        Răspuns

        14B. La P3, F1 macro este 57,8% pentru 1.5B, 71,8% pentru 7B și 73,3% pentru 14B. La P1 conducea 7B: 72,6%, față de 71,3% pentru 14B și 55,3% pentru 1.5B. Clasamentul depinde și de prompt: avantajul observat la P1 nu se transferă automat la P3.

        Pe PhraseBank, F1 macro crește cu mărimea, de la 63,3% (0.5B) la 82,1% (14B), tot sub cel al FinBERT, 88,3%, un avantaj datorat parțial suprapunerii cu datele de antrenare (Distorsiunea evaluării in-sample). Pe Twitter, cu prompt-ul P1, relația nu este monotonă: 1.5B este cel mai slab model (55,3%), iar 7B cel mai bun (72,6%), peste FinBERT (66,8%) și peste 14B (71,3%). În acuratețe, 7B depășește 1.5B cu 21,5 puncte, cu \(p < 0{,}001\) în testul McNemar.

        Clasamentul depinde și de prompt. La P3, F1 macro este 57,8% pentru 1.5B, 71,8% pentru 7B și 73,3% pentru 14B, deci avantajul lui 7B de la P1 nu se transferă. Modelele mici reacționează puternic la formulare: cu prompt-ul P1, modelul 1.5B răspunde rar „neutral”. Prompt-ul este un parametru al clasificatorului, discutat în Aprofundări.

        Pe scurt

        • F1 macro pentru Qwen2.5 zero-shot cu același prompt, iar liniile punctate arată FinBERT
        • PhraseBank: F1 macro crește de la 63,3% (0.5B) la 82,1% (14B), tot sub FinBERT (88,3%)
        • Pe Twitter, F1 macro nu crește monoton cu mărimea
          • 1.5B este cel mai slab (55,3%)
          • 7B este cel mai bun (72,6%), peste FinBERT (66,8%)
          • Diferența de acuratețe dintre 7B și 1.5B este de +21,5 puncte procentuale (testul McNemar: \(p\) \(<\)0,001)
        • Modelele mici sînt foarte sensibile la formulare
          • Modelul 1.5B răspunde rar „neutral” cu acest prompt
        MFM_ch15_llm_zero_shot

        Sinteza secțiunii

        Modelele de limbaj citesc cuvintele în context. FinBERT, un BERT ajustat pe PhraseBank, pare pe PhraseBank mai bun decît este: scăderea lui suplimentară de acuratețe pe Twitter, (15.6), este de 9,2 puncte. LLM-urile zero-shot clasifică pornind de la un prompt, citind probabilitățile cuvintelor de răspuns, (15.7), fără să genereze text. Acuratețea lor nu crește monoton cu mărimea și depinde de prompt.

        Embeddings ca variabile

        Un model de embeddings transformă un text într-un vector generic, neantrenat pentru sentiment. Un clasificator estimat pe acești vectori cu un număr modest de etichete este a patra cale, între dicționare și modelele ajustate. Secțiunea se întreabă dacă astfel de vectori conțin sentimentul unui titlu și de cîte etichete are nevoie un clasificator simplu.

        Pot vectorii generici ai textelor măsura sentimentul?

        Slide 23 în PDF

        Un embedding este un vector \(e_d \in \mathbb{R}^k\) atribuit textului \(d\) astfel încît textele asemănătoare să aibă vectori apropiați. Embeddings la nivel de cuvînt provin din word2vec (Mikolov et al., 2013); Sentence-BERT (Reimers & Gurevych, 2019) produce vectori pentru propoziții întregi. Capitolul folosește MiniLM (Wang et al., 2020), cu \(k = 384\) și vectori de lungime unitară, deci similaritatea a două texte este \(\cos(e_a, e_b) = e_a^\top e_b\). Embeddings intră într-un clasificator sau într-o regresie ca orice altă variabilă.

        Graficul arată titlurile de validare Twitter în planul primelor două componente principale ale vectorilor MiniLM: prima componentă pe axa orizontală, a doua pe cea verticală, fiecare titlu fiind un punct colorat după eticheta umană (1 566 neutre, 475 pozitive și 347 negative). Analiza componentelor principale (PCA, principal component analysis), introdusă în Capitolul 3, păstrează direcțiile de varianță maximă, nu pe cele legate de etichetă.

        În versiunea interactivă, cursorul rotește o direcție de proiecție în planul PC1–PC2, de la 0° (prima componentă principală) la 180°, iar al doilea panou arată titlurile pozitive și negative proiectate pe această direcție. Butonul ▶ rotește direcția pas cu pas; textul de sub grafic raportează aria de sub curba ROC (AUC) pentru titlurile pozitive față de cele negative, la direcția curentă și la cea mai bună.

          Întrebare pentru sală Cea mai bună direcție din planul primelor două componente principale ale vectorilor MiniLM separă titlurile pozitive de cele negative cu AUC ≈ 0,636. Ce putem deduce despre informația de sentiment din embeddings?
          Răspuns

          Separarea liniară în acest plan este modestă, dar rezultatul nu exclude informație utilă în celelalte dimensiuni. PCA maximizează varianța explicată, fără să folosească etichetele. AUC privește aici numai ordonarea titlurilor pozitive față de cele negative; nu este acuratețea în trei clase. O regresie logistică pe toate cele 384 de dimensiuni ajunge la 78,6% acuratețe pe Twitter.

          Cea mai bună direcție din acest plan separă titlurile pozitive de cele negative cu AUC ≈ 0,636, o separare modestă. Acest AUC privește doar ordonarea titlurilor pozitive față de cele negative și nu este o acuratețe pe trei clase. PCA maximizează varianța explicată fără să folosească etichetele, deci rezultatul nu exclude informație de sentiment în celelalte dimensiuni. O regresie logistică pe toate cele 384 de dimensiuni găsește direcția sentimentului și ajunge la 78,6% acuratețe pe Twitter.

          Pe scurt

          • Embedding: un vector \(e_d \in \mathbb{R}^k\), apropiat pentru texte asemănătoare
          • Graficul: titlurile din setul de validare Twitter, colorate după etichetă
            • Axele: primele două componente principale ale vectorilor MiniLM
          • Primele două componente nu separă sentimentul
            • PCA (principal component analysis, analiza componentelor principale; Capitolul 3) păstrează direcțiile de varianță maximă, nu pe cele legate de etichetă
          • O regresie logistică pe toate cele 384 de dimensiuni găsește direcția sentimentului
            • 78,6% acuratețe pe Twitter
          MFM_ch15_embeddings

          Numărul necesar de etichete (1/2)

          Slide 24 în PDF

          Un clasificator pe embeddings sau pe variabile TF-IDF are nevoie de etichete din domeniul-țintă, iar curba de învățare (learning curve) arată cum crește acuratețea lui cu numărul acestora. Axa orizontală este numărul de titluri etichetate de antrenare, pe scară logaritmică, de la 100 la întregul set de antrenare Twitter; axa verticală este acuratețea pe setul de validare, în procente. Cele două linii colorate sînt embeddings MiniLM + regresie logistică și TF-IDF + regresie logistică, fiecare cu o bandă de \(\pm 2\) abateri standard între reeșantionările de antrenare. Liniile orizontale sînt FinBERT și Qwen2.5-7B, care nu folosesc etichete Twitter.

          În versiunea interactivă, cursorul parcurge numerele testate de etichete de antrenare, iar butonul ▶ se deplasează de-a lungul curbei. Textul de sub grafic raportează acuratețea medie a celor doi clasificatori la mărimea aleasă și o compară cu FinBERT.

            Întrebare pentru sală Care este primul număr testat de etichete Twitter la care acuratețea medie a MiniLM + LR, calculată între reeșantionările de antrenare, depășește FinBERT?
            Răspuns

            400. Media este 71,9% la 200 de etichete și 73,3% la 400; FinBERT are 72,5%. Unele antrenări depășesc reperul deja la 200, iar la 800 îl depășesc toate cele zece. Pragul de 400 privește media, nu fiecare eșantion. TF-IDF pornește mai jos (66,9% la 100 de etichete), dar ajunge la circa 83% cu toate cele 9 543 de etichete, față de 78,6% pentru embeddings.

            Acuratețea medie a MiniLM + LR este 71,9% la 200 de etichete și 73,3% la 400, față de 72,5% pentru FinBERT: 400 este prima mărime testată la care media depășește reperul. Unele antrenări depășesc FinBERT deja la 200 de etichete, iar la 800 îl depășesc toate cele zece. Pragul de 400 privește media, nu fiecare eșantion.

            Numărul necesar de etichete (2/2)

            Slide 25 în PDF

            Fiecare punct al curbei provine dintr-o regresie logistică antrenată pe o submulțime aleatoare a setului de antrenare Twitter, de mărimea dată, cu 10 repetări pentru fiecare mărime; banda acoperă \(\pm 2\) abateri standard între repetări. Designul măsoară cît depinde rezultatul de titlurile care se întîmplă să fie etichetate, nu doar de numărul lor.

            Embeddings + regresie logistică pornesc de sus: 69,0% cu 100 de etichete și peste FinBERT de la 400 de etichete. Vectorii preantrenați conțin deja cea mai mare parte din ce îi trebuie clasificatorului, iar cîteva sute de etichete ajung pentru a găsi direcția sentimentului. TF-IDF pornește mai jos, de la 66,9%, dar continuă să se îmbunătățească și ajunge la circa 83% cu toate etichetele, față de 78,6% pentru embeddings. Cu multe etichete, cuvintele exacte precum „upgrade”, „cuts” sau „misses” poartă semnalul în titluri, iar o reprezentare rară (sparse) a cuvintelor le poate folosi direct.

            Regula practică este de a eticheta cîteva sute de documente din propriul domeniu înainte de a avea încredere într-un model preluat de-a gata. Același eșantion etichetat servește mai tîrziu ca eșantion de validare în secțiunea despre scoruri ca estimări.

            Pe scurt

            • Regresie logistică antrenată pe submulțimi aleatoare ale setului de antrenare Twitter
              • 10 repetări pentru fiecare mărime a eșantionului, iar banda arată \(\pm 2\) abateri standard
            • Embeddings + regresie logistică: 69,0% acuratețe cu 100 de etichete
              • Peste FinBERT începînd de la 400 de etichete
              • Vectorii pre-antrenați conțin deja cea mai mare parte a informației necesare
            • TF-IDF pornește mai jos (66,9%), dar continuă să crească
              • Circa 83% cu toate etichetele, față de 78,6% pentru embeddings
              • Cu multe etichete, cuvintele exacte („upgrade”, „cuts”, „misses”) conțin semnalul în titluri
            • Regulă practică: etichetați cîteva sute de documente din domeniul de interes
              • Înainte de a vă baza pe un model gata antrenat
            MFM_ch15_embeddings

            Sinteza secțiunii

            Vectorii generici MiniLM nu separă sentimentul în primele lor două componente principale, dar o regresie logistică pe toate cele 384 de dimensiuni ajunge la 78,6% pe Twitter și depășește FinBERT în acuratețe medie de la 400 de etichete. Cu întregul set de antrenare, TF-IDF se descurcă și mai bine, cu circa 83%. Cîteva sute de etichete din domeniu valorează mai mult decît un model general mai mare.

            Deplasarea de anticipare și memorarea

            Un LLM este antrenat pe texte care pot descrie chiar evenimentele pe care un backtest încearcă să le prognozeze. Secțiunea formulează problema, prezintă un test direct al memoriei lui Qwen2.5 despre mișcările trecute ale pieței și enumeră remediile.

            Memorarea datelor de test de către modelele de limbaj

            Slide 26 în PDF

            Un LLM antrenat pe texte pînă în 2024 poate să fi citit ce s-a întîmplat după un titlu publicat în 2015. Un backtest pe știrile din 2015 amestecă atunci prognoza cu amintirea: un scor ridicat poate reflecta cunoașterea traiectoriei ulterioare a prețului, nu o lectură a titlului.

            Glasserman & Lin (2023) identifică două distorsiuni în backtest-urile de sentiment cu LLM-uri. Look-ahead bias apare cînd modelul cunoaște randamentele care au urmat știrii. Distragerea (distraction) apare cînd cunoștințele generale despre compania numită interferează cu lectura textului; în testele lor, distragerea a contat mai mult decît look-ahead bias. Sarkar & Vafa (2024) arată, prin teste directe, că look-ahead bias este prezent în aplicațiile LLM la conferințele privind rezultatele și la alegeri.

            Orice backtest al scorurilor LLM pe titluri anterioare publicării modelului are nevoie, prin urmare, de o precizare a ceea ce modelul ar fi putut ști și, de preferință, de un test al acestui lucru.

            Pe scurt

            • Un LLM antrenat pe texte de pînă în 2024 poate să fi citit ce s-a întîmplat după un titlu din 2015
              • Un backtest pe știrile din 2015 confundă atunci prognoza cu memorarea
            • Glasserman & Lin (2023): două distorsiuni în backtest-urile de sentiment
              • Deplasarea de anticipare: modelul cunoaște randamentele care au urmat știrii
              • Efectul de distragere: cunoștințele generale despre compania numită interferează cu citirea textului
              • În testele lor, distragerea a contat mai mult decît deplasarea de anticipare
            • Sarkar & Vafa (2024): teste directe arată deplasarea de anticipare în aplicații ale LLM-urilor
              • La conferințe despre rezultate și la alegeri

            Testul memoriei: întrebări despre trecut, fără context

            Slide 27 în PDF

            Testul îl întreabă pe model despre mișcările trecute ale pieței fără să îi dea vreun text de citit. În varianta lunară, întrebarea este „Did the S&P 500 index rise or fall during <month year>?”, pusă pentru fiecare lună, în 296 de luni dinainte de publicarea ponderilor și 23 de luni de după. În varianta zilnică, întrebarea este „Did Apple stock close higher or lower on <date> than on the previous trading day?”, pusă pentru 500 de zile aleatoare din 2010–2023 și pentru 493 de zile de după octombrie 2024.

            Scorul este \(P(\text{creștere})\), calculat din probabilitățile cuvintelor de răspuns, ca în (15.7). Direcția adevărată provine din prețurile lunare de închidere ale S&P 500 și din cele zilnice ale Apple. Discriminarea este măsurată prin AUC, aria de sub curba ROC (receiver operating characteristic): probabilitatea ca o perioadă de creștere aleasă aleator să primească un scor mai mare decît o perioadă de scădere aleasă aleator. Un AUC de 0,5 înseamnă nicio discriminare; metrica este prezentată în Capitolul 13.

            După publicare nu mai există nimic de amintit. Dacă data nu poartă informație predictivă, de exemplu prin sezonalitate, AUC-ul populației după publicare este 0,5, iar AUC-ul din eșantion variază în jurul acestei valori. Lunile de după publicare servesc astfel drept grup de control pentru lunile de dinainte.

            Pe scurt

            • Întrebarea lunară: „Did the S&P 500 index rise or fall during <lună an>?”
              • Pusă pentru 296 de luni dinainte de publicarea ponderilor și pentru 23 de luni de după
              • Întrebarea zilnică: „Did Apple stock close higher or lower on <dată> than on the previous trading day?”, pusă pentru 500 de zile aleatoare din 2010–2023 și pentru 493 de zile de după octombrie 2024
            • Scorul: \(P(\text{creștere})\), calculat din probabilitățile cuvintelor-răspuns
            • Direcția adevărată: din prețurile de închidere lunare ale S&P 500 și din cele zilnice ale Apple
              • AUC (aria de sub curba ROC, receiver operating characteristic): probabilitatea ca o perioadă aleatoare de creștere să primească un scor mai mare decît una aleatoare de scădere
              • AUC = 0,5 înseamnă nicio capacitate de discriminare (Capitolul 13)
            • După publicare nu mai există nimic de memorat
              • Dacă data nu conține informație predictivă (de exemplu sezonalitate), AUC în populație este 0,5
              • AUC empiric variază în jurul acestei valori

            Memoria măsurată: lunile da, zilele nu (1/2)

            Slide 28 în PDF

            Graficul raportează AUC pentru trei modele Qwen2.5, 1.5B, 7B și 14B, cu intervale de 95%. Panoul din stînga privește direcția lunilor S&P 500, iar cel din dreapta direcția zilelor individuale Apple; axa orizontală este mărimea modelului, iar axa verticală AUC. Punctele albastre sînt perioadele dinainte de publicarea ponderilor, cele portocalii perioadele de după publicare, cînd modelul nu poate ști răspunsul. Linia întreruptă marchează 0,5.

            În versiunea interactivă, primul selector alege seria (lunile S&P 500 sau zilele Apple), iar al doilea modelul. Cursorul stabilește pragul peste care un răspuns contează drept „creștere”, iar al doilea panou arată punctul corespunzător pe curba ROC; butonul ▶ mută pragul de la 0 la 1 și trasează curba.

              Întrebare pentru sală Pentru Qwen2.5-14B, AUC pe lunile S&P 500 dinainte de publicarea ponderilor este 0,69, cu CI 95% [0,62; 0,75]. Ce concluzie susține acest rezultat?
              Răspuns

              Discriminare peste 0,5, compatibilă cu memorarea, fără să identifice singură mecanismul. Rezultatul măsoară discriminarea unor luni trecute: nu separă memorarea de regularitățile calendaristice sau de regim și nu stabilește performanța viitoare. Pentru zilele individuale ale Apple, AUC rămîne între 0,48 și 0,52. Pe cele 23 de luni de după publicare, AUC este 0,59, cu un interval larg, aproximativ [0,35; 0,84]: ar fi nevoie de circa 101 luni.

              Pentru Qwen2.5-14B, AUC pe lunile S&P 500 dinainte de publicare este 0,69, cu CI 95% [0,62; 0,75]. Este o discriminare peste 0,5, compatibilă cu memorarea, dar care nu identifică singură mecanismul: nu separă memorarea de regularitățile calendaristice sau de regim și nu spune nimic despre lunile viitoare. Pentru zilele individuale Apple, AUC rămîne între 0,48 și 0,52. Pe cele 23 de luni de după publicare, AUC pentru 14B este 0,59, cu un interval larg, de aproximativ [0,35; 0,84].

              Memoria măsurată: lunile da, zilele nu (2/2)

              Slide 29 în PDF

              Intervalele sînt intervale bootstrap de 95%, cu lunile reeșantionate independent. Înainte de publicare, AUC este 0,67 pentru 7B (CI [0,61; 0,73]) și 0,69 pentru 14B (CI [0,62; 0,75]), iar valoarea p a testului de permutare pentru 14B este sub 0,001. Modelul 1.5B știe mult mai puțin, cu un AUC de 0,57.

              După publicare, pe 23 de luni, intervalele includ 0,5, dar sînt prea largi pentru a dovedi ceva. Ar fi nevoie de circa 101 luni de după publicare pentru a detecta o scădere de la 0,69 la 0,5; testul formal și puterea lui se află în Anexă. Pentru zilele individuale Apple, AUC este între 0,48 și 0,52 înainte de publicare: nu este detectată nicio discriminare peste hazard.

              Look-ahead bias este deci un pericol la orizontul evenimentelor bine cunoscute, cum este direcția unei luni rămase în memorie pentru un crah, și mai puțin pentru zgomotul zilnic. Rezultatul este descriptiv: discriminarea lunilor este compatibilă cu memorarea, dar nu o separă de regularitățile calendaristice sau de regim. Răspunsurile lui 14B pentru fiecare lună sînt prezentate în Aprofundări.

              Pe scurt

              • AUC cu intervale bootstrap de 95%, cu lunile reeșantionate independent
              • Lunile dinainte de publicare: AUC 0,67 pentru 7B și 0,69 pentru 14B
                • CI [0,61; 0,73] pentru 7B și [0,62; 0,75] pentru 14B
                • Testul prin permutări pentru 14B: \(p\) \(<\)0,001
              • Modelul 1.5B știe mult mai puțin: AUC 0,57
              • După publicare (23 de luni) intervalele includ 0,5, dar sînt prea largi pentru o concluzie
                • Ar fi nevoie de circa 101 luni după publicare pentru a detecta o cădere la 0,5
                • Testul formal: Anexa
              • Zile individuale pentru Apple: AUC între 0,48 și 0,52 înainte de publicare, fără discriminare detectabilă peste nivelul aleator
              • Deplasarea de anticipare este un pericol pentru evenimentele bine cunoscute
                • Mai puțin pentru zgomotul zilnic
              • Tipul de dovadă: o descriere; discriminarea lunilor este compatibilă cu memorarea, dar nu o separă de regularitățile calendaristice sau de regim
              MFM_ch15_lookahead

              Remedii: modele disponibile la data analizată

              Slide 30 în PDF

              Există trei remedii:

              1. Testarea numai pe știri publicate după data-limită de antrenare a modelului, remediul cel mai curat. Lopez-Lira & Tang (2026) evaluează GPT-4 pe titluri publicate după această dată; designul este curat, dar fereastra de evaluare începe tîrziu.
              2. Mascarea numelor companiilor și a datelor înainte de evaluare și compararea pantelor cu și fără mascare (Glasserman & Lin, 2023). Acesta este un diagnostic, nu o vindecare, pentru că produsele, evenimentele sau citatele pot identifica în continuare episodul.
              3. Un model disponibil la data analizată (point-in-time model), antrenat numai pe textele disponibile pînă la data \(t\) a analizei (Sarkar & Vafa, 2024). Drinkall et al. (2024) publică o serie de LLM-uri point-in-time, fiecare fără cunoștințe despre faptele de după data lui, cu modele și date de antrenare publice. He et al. (2025) construiesc ChronoBERT și ChronoGPT, care folosesc numai textele disponibile la fiecare dată; pe randamentele din ziua următoare știrilor, rapoartele lor Sharpe sînt apropiate de cele ale unui model mult mai mare, deci look-ahead bias este modest în acea aplicație.

              Oricare ar fi remediul ales, fiecare rezultat trebuie să precizeze versiunea modelului și data publicării ponderilor lui, astfel încît cititorul să poată judeca ce ar fi putut ști modelul.

              Pe scurt

              • Testați doar după data-limită a datelor de antrenare
                • Lopez-Lira & Tang (2026) evaluează GPT-4 (a patra versiune a modelelor GPT) pe titluri de după data-limită
                • Contaminarea este eliminată, dar fereastra de test începe tîrziu
              • Mascați numele companiilor și datele înainte de evaluare (Glasserman & Lin (2023))
                • Apoi comparați pantele cu și fără mascare
                • Este un diagnostic: produsele, evenimentele sau citatele pot identifica în continuare episodul
              • Modele cu informație limitată la o dată de referință (Sarkar & Vafa (2024))
                • Antrenate doar pe textul disponibil pînă la data \(t\)
                • Drinkall et al. (2024): o serie de LLM-uri cu date de referință succesive, fiecare fără informații despre faptele de după data lui, iar modelele și datele lor de antrenare sînt publice
                • He et al. (2025): ChronoBERT și ChronoGPT folosesc doar textul disponibil la fiecare dată
                • La prognoza randamentelor zilei următoare din știri, rapoartele lor Sharpe sînt apropiate de cele ale unui model mult mai mare: acolo, deplasarea de anticipare are un efect modest
              • Raportați versiunea modelului și data publicării ponderilor sale împreună cu fiecare rezultat

              Sinteza secțiunii

              Întrebat doar de lună, Qwen2.5-14B separă lunile de creștere ale S&P 500 de cele de scădere dinainte de publicarea lui cu un AUC de 0,69, în timp ce zilele individuale Apple nu sînt discriminate. Cele 23 de luni de după publicare sînt prea puține pentru a arăta dacă discriminarea dispare. Backtest-urile scorurilor LLM au deci nevoie de date de după publicare, de diagnostice prin mascare sau de modele point-in-time și de precizarea datei de publicare a modelului.

              De la sentiment la un semnal de tranzacționare

              Secțiunile anterioare au măsurat cît de bine concordă scorurile cu etichetele umane. Această secțiune se întreabă dacă tonul titlurilor datate prognozează randamente care mai pot fi tranzacționate. Ea descrie titlurile FNSPID și marcajele lor de timp, regresia pe date cumulate și inferența ei cu 16 acțiuni, precum și o strategie zilnică long-short după costuri.

              Titluri datate, potrivite cu prețurile zilnice

              Slide 31 în PDF

              Datele provin din FNSPID, Financial News and Stock Price Integration Dataset (Dong, Fan & Peng, 2024): 15,7 milioane de înregistrări de știri despre firmele din S&P 500, din patru site-uri de știri, pentru 1999–2023, sub licența Creative Commons CC BY-NC 4.0 (atribuire, utilizare necomercială).

              Capitolul folosește 16 acțiuni americane mari pentru care prețurile zilnice sînt disponibile în datele cursului: firme de tehnologie, bănci, GameStop și Strategy. După eliminarea titlurilor repetate rămîn 106 820 de titluri distincte și 18 282 de zile-acțiune cu știri, între 27 octombrie 2009 și 18 decembrie 2023. Acoperirea este inegală în timp, așa cum arată Aprofundările.

              Eșantionul este mic în secțiune transversală și selectat: 16 firme mari, urmărite intens, alese dintre supraviețuitorii de azi. Ambele trăsături contează pentru interpretarea rezultatelor care urmează.

              Pe scurt

              • Întrebarea secțiunii: prognozează tonul titlurilor randamente pe care le mai putem tranzacționa?
              • FNSPID (Dong, Fan & Peng (2024)): 15,7 milioane de știri despre firmele din S&P 500, 1999–2023
                • Financial News and Stock Price Integration Dataset
                • Știri de pe patru site-uri de știri
                • Licența Creative Commons CC BY-NC 4.0 (atribuire, utilizare necomercială)
              • Aici: 16 acțiuni americane mari cu prețuri zilnice în datele cursului
                • Tehnologie, bănci, GameStop, Strategy
                • 106 820 de titluri distincte, după eliminarea repetițiilor
                • 18 282 de zile-acțiune cu știri (perechi acțiune–zi cu cel puțin un titlu), între 27.10.2009 și 18.12.2023
              Titluri datate, potrivite cu prețurile zilnice Bandă de știri pe clădirea Reuters, New York Foto: bgilliard (2005); CC BY-SA 2.0; Wikimedia Commons

              Marcajul de timp al știrilor: data fără ora publicării (1/2)

              Slide 32 în PDF

              Momentul apariției unui titlu față de ședința de tranzacționare decide ce randament poate prognoza acesta. Graficul arată distribuția marcajelor de timp FNSPID pe ore. Axa orizontală este ora marcajului în timpul universal coordonat (UTC, Coordinated Universal Time), axa verticală numărul de titluri pe scară logaritmică; bara roșie este miezul nopții, 00:00 UTC.

              În versiunea interactivă, cursorul mută ceasul din UTC în alt fus orar, cu decalaje de la −12 la +12 ore, iar butonul ▶ parcurge decalajele.

                Întrebare pentru sală Dacă mutăm ceasul din UTC în UTC−5, aflăm dacă titlurile din FNSPID au apărut înainte sau după închiderea bursei?
                Răspuns

                Nu. 99,8% dintre titluri au marcajul exact 00:00 UTC, deci sursa dă doar data. La UTC−5, 00:00 UTC devine 19:00 în ziua anterioară, dar conversia schimbă doar afișarea marcajului, fără să adauge ora publicării. De aceea randamentele din zilele d și d+1 pot conține încă reacția, iar primul randament folosit ca prognoză tranzacționabilă este cel din d+2.

                Mutarea ceasului nu arată dacă un titlu a apărut înainte sau după închiderea bursei. 99,8% dintre titluri au marcajul exact 00:00 UTC, deci sursa dă doar data. La UTC−5, 00:00 UTC devine 19:00 în ziua anterioară, dar conversia schimbă doar afișarea marcajului; ea nu adaugă ora publicării.

                Marcajul de timp al știrilor: data fără ora publicării (2/2)

                Slide 33 în PDF

                Pentru că 99,8% dintre titluri au marcajul 00:00 UTC, sursa înregistrează data publicării, nu ora ei. Un titlu datat \(d\) poate să fi apărut înainte de deschidere, în timpul ședinței sau după închiderea zilei \(d\). Orice aliniere a titlurilor cu randamentele trebuie să fie validă în toate cele trei cazuri.

                Alinierea folosită în capitol atribuie fiecare titlu zilei \(d\), prima zi de tranzacționare egală cu data lui sau ulterioară. Randamentele din \(d\) și din \(d+1\) pot conține încă reacția la știre: în \(d\), dacă titlul a apărut înainte de ședință sau în timpul ei, în \(d+1\), dacă a apărut după închidere. Prima prognoză sigură este randamentul din \(d+2\), de la închiderea din \(d+1\) la închiderea din \(d+2\). Această aliniere nu are look-ahead, cu prețul renunțării la prima zi de după știre.

                Pe scurt

                • Ora marcajului de timp FNSPID în timpul universal coordonat (UTC), scară logaritmică
                • 99,8% dintre titluri au marcajul exact 00:00 UTC: sursa dă data, nu ora publicării
                  • Un titlu datat \(d\) poate apărea înainte de deschidere, în timpul ședinței sau după închiderea zilei \(d\)
                • Alinierea folosită aici, fără deplasare de anticipare
                  • Ziua \(d\): prima zi de tranzacționare egală cu data titlului sau ulterioară
                  • Randamentele din \(d\) și \(d+1\) pot conține încă reacția
                  • Prima prognoză sigură: randamentul din \(d+2\), de la închiderea din \(d+1\) la închiderea din \(d+2\)
                MFM_ch15_news_data

                Trei scoruri și randamentul în exces

                Slide 34 în PDF

                Pentru fiecare titlu sînt calculate trei scoruri: tonul LM (15.2), scorul net FinBERT \(P(\text{pos}) - P(\text{neg})\) și scorul net Qwen2.5-7B cu prompt-ul P1. Dicționarul LM găsește un cuvînt din listă în doar 27% dintre titluri; toate celelalte primesc tonul 0. Etichetele FinBERT sînt 19% negative, 62% neutre și 18% pozitive.

                Scorurile concordă doar parțial. Între titluri, corelația este 0,62 între FinBERT și Qwen, 0,41 între FinBERT și LM și 0,36 între Qwen și LM. Cele două modele de limbaj sînt mai apropiate între ele decît de dicționar.

                Variabila explicată este randamentul în exces al acțiunii \(i\) în ziua \(t\) față de SPY, un fond tranzacționat la bursă care replică indicele S&P 500:

                \[r^{e}_{i,t} = r_{i,t} - r_{\text{SPY},t}.\]
                (15.9)

                Acest randament ajustat cu piața presupune \(\beta = 1\) pentru fiecare acțiune. Alternativa uzuală este \(r_{i,t} - \hat\alpha_i - \hat\beta_i r_{\text{SPY},t}\), cu \(\hat\beta_i\) estimat înainte de eveniment.

                Pe scurt

                • Cele trei scoruri:
                  • Tonul LM
                  • Scorul net FinBERT \(P(\text{poz}) - P(\text{neg})\)
                  • Scorul net Qwen2.5-7B cu prompt-ul P1 (cel de pe slide-ul despre clasificarea zero-shot)
                  • LM găsește un cuvînt din listă doar în 27% dintre titluri: restul primesc tonul 0
                  • Etichetele FinBERT: 19% negative, 62% neutre, 18% pozitive
                  • Corelațiile pe titluri: FinBERT–Qwen 0,62, FinBERT–LM 0,41, Qwen–LM 0,36
                • Randamentul în exces: \(r^{e}_{i,t} = r_{i,t} - r_{\text{SPY},t}\)
                  • SPY: un fond tranzacționat la bursă care urmărește indicele S&P 500
                  • Ajustat la piață: \(\beta = 1\) pentru fiecare acțiune; alternativa uzuală este \(r_{i,t} - \hat\alpha_i - \hat\beta_i r_{\text{SPY},t}\), cu \(\hat\beta_i\) estimat înaintea evenimentului

                Specificația regresiei și erorile standard grupate pe zile

                Slide 35 în PDF

                Relația dintre scoruri și randamente este estimată printr-o regresie pe date cumulate (pooled regression) pe zilele-acțiune cu știri:

                \[r^{e}_{i,d+h} = a + b\,z_{i,d} + \varepsilon_{i,d+h}, \qquad h = 0, 1, 2,\]
                (15.10)

                unde \(z_{i,d}\) este scorul zilnic al acțiunii \(i\) în ziua \(d\), standardizat pe panel la media 0 și abaterea standard 1. Panta \(b\) este atunci randamentul în exces, în procente, la o abatere standard a scorului. Orizontul \(h = 0\) măsoară reacția din ziua știrii, iar \(h = 2\) măsoară predictibilitatea, pentru că \(d+2\) este primul randament sigur.

                Erorile acțiunilor diferite din aceeași zi sînt corelate prin șocurile comune ale pieței. Erorile standard OLS (ordinary least squares, metoda celor mai mici pătrate) ignoră această corelație și sînt prea mici. Urmînd Petersen (2009), varianța este grupată pe zile:

                \[\widehat{V} = (X^\top X)^{-1}\Big(\sum_{g} X_g^\top \hat\varepsilon_g \hat\varepsilon_g^\top X_g\Big)(X^\top X)^{-1},\]
                (15.11)

                unde \(g\) indexează zilele de tranzacționare, \(X\) conține regresorii (o constantă și \(z\)), iar \(X_g\) și \(\hat\varepsilon_g\) sînt rîndurile și reziduurile OLS ale zilei \(g\). Termenul din mijloc permite orice corelație între reziduurile aceleiași zile și niciuna între zile diferite.

                Pe scurt

                • Regresie pe toate zilele-acțiune cu știri: \(r^{e}_{i,d+h} = a + b\,z_{i,d} + \varepsilon_{i,d+h}\), \(h = 0, 1, 2\)
                  • \(z\): scorul zilnic standardizat pe panel (medie 0, abatere standard 1), deci \(b\) este randamentul în exces (%) asociat unei abateri standard a scorului
                  • \(h = 0\) măsoară reacția, \(h = 2\) măsoară predictibilitatea
                • Erorile acțiunilor din aceeași zi sînt corelate (șocuri comune ale pieței)
                  • Erorile standard (SE) obișnuite din OLS (ordinary least squares, metoda celor mai mici pătrate) le ignoră
                  • Grupăm pe zile (Petersen (2009))
                  • \(\widehat{V} = (X^\top X)^{-1}\left(\sum_{g} X_g^\top \hat\varepsilon_g \hat\varepsilon_g^\top X_g\right)(X^\top X)^{-1}\)
                  • \(g\) indexează zilele de tranzacționare, \(X\) conține regresorii (constanta și \(z\)), iar \(X_g\), \(\hat\varepsilon_g\) sînt rîndurile și reziduurile OLS din ziua \(g\)

                Reacție față de predicție: titlurile descriu prețurile

                Slide 36 în PDF

                Graficul raportează panta \(b\) din (15.10) pentru fiecare dintre cele trei scoruri și cele trei orizonturi. Axa orizontală enumeră scorurile (tonul Loughran–McDonald, FinBERT, Qwen2.5-7B); axa verticală este randamentul în exces în puncte de bază (bp, 1 bp = 0,01%) la o abatere standard a scorului, cu intervale de 95% grupate pe zile. Albastrul este ziua știrii \(d\), ocrul ziua \(d+1\), cînd știrile pot încă sosi, iar roșul ziua \(d+2\), prognoza tranzacționabilă.

                În versiunea interactivă, cursorul stabilește numărul minim de titluri pe zi-acțiune care intră în regresie, de la 1 la 20, iar selectorul alege orizonturile, de la \(d\) la \(d+2\) sau de la \(d\) la \(d+5\). Butonul ▶ crește pas cu pas numărul minim de titluri.

                  Întrebare pentru sală La filtrul inițial de cel puțin un titlu pe zi-acțiune, ce concluzie susțin estimările pantelor pentru randamentul în exces din ziua d+2?
                  Răspuns

                  Nu detectăm pante diferite de zero la pragul bilateral de 5%, cu erori standard grupate pe zi. Statisticile t sînt −0,25 pentru FinBERT, +1,19 pentru Qwen și −0,01 pentru LM; niciuna nu depășește în modul reperul asimptotic 1,96. Este lipsă de dovezi în această specificație, nu dovada unor efecte exact nule. În ziua d pantele sînt mari: FinBERT +39,2 bp (t = 17,27) și Qwen +41,4 bp (t = 19,07); multe titluri relatează chiar mișcarea prețului.

                  În ziua \(d\), pantele sînt mari: FinBERT +39,2 bp (\(t\) = +17,27), Qwen +41,4 bp (\(t\) = +19,07) și LM +15,5 bp (\(t\) = +8,53). Multe titluri relatează chiar mișcarea prețului („shares jump”, „stock falls”), deci cauzalitatea merge în ambele sensuri. În ziua \(d+1\), pantele sînt +3,2 bp pentru FinBERT (\(t\) = +1,60) și +3,7 bp pentru Qwen (\(t\) = +1,86); o parte provine din știri publicate după închiderea din \(d\), nu dintr-o prognoză.

                  În ziua \(d+2\), pantele sînt −0,5 bp pentru FinBERT (\(t\) = −0,25), +2,3 bp pentru Qwen (\(t\) = +1,19) și −0,0 bp pentru LM (\(t\) = −0,01). Niciuna nu depășește 1,96 în valoare absolută: nu detectăm pante diferite de zero la pragul bilateral de 5%, cu erori standard grupate pe zile. Este o lipsă de dovezi în această specificație, nu dovada unor efecte exact nule.

                  Pe scurt

                  • Panta \(b\) în puncte de bază pentru o abatere standard a scorului (s.d. în grafic)
                    • bp: 1 bp = 0,01%
                    • CI 95% grupat pe zile
                  • Ziua \(d\): FinBERT +39,2 bp (\(t\) = +17,27), Qwen +41,4 bp (\(t\) = +19,07), LM +15,5 bp (\(t\) = +8,53)
                    • Multe titluri relatează chiar mișcarea prețului („shares jump”, „stock falls”): cauzalitatea merge în ambele sensuri
                  • Ziua \(d+1\): FinBERT +3,2 bp (\(t\) = +1,60), Qwen +3,7 bp (\(t\) = +1,86)
                    • O parte din acest efect provine din știri publicate după închiderea zilei \(d\), nu dintr-o prognoză
                  • Ziua \(d+2\): FinBERT \(-\)0,5 bp (\(t\) = \(-\)0,25), Qwen +2,3 bp (\(t\) = +1,19), LM \(-\)0,0 bp (\(t\) = \(-\)0,01)
                  MFM_ch15_news_signal

                  Inferență cu 16 acțiuni: grupare pe acțiuni și grupare dublă

                  Slide 37 în PDF

                  Gruparea pe zile tratează șocurile comune, dar erorile unei acțiuni pot fi corelate și între zile, pentru că efectele specifice firmei persistă. Pantele trebuie deci să reziste și grupării pe acțiuni. Gruparea dublă (two-way clustering) (Cameron, Gelbach & Miller, 2011) le combină pe cele două:

                  \[\widehat V_{\text{2way}} = \widehat V_{\text{zi}} + \widehat V_{\text{acțiune}} - \widehat V_{\text{zi} \cap \text{acțiune}},\]
                  (15.12)

                  unde fiecare termen este formula sandwich (15.11), cu grupuri date de zi, de acțiune și, respectiv, de perechea acțiune–zi.

                  O pereche acțiune–zi conține aici o singură observație, deci ultimul termen este estimatorul White, robust doar la heteroscedasticitate. Scăderea lui evită numărarea de două ori a varianței fiecărei observații, pe care o includ atît grupurile pe zile, cît și cele pe acțiuni. Driscoll & Kraay (1998) permit în plus corelația între zile diferite.

                  Pe scurt

                  • Întrebarea: rezistă pantele dacă erorile sînt corelate și în timp, pentru aceeași acțiune?
                  • Efectele de firmă persistă, deci erorile aceleiași acțiuni sînt corelate între zile: grupăm și pe acțiuni
                  • Gruparea dublă (Cameron, Gelbach & Miller (2011)): \(\widehat V_{\text{dublu}} = \widehat V_{\text{zi}} + \widehat V_{\text{acțiune}} - \widehat V_{\text{zi} \cap \text{acțiune}}\)
                    • Fiecare termen este formula sandwich de pe slide-ul anterior, cu grupurile date de zi, de acțiune, respectiv de perechea acțiune–zi
                    • O pereche acțiune–zi are aici o singură observație, deci ultimul termen este estimatorul White, robust doar la heteroscedasticitate
                    • Scăderea lui evită numărarea de două ori a varianței fiecărei observații
                  • Driscoll & Kraay (1998) țin cont, în plus, de corelația dintre zile diferite

                  Puține grupuri: wild cluster bootstrap

                  Slide 38 în PDF

                  Gruparea pe acțiuni lasă doar \(G = 16\) grupuri. Cu atît de puține grupuri, eroarea standard grupată pe acțiuni este prea mică, iar testul \(t\) respinge prea des (Cameron, Gelbach & Miller, 2008). Wild cluster bootstrap cu ipoteza nulă impusă corectează această problemă.

                  Procedura estimează mai întîi modelul restricționat, cu \(b = 0\), care dă o constantă \(\tilde a\) și reziduurile \(\tilde\varepsilon_{i,t}\). Pentru \(j = 1, \dots, B\), cu \(B = 9\,999\), ea extrage ponderi Rademacher \(w_g = \pm 1\), fiecare cu probabilitatea \(\tfrac12\), o extragere pentru fiecare acțiune \(g\), construiește randamentele bootstrap \(r^{e*}_{i,t} = \tilde a + w_{g(i)}\,\tilde\varepsilon_{i,t}\), reestimează regresia și calculează statistica \(t^*_j\) grupată pe acțiuni. Valoarea p este

                  \[p = \frac{1}{B}\sum_{j=1}^{B} \mathbf{1}\{|t^*_j| \ge |t|\}.\]
                  (15.13)

                  Același semn pentru toate reziduurile unei acțiuni păstrează corelația din interiorul grupului. Bootstrap-ul presupune acțiuni independente, deci este citit alături de statistica cu grupare dublă, care permite corelația între acțiuni în aceeași zi.

                  Pe scurt

                  • Cu doar \(G = 16\) acțiuni, SE grupată pe acțiuni este subestimată, iar testul \(t\) respinge prea des (Cameron, Gelbach & Miller (2008))
                  • Wild cluster bootstrap (reeșantionare cu semne aleatoare pe grupuri) cu ipoteza nulă impusă
                    • Estimăm modelul restricționat (\(b = 0\)), cu constanta \(\tilde a\) și reziduurile \(\tilde\varepsilon_{i,t}\)
                    • Pentru \(j = 1, \dots, B\), \(B = 9\,999\): ponderi Rademacher \(w_g = \pm 1\) cu probabilitatea \(\frac12\), o extragere pentru fiecare acțiune \(g\)
                    • \(r^{e*}_{i,t} = \tilde a + w_{g(i)}\,\tilde\varepsilon_{i,t}\); reestimăm regresia și calculăm \(t^*_j\) grupat pe acțiuni
                    • \(p = \frac{1}{B}\sum_j \mathbf{1}\{|t^*_j| \ge |t|\}\)
                  • Același semn pentru toate reziduurile unei acțiuni păstrează corelația din interiorul grupului
                  • Bootstrap-ul presupune acțiuni independente între ele, deci citiți-l împreună cu \(t\) cu grupare dublă

                  Nouă regresii: corecția Holm

                  Slide 39 în PDF

                  Analiza rulează nouă regresii: trei scoruri înmulțite cu trei orizonturi, \(h = 0, 1, 2\). Dacă niciun scor nu ar avea vreun efect, nouă teste la 5% ar da totuși, în medie, \(9 \times 0{,}05 = 0{,}45\) respingeri false. Familia de teste are nevoie de o corecție pentru testarea multiplă.

                  Corecția Holm, prezentată în Capitolul 2, menține rata erorii pe familie (FWER, family-wise error rate), probabilitatea oricărei respingeri false, la cel mult 5%. Cu valorile p ordonate, \(p_{(1)} \le \dots \le p_{(m)}\) și \(m = 9\), valorile p ajustate sînt

                  \[\tilde p_{(k)} = \max_{j \le k}\ \min\{1,\ (m - j + 1)\,p_{(j)}\},\]
                  (15.14)

                  iar \(H_{(k)}\) este respinsă cînd \(\tilde p_{(k)} \le 0{,}05\). Holm este mai puternic decît Bonferroni, care înmulțește fiecare valoare p cu \(m\), și rămîne valid la orice dependență între teste.

                  Pe scurt

                  • Nouă regresii: 3 scoruri \(\times\) 3 orizonturi (\(h\) = 0, 1, 2)
                  • Dacă niciun scor nu ar avea efect, nouă teste la 5% ar da totuși respingeri false
                    • În medie, \(9 \times 0{,}05 = 0{,}45\) respingeri false
                  • Corecția Holm (Capitolul 2) menține FWER la cel mult 5%
                    • FWER (family-wise error rate): probabilitatea vreunei respingeri false
                    • Ordonăm valorile \(p\): \(p_{(1)} \le \dots \le p_{(m)}\), cu \(m = 9\)
                    • \(\tilde p_{(k)} = \max_{j \le k} \min\{1, (m - j + 1)\,p_{(j)}\}\); respingem \(H_{(k)}\) cînd \(\tilde p_{(k)} \le 0{,}05\)
                    • Mai puternică decît Bonferroni (\(m\,p_{(k)}\) pentru toate) și validă oricare ar fi dependența dintre teste

                  Inferență cu 16 acțiuni și nouă regresii: rezultatele

                  Slide 40 în PDF

                  Tabelul raportează, pentru combinațiile principale de scor și orizont, panta în puncte de bază, statistica \(t\) grupată pe acțiuni, statistica cu grupare dublă (15.12), valoarea p din wild bootstrap (15.13) și valoarea p ajustată Holm (15.14). Pantele din aceeași zi rezistă tuturor corecțiilor: FinBERT +39,2 bp, cu \(t\) = +5,71 pe acțiuni și +5,67 cu grupare dublă, și Qwen +41,4 bp, cu +5,10 și +5,07; valorile lor p din bootstrap și Holm sînt sub 0,001.

                  Orizontul tranzacționabil este diferit. Qwen în \(d+2\) are \(t\) = +2,41 pe acțiuni, ceea ce pare semnificativ: \(p\) = 0,029 sub o distribuție \(t\) cu 15 grade de libertate. Wild bootstrap dă \(p\) = 0,061, iar Holm dă apoi 0,37. Printre cele nouă valori p bootstrap ordonate, Qwen în \(d+2\) este a patra, după cele trei valori din aceeași zi, toate sub 0,001, deci valoarea lui p Holm este \((9 - 4 + 1) \times 0{,}061 \approx 0{,}37\). FinBERT și LM în \(d+2\) au valori p Holm de 1,00. Rîndurile neafișate sînt LM în \(d\), cu \(p < 0{,}001\), și cele trei pante din \(d+1\), cu \(p\) = 0,272 (FinBERT), 0,317 (Qwen) și 0,802 (LM).

                  Rezultatul susține o asociere: scorurile și randamentele din aceeași zi se mișcă împreună, dar sensul cauzalității rămîne deschis. Studiul de eveniment din Aprofundări arată că zilele-acțiune cu scorurile cele mai pozitive cîștigă deja +0,63% în cele 5 zile dinaintea știrii.

                  Pe scurt

                  Scor, orizont\(b\) (bp)\(t\) pe acțiuni\(t\) grupare dublă\(p\) wild bootstrap\(p\) Holm
                  FinBERT, \(d\)+39,2+5,71+5,67\(<\)0,001\(<\)0,001
                  Qwen, \(d\)+41,4+5,10+5,07\(<\)0,001\(<\)0,001
                  FinBERT, \(d+2\)\(-\)0,5\(-\)0,35\(-\)0,300,7391,00
                  Qwen, \(d+2\)+2,3+2,41+2,010,0610,37
                  LM, \(d+2\)\(-\)0,0\(-\)0,03\(-\)0,020,9791,00
                  • Qwen în \(d+2\): \(t\) = +2,41, cu grupare pe acțiuni, pare semnificativ
                    • \(p\) = 0,029 cu distribuția \(t\) cu 15 grade de libertate
                    • Dar nu și după wild bootstrap și corecția Holm
                    • Corecția Holm pas cu pas: ordonăm cele 9 valori \(p\) bootstrap; Qwen în \(d+2\) este a 4-a, după cele trei valori din ziua \(d\) (toate sub 0,001), deci \(p\) Holm = (9 \(-\) 4 + 1) \(\times\) 0,061 \(\approx\) 0,37
                    • Rîndurile care nu apar în tabel: LM în ziua \(d\), \(p\) \(<\)0,001; în ziua \(d+1\), \(p\) = 0,272 (FinBERT), 0,317 (Qwen), 0,802 (LM)
                  • Tipul de dovadă: asociere (variabilele se mișcă împreună; nu dovedește o relație cauzală)
                    • Treimea cu scorurile cele mai pozitive are deja un randament în exces cumulat de +0,63% în cele 5 zile dinainte de știre (Aprofundări)

                  O strategie zilnică long-short de sentiment

                  Slide 41 în PDF

                  Regresia măsoară o asociere; o strategie se întreabă dacă semnul scorului aduce un profit care poate fi încasat efectiv. La închiderea din \(d+1\), pentru fiecare acțiune cu știri și scor nenul în ziua \(d\), strategia ia o poziție long dacă scorul este pozitiv și short dacă este negativ. Fiecare poziție este acoperită cu SPY; o acoperire unu-la-unu elimină mișcarea pieței doar cînd \(\beta = 1\). Pozițiile au ponderi egale și sînt închise după o zi, la închiderea din \(d+2\). Scorul LM este zero în 48% dintre zilele-acțiune, iar acestea nu intră în portofoliu.

                  Randamentul brut al strategiei în ziua \(d+2\) este

                  \[G_{d+2} = \frac{1}{N_d}\sum_{i \in A_d} \operatorname{sign}(s_{i,d})\,\big(r_{i,d+2} - r_{\text{SPY},d+2}\big),\]
                  (15.15)

                  unde \(A_d = \{i : |s_{i,d}| > b\}\) este mulțimea acțiunilor cu știri și cu un scor peste pragul \(b\) în valoare absolută, aici \(b = 0\), iar \(N_d = |A_d|\) este numărul de poziții deschise la închiderea din \(d+1\). Dacă \(A_d\) este vidă, \(G_{d+2} = 0\) și nu se plătesc costuri.

                  Pe scurt

                  • Întrebarea: aduce semnul scorului un profit pe care îl putem încasa efectiv?
                  • La închiderea din \(d+1\): pentru fiecare acțiune cu știri și scor nenul în ziua \(d\)
                    • Poziție long dacă scorul este pozitiv și short dacă este negativ
                    • Fiecare poziție este acoperită (hedging) cu SPY; acoperirea unu-la-unu elimină mișcarea pieței doar pentru \(\beta = 1\)
                    • Pozițiile au ponderi egale și se închid după o zi, la închiderea din \(d+2\)
                    • Scorul LM este zero în 48% dintre perechile acțiune–zi: acestea nu intră în portofoliu
                  • Randamentul brut în \(d+2\): \(G_{d+2} = \frac{1}{N_d}\sum_{i \in A_d} \operatorname{sign}(s_{i,d})\,(r_{i,d+2} - r_{\text{SPY},d+2})\)
                    • \(A_d = \{i : |s_{i,d}| > \delta\}\), cu pragul \(\delta = 0\): acțiunile cu știri și scor nenul în ziua \(d\)
                    • \(N_d = |A_d|\): pozițiile deschise la închiderea din \(d+1\); dacă \(A_d\) este vidă, \(G_{d+2} = 0\) și nu se plătesc costuri

                  Costurile de tranzacționare: dus-întors și costul de echilibru

                  Slide 42 în PDF

                  Costul tranzacționării este fixat la \(c\) = 5 bp pe tranzacție într-un sens, pe unitate de valoare nominală tranzacționată. Valoarea este presupusă, nu estimată; ea este plauzibilă pentru acțiuni americane mari și lichide. O tranzacție dus-întors (round trip), intrarea și ieșirea dintr-o poziție, costă \(2c\). Într-o zi cu poziții, strategia face o tranzacție dus-întors pentru portofoliul de acțiuni și una pentru acoperirea cu SPY, fiecare cu valoarea nominală 1, deci plătește \(4c\) = 20 bp.

                  Randamentul net este

                  \[G^{\text{net}}_{d+2} = G_{d+2} - 4c\,\mathbf{1}\{N_d > 0\}.\]
                  (15.16)

                  Costul de echilibru (break-even cost) \(c^*\) este valoarea lui \(c\) la care randamentul net mediu este zero, \(c^* = \bar G_{\text{activ}}/4\), unde \(\bar G_{\text{activ}}\) este randamentul brut mediu în zilele cu poziții. O strategie merită tranzacționată doar dacă costul ei de echilibru depășește costul plătit efectiv.

                  Pe scurt

                  • \(c\) = 5 bp pe tranzacție într-un singur sens, pe unitatea de valoare nominală tranzacționată
                    • Nivel presupus, nu estimat, plauzibil pentru acțiuni americane mari și lichide
                  • O tranzacție dus-întors (intrare și ieșire) costă \(2c\)
                  • Într-o zi cu poziții: \(4c\) = 20 bp
                    • Un dus-întors pentru portofoliul de acțiuni și unul pentru acoperirea SPY
                    • Fiecare cu valoare nominală 1
                  • Randamentul net: \(G^{\text{net}}_{d+2} = G_{d+2} - 4c\,\mathbf{1}\{N_d > 0\}\)
                  • Costul de echilibru \(c^*\): valoarea lui \(c\) la care randamentul net mediu este 0
                    • Adică \(c^* = \bar G_{\text{activ}}/4\)
                    • \(\bar G_{\text{activ}}\): randamentul brut mediu în zilele cu poziții

                  Citirea rezultatelor strategiei: raportul Sharpe și randamentele însumate

                  Slide 43 în PDF

                  Inferența pentru randamentul zilnic mediu folosește statistica \(t\) Newey–West, prezentată în Capitolul 2, și un interval de încredere prin block bootstrap. Ambele permit autocorelația randamentelor zilnice.

                  Raportul Sharpe anualizat este

                  \[SR = \sqrt{252}\,\frac{\bar G}{\hat\sigma},\]
                  (15.17)

                  unde \(\bar G\) și \(\hat\sigma\) sînt media și abaterea standard a randamentului zilnic \(G_t\) pe toate cele 3 568 de zile de tranzacționare; zilele fără poziții intră cu 0, iar după costuri \(G_t\) este înlocuit cu randamentul net (15.16). Pentru Qwen2.5-7B, o medie de +5,64 bp și \(SR\) = +0,63 implică \(\hat\sigma = \sqrt{252} \times \text{media}/SR \approx 143\) bp pe zi.

                  Efectul costurilor rezultă din (15.16): cu poziții în 95% dintre zile, media scade cu \(20 \times 0{,}95\) bp. Graficul următor însumează randamentele zilnice simple în exces; suma este o măsură aditivă a profitului, nu averea compusă.

                  Pe scurt

                  • Inferența pentru randamentul zilnic mediu
                    • \(t\) Newey–West (Capitolul 2)
                    • CI bootstrap pe blocuri
                  • Raportul Sharpe \(SR = \sqrt{252}\,\bar G / \hat\sigma\) (anualizat)
                    • \(\bar G\) și \(\hat\sigma\): media și abaterea standard a randamentului zilnic \(G_t\)
                    • Pe toate cele 3 568 de zile de tranzacționare, zilele fără poziții intrînd cu 0
                  • După costuri, \(G_t\) se înlocuiește cu randamentul net
                    • Exemplu (Qwen2.5-7B): media +5,64 bp și \(SR\) = +0,63 implică \(\hat\sigma = \sqrt{252} \times\) media\(/SR \approx\) 143 bp pe zi
                    • După costuri: poziții în 95% dintre zile, deci media scade cu \(20 \times\) 0,95 bp, la \(-\)13,36 bp pe zi
                  • Graficul următor însumează randamentele zilnice simple în exces
                    • O măsură aditivă a profitului, nu averea compusă

                  Randamentele cumulate ale strategiei: niciun profit net

                  Slide 44 în PDF

                  Graficul arată suma cumulată a randamentelor zilnice în exces ale strategiei (15.15), în procente, din 2010 pînă în 2024. Liniile continue sînt randamentele brute, iar cele întrerupte randamentele nete cu 5 bp pe tranzacție într-un sens; portocaliul este scorul LM, albastrul FinBERT și roșul Qwen2.5-7B.

                  În versiunea interactivă, primul cursor alege ziua randamentului, de la \(d+1\) la \(d+5\), al doilea costul pe tranzacție într-un sens, de la 0 la 10 bp, iar al treilea ultima zi inclusă în sumă. Butonul ▶ extinde suma în timp.

                    Întrebare pentru sală Pentru strategia Qwen2.5-7B pe d+2, media brută este 5,64 bp pe zi, iar proporția zilelor active este aproximativ 95%. La un cost c = 5 bp pe tranzacție, într-un sens, ce medie netă rezultă?
                    Răspuns

                    Aproximativ −13,36 bp pe zi. O zi activă plătește 4c: intrare și ieșire pentru poziția în acțiuni și pentru acoperirea cu SPY. Media netă este 5,64 − 0,95 × 4 × 5 ≈ −13,36 bp. +0,89 bp numără un singur sens; −3,86 bp numără un singur dus-întors. Raportul Sharpe scade de la +0,63 la −1,48, iar costul de echilibru este 1,5 bp pe tranzacție.

                    Înainte de costuri, FinBERT cîștigă +3,27 bp pe zi (\(t\) = +1,27), cu CI 95% [−1,51; +8,93], nediferit de zero; LM are −0,21 bp (\(t\) = −0,07). Qwen2.5-7B cîștigă +5,64 bp pe zi (\(t\) = +2,26, \(p\) = 0,024), cu CI [+0,95; +10,61]. Ca cel mai bun dintre trei scoruri, valoarea lui p Holm este 0,071, nesemnificativă.

                    Costurile elimină cîștigul. O zi activă plătește \(4c\), iar cu zile active în circa 95% dintre zile media netă este \(5{,}64 - 0{,}95 \times 4 \times 5 \approx -13{,}36\) bp pe zi. Costul de echilibru al Qwen2.5-7B este 1,5 bp pe tranzacție, mult sub 5 bp, iar raportul lui Sharpe scade de la +0,63 înainte de costuri la −1,48 după costuri. Rezultatul susține doar o asociere: cîștigurile mari sînt concentrate în 2020–2021 și nu sînt semnificative la 5% (Aprofundări).

                    Pe scurt

                    • Suma randamentelor zilnice în exces (%), înainte de costuri și cu 5 bp pe tranzacție
                    • FinBERT: +3,27 bp pe zi (\(t\) = +1,27), nu diferă de zero
                      • CI 95% [\(-\)1,51; +8,93], iar LM obține \(-\)0,21 bp pe zi (\(t\) = \(-\)0,07)
                    • Qwen2.5-7B: +5,64 bp (\(t\) = +2,26, \(p\) = 0,024)
                      • CI 95% [+0,95; +10,61], dar este cel mai bun dintre cele trei scoruri testate: după corecția Holm pentru cele trei, \(p\) = 0,071, nesemnificativ
                      • Costul de echilibru, +1,5 bp pe tranzacție, este mult sub 5 bp: raportul Sharpe este +0,63 înainte de costuri și \(-\)1,48 după costuri
                    • Tipul de dovadă: asociere
                      • Doar 2020–2021 are cîștiguri mari, nesemnificative la 5% (Aprofundări)
                    MFM_ch15_news_signal

                    Strategia: ziua netranzacționabilă și memorarea

                    Slide 45 în PDF

                    Strategia în ziua netranzacționabilă \(d+1\) verifică alinierea în timp. FinBERT are −0,22 bp (\(t\) = −0,10), iar Qwen +4,06 bp (\(t\) = +1,36). Nu există un cîștig semnificativ nici în această zi: aproape toată reacția are loc în ziua \(d\), pe care marcajele de timp fără oră o fac imposibil de tranzacționat.

                    O parte din avantajul Qwen poate fi memorată. Ponderile Qwen2.5 au fost publicate pe 19 septembrie 2024, iar fiecare titlu din eșantion, din 2010–2023, este anterior. Un titlu care numește un episod poate declanșa amintirea a ceea ce a urmat, spre deosebire de testul Apple din secțiunea anterioară, care dădea doar data. Testul memoriei limitează ce știe modelul despre date calendaristice; nu limitează ce știe despre evenimente numite.

                    Pe scurt

                    • Ziua netranzacționabilă \(d+1\): FinBERT \(-\)0,22 bp (\(t\) = \(-\)0,10), Qwen +4,06 bp (\(t\) = +1,36)
                      • Niciun cîștig semnificativ nici aici: aproape toată reacția are loc în ziua \(d\)
                    • O parte din avantajul Qwen poate proveni din memorare: ponderile Qwen2.5 au fost publicate pe 19 septembrie 2024, după titlurile din 2010–2023
                      • Un titlu care numește episodul poate declanșa amintirea, spre deosebire de testul Apple, care dădea doar data
                    MFM_ch15_news_signal

                    Sinteza secțiunii

                    Scorurile titlurilor explică mișcarea din aceeași zi: +39,2 bp la o abatere standard pentru FinBERT și +41,4 bp pentru Qwen, rezultate robuste la gruparea dublă, la wild bootstrap și la Holm. Relația reflectă în mare parte titluri care descriu mișcări de preț. La primul orizont sigur, \(d+2\), nicio pantă nu rezistă corecțiilor, iar strategia zilnică long-short nu aduce profit net: cel mai bun scor, Qwen2.5-7B, își atinge echilibrul la 1,5 bp pe tranzacție, sub costul presupus de 5 bp.

                    Eroarea de măsurare a scorurilor de sentiment

                    Un scor de sentiment este ieșirea unui model, nu tonul adevărat al textului. Cînd intră într-o regresie ca regresor sau cînd media lui este raportată ca o mărime a populației, eroarea de măsurare a scorului trece în estimări. Secțiunea derivă atenuarea pantei pe un regresor generat, o măsoară pentru cele trei scoruri ale capitolului și prezintă prediction-powered inference, care construiește intervale valide din scorurile modelelor și dintr-un eșantion mic etichetat de oameni.

                    Sentimentul ca regresor generat: eroarea clasică

                    Slide 46 în PDF

                    Întrebarea secțiunii este ce se întîmplă cu panta și cu intervalul ei cînd regresorul este ieșirea unui model, nu tonul adevărat. Fie modelul adevărat \(r = a + \beta s^* + \varepsilon\), unde \(s^*\) este tonul adevărat al textului. Observăm doar ieșirea modelului, \(\hat s = s^* + u\), unde \(u\) este eroarea de măsurare.

                    Sub eroarea clasică, \(u\) este independentă de \(s^*\) și de \(\varepsilon\). Panta OLS a lui \(r\) pe \(\hat s\) converge atunci la

                    \[\operatorname{plim} \hat b = \beta\lambda, \qquad \lambda = \frac{\operatorname{Var}(s^*)}{\operatorname{Var}(s^*) + \operatorname{Var}(u)} < 1,\]
                    (15.18)

                    unde \(\lambda\) este fiabilitatea (reliability) scorului, ponderea semnalului în varianța lui. Panta este atenuată spre zero cu factorul \(\lambda\).

                    Rezultă două consecințe. Testul pentru \(\beta = 0\) rămîne valid, pentru că \(\beta\lambda = 0\) exact cînd \(\beta = 0\). Mărimea efectului este însă subestimată: o pantă estimată pe un scor zgomotos subestimează efectul tonului adevărat, iar două scoruri cu fiabilități diferite dau pante diferite chiar dacă măsoară același lucru.

                    Pe scurt

                    • Întrebarea secțiunii: ce se întîmplă cu panta și cu intervalul?
                      • Cînd regresorul este ieșirea unui model, nu tonul adevărat
                    • Modelul: \(r = a + \beta s^* + \varepsilon\), cu tonul adevărat \(s^*\)
                      • Observăm ieșirea unui model \(\hat s = s^* + u\)
                      • Eroare clasică (\(u\) independentă de \(s^*\) și \(\varepsilon\)): \(\operatorname{plim} \hat b = \beta\lambda\), cu \(\lambda = \text{Var}(s^*)/[\text{Var}(s^*) + \text{Var}(u)] < 1\)
                      • \(\lambda\): fiabilitatea scorului, partea din varianța lui care este semnal
                      • Testul pentru \(\beta = 0\) rămîne valid, dar estimările sînt atenuate spre 0

                    Scor standardizat: corecția prin corelația cu tonul adevărat

                    Slide 47 în PDF

                    Regresiile din secțiunea anterioară folosesc scorul standardizat \(z\), cu \(\operatorname{Var}(z) = 1\). Presupunem că eroarea este nediferențială (non-differential): \(E[r \mid s^*, \hat s] = E[r \mid s^*]\), adică scorul nu aduce informație despre randamente dincolo de tonul adevărat. Atunci \(\operatorname{Cov}(r, z) = \beta\,\operatorname{Cov}(s^*, z)\) și, pentru că \(\operatorname{Var}(z) = 1\),

                    \[b_z = \operatorname{Cov}(r, z) = \beta\,\sigma_{s^*}\,\rho(s^*, \hat s).\]
                    (15.19)

                    Panta pe \(z\) este efectul unei abateri standard a tonului adevărat, \(\beta\sigma_{s^*}\), înmulțit cu corelația dintre adevăr și scor. Împărțirea pantei estimate la \(\rho(s^*, \hat s)\) recuperează efectul unei abateri standard a tonului adevărat.

                    O etichetă binară nu este o eroare clasică. Dacă regresorul este o variabilă dummy obținută dintr-un clasificator, clasificarea greșită micșorează panta cu un alt factor (Aigner, 1973); formula se află în Anexă. Econometria variabilelor generate de AI este un domeniu activ: Battaglia et al. (2024) propun corecția distorsiunii și estimarea comună, iar Ludwig, Mullainathan & Rambachan (2024) disting între utilizarea LLM-urilor pentru predicție și pentru estimare.

                    Pe scurt

                    • Scor standardizat \(z\), eroare nediferențială (\(E[r \mid s^*, \hat s] = E[r \mid s^*]\)): \(\text{Cov}(r, z) = \beta\,\text{Cov}(s^*, z)\)
                      • Cum \(\text{Var}(z) = 1\), panta este \(b_z = \text{Cov}(r, z) = \beta\,\sigma_{s^*}\,\rho(s^*, \hat s)\)
                      • Panta pe \(z\) = (efectul unei abateri standard a lui \(s^*\)) \(\times\ \rho(s^*, \hat s)\): pentru corecție, împărțim panta la corelația dintre tonul adevărat și scor
                      • O etichetă binară nu are eroare clasică: clasificarea greșită reduce panta unei variabile binare cu alt factor (Aigner (1973); Anexa și Seminarul 15, A1)
                    • Econometria variabilelor generate de AI

                    Atenuarea pantelor estimate

                    Slide 48 în PDF

                    Corecția (15.19) are nevoie de \(\rho(s^*, \hat s)\), corelația dintre scor și tonul adevărat. Ea este măsurată pe setul de validare Twitter, ca și corelația scorului net cu eticheta umană codificată \(-1, 0, 1\), titlu cu titlu: 0,29 pentru LM, 0,58 pentru FinBERT și 0,71 pentru Qwen2.5-7B.

                    Împărțirea pantelor din aceeași zi la aceste corelații dă efectul unei abateri standard a tonului adevărat: 15,5/0,29 ≈ 54 bp pentru LM, 39,2/0,58 ≈ 67 bp pentru FinBERT și 41,4/0,71 ≈ 58 bp pentru Qwen. După corecție, cele trei metode concordă mult mai bine decît înainte. Panta mică a LM este atunci în mare parte eroare de măsurare, cu condiția ca ipotezele discutate în Aprofundări să fie îndeplinite.

                    O a doua abordare folosește doar scorurile FNSPID. Dacă cele trei scoruri zilnice sînt tratate ca măsuri zgomotoase ale unui factor comun \(f\), încărcarea \(\ell_j = \operatorname{corr}(z_j, f)\) a scorului \(j\) este 0,53 pentru LM, 0,85 pentru FinBERT și 0,78 pentru Qwen; modelul factorial și verificarea prin variabile instrumentale se află în Anexă. Efectul unei abateri standard a lui \(f\), \(b/\ell_j\), este atunci 29 bp (LM), 46 bp (FinBERT) și 53 bp (Qwen). Cele două abordări concordă în privința faptului că efectele corectate sînt mai apropiate între ele decît pantele brute, dar nu și în privința valorilor exacte.

                    Pe scurt

                    Scor\(\rho(s^*, \hat s)\), Twitter\(b\) în ziua \(d\) (bp)\(b/\rho\) (bp)\(\ell_j\), încărcare (un factor)
                    LM0,2915,5540,53
                    FinBERT0,5839,2670,85
                    Qwen2.5-7B0,7141,4580,78
                    • \(\rho\): corelația scorului net cu eticheta umană (\(-1, 0, 1\)), titlu cu titlu
                    • \(b/\rho\): efectul în aceeași zi al unei abateri standard a tonului adevărat
                      • După corecție cele trei metode sînt mult mai apropiate: panta mică a LM este în mare parte eroare de măsurare, dacă ipotezele din Aprofundări sînt îndeplinite
                    • \(\ell_j\): încărcarea (loading) scorului \(j\) pe factorul comun \(f\) al celor trei scoruri zilnice
                      • \(\ell_j = \text{corr}(z_j, f)\)
                      • Modelul factorial și variabilele instrumentale: Anexa
                      • Efectul unei abateri standard a lui \(f\), \(b/\ell_j\): 29 bp (LM), 46 bp (FinBERT), 53 bp (Qwen)

                    Inferență validă cu etichete de model: prediction-powered inference

                    Slide 49 în PDF

                    Să presupunem că vrem media populației a etichetei umane, \(\theta = E[Y]\), de exemplu tonul mediu al unui corpus de știri. Avem \(n\) texte etichetate de oameni, \((X_j, Y_j)\), și \(N\) texte neetichetate \(\tilde X_i\), eșantioane aleatoare independente din aceeași populație, precum și scorul \(f(\cdot)\) al unui model fix, antrenat pe alte date. Media lui \(f\) pe textele neetichetate este precisă, dar distorsionată dacă modelul este distorsionat; media etichetelor umane este nedistorsionată, dar imprecisă dacă \(n\) este mic.

                    Prediction-powered inference (PPI) (Angelopoulos et al., 2023) le combină pe cele două:

                    \[\hat\theta_{\text{PPI}} = \frac{1}{N}\sum_{i=1}^{N} f(\tilde X_i) - \frac{1}{n}\sum_{j=1}^{n}\big(f(X_j) - Y_j\big).\]
                    (15.20)

                    Primul termen este predicția medie pe cele \(N\) texte neetichetate. Al doilea termen este distorsiunea medie \(f - Y\), estimată pe textele etichetate și scăzută. Varianța este estimată prin

                    \[\widehat{\operatorname{Var}}(\hat\theta_{\text{PPI}}) = \frac{\widehat{\operatorname{Var}}(f)}{N} + \frac{\widehat{\operatorname{Var}}(f - Y)}{n},\]
                    (15.21)

                    ceea ce dă un interval de încredere asimptotic valid în acest design de eșantionare, oricare ar fi calitatea lui \(f\). Un model bun face \(\operatorname{Var}(f - Y)\) mică și intervalul îngust; un model slab face intervalul larg, dar nu îl invalidează. Extinderile la regresii se află în Aprofundări.

                    Pe scurt

                    • Datele: \(n\) texte etichetate de oameni (\(X_j\), \(Y_j\)) și \(N\) texte neetichetate \(\tilde X_i\)
                      • Eșantioane aleatoare independente din aceeași populație
                    • Ținta: \(\theta = E[Y]\), media etichetei umane în populație
                      • \(f(\cdot)\) este scorul unui model fix, antrenat pe alte date
                    • PPI (prediction-powered inference, Angelopoulos et al. (2023)): \(\hat\theta_{\text{PPI}} = \frac{1}{N}\sum_{i=1}^{N} f(\tilde X_i) - \frac{1}{n}\sum_{j=1}^{n} \bigl(f(X_j) - Y_j\bigr)\)
                      • Primul termen: media predicțiilor pe cele \(N\) texte neetichetate
                      • Al doilea termen: distorsiunea medie \(f - Y\), estimată pe textele etichetate și scăzută din predicție
                    • \(\widehat{\text{Var}}(\hat\theta_{\text{PPI}}) = \widehat{\text{Var}}(f)/N + \widehat{\text{Var}}(f - Y)/n\)
                      • Un CI valid asimptotic sub această schemă de eșantionare, oricare ar fi calitatea lui \(f\)

                    PPI pe titlurile Twitter: corecția distorsiunii este cîștigul principal (1/3)

                    Slide 50 în PDF

                    Simularea tratează cele 2 388 de titluri de validare Twitter drept populație și estimează tonul lor uman mediu. Panoul din stînga arată lățimea medie a intervalului de 95%, iar cel din dreapta acoperirea lui empirică, ambele în funcție de numărul \(n\) de titluri etichetate de oameni (100, 200, 400 și 800). Cele trei linii sînt: doar etichete umane, PPI cu scorurile FinBERT și PPI cu scorurile Qwen2.5-7B; linia întreruptă din panoul din dreapta marchează 95%.

                    În versiunea interactivă, cursorul stabilește \(n\), iar un al treilea panou arată distribuția estimărilor între replicări. Butonul ▶ crește \(n\) pas cu pas.

                      Întrebare pentru sală Păstrăm FinBERT fix și adăugăm titluri neetichetate din aceeași populație. Dispare astfel diferența dintre media scorurilor FinBERT (−0,014) și tonul mediu uman (0,054)?
                      Răspuns

                      Nu: scade incertitudinea mediei scorurilor, dar distorsiunea rămîne. Mai multe scoruri reduc eroarea de eșantionare, nu corectează distorsiunea modelului. PPI estimează media diferenței f − Y pe un eșantion etichetat și o scade din media scorurilor. La n = 100, intervalele cu nivel nominal 95% au acoperire empirică 94,3% în curs și 94,4% în browser; lățimea medie este 0,204 în curs și 0,203 în browser, față de 0,229 doar cu etichete umane.

                      Adăugarea de titluri neetichetate, cu FinBERT păstrat fix, nu elimină diferența dintre media scorurilor FinBERT, −0,014, și tonul uman mediu, 0,054: mai multe scoruri reduc eroarea de eșantionare, nu distorsiunea modelului. PPI estimează diferența medie \(f - Y\) pe eșantionul etichetat și o scade, ca în (15.20). La \(n\) = 100, intervalele cu nivelul nominal de 95% au o acoperire empirică de 94,3%, iar lățimea lor medie este 0,204, față de 0,229 doar cu etichete umane.

                      PPI pe titlurile Twitter: corecția distorsiunii este cîștigul principal (2/3)

                      Slide 51 în PDF

                      Simularea extrage, în fiecare dintre cele 2 000 de replicări, \(n\) titluri etichetate și \(2\,388 - n\) neetichetate, independent și cu întoarcere, din cele 2 388 de titluri de validare. Ținta este tonul net uman mediu, cu etichete codificate \(-1, 0, 1\); valoarea lui adevărată în această populație este \(\theta = 0{,}054\).

                      Mediile simple ale scorurilor modelelor sînt distorsionate: −0,014 pentru FinBERT, care are semnul greșit, și +0,101 pentru Qwen2.5-7B. Creșterea eșantionului nu elimină această eroare, pentru că distorsiunea este o proprietate a modelului. PPI păstrează acoperirea nominală: 94,3% la \(n\) = 100.

                      Pe scurt

                      • Ținta: tonul net uman mediu (\(-1, 0, 1\))
                      • Cele 2 388 de titluri de validare au rolul populației
                      • 2 000 de replicări cu \(n\) titluri etichetate și 2 388 \(- n\) neetichetate
                        • Extrase independent, cu întoarcere
                      • Tonul mediu adevărat: \(\theta\) = 0,054
                      • Mediile simple ale scorurilor modelelor sînt distorsionate
                        • FinBERT \(-\)0,014 (semn greșit), Qwen2.5-7B +0,101
                        • Creșterea eșantionului nu elimină această eroare
                      • PPI păstrează acoperirea nominală: 94,3% la \(n\) = 100
                      MFM_ch15_valid_inference

                      PPI pe titlurile Twitter: corecția distorsiunii este cîștigul principal (3/3)

                      Slide 52 în PDF

                      Intervalul PPI este mai îngust decît cel obținut doar din etichete, 0,204 față de 0,229 pentru FinBERT la \(n\) = 100, dar cîștigul este modest: reducerea varianței, \(1 - \operatorname{Var}(f - Y)/\operatorname{Var}(Y)\), este 24% pentru FinBERT și 27% pentru Qwen, pentru că modelele sînt zgomotoase.

                      La \(n\) = 800, intervalul PPI este mai larg decît cel obținut doar din etichete, 0,087 față de 0,081. Cu doar \(2\,388 - 800\) de texte neetichetate, termenul \(\operatorname{Var}(f)/N\) din (15.21) nu mai este neglijabil. Pentru regresiile randamentelor, același eșantion etichetat permite corectarea ambelor condiții de moment OLS (Egami et al., 2023). Rezultatul susține o comparație între proceduri: PPI, doar etichete umane și media simplă a scorurilor.

                      Pe scurt

                      • Lățimea medie a intervalului la \(n\) = 100: 0,229 doar cu etichete, 0,204 cu PPI (FinBERT)
                      • Reducerea varianței, \(1 - \text{Var}(f - Y)/\text{Var}(Y)\), este modestă
                        • 24% pentru FinBERT și 27% pentru Qwen, pentru că modelele sînt zgomotoase
                      • La \(n\) = 800 PPI este mai larg (0,087 față de 0,081)
                        • Cu doar 2 388 \(-\) 800 de texte neetichetate, \(\text{Var}(f)/N\) nu mai este neglijabil
                      • Pentru regresiile randamentelor, același eșantion etichetat permite corectarea ambelor condiții de moment OLS (Egami et al. (2023))
                      • Tipul de dovadă: comparație între proceduri (PPI, doar etichete umane, media scorurilor)
                      MFM_ch15_valid_inference

                      Sinteza secțiunii

                      Un scor al unui model este o măsurătoare cu eroare. Sub eroarea clasică, panta pe scor este atenuată cu fiabilitatea (15.18), iar pentru un scor standardizat cu corelația cu tonul adevărat (15.19); corectate astfel, efectele din aceeași zi ale celor trei scoruri devin mult mai apropiate. PPI (15.20) folosește un eșantion mic etichetat de oameni pentru a elimina distorsiunea scorului mediu și dă intervale valide oricare ar fi calitatea modelului; cîștigul principal este corecția distorsiunii, nu un interval mai îngust.

                      Studii de caz: ChatGPT și culoarea cuvintelor financiare

                      Două lucrări recente din Journal of Financial Economics abordează întrebarea capitolului cu eșantioane mai mari și date mai precise. Lopez-Lira & Tang (2026) evaluează titlurile cu GPT-4 după data-limită de antrenare a acestuia și cu ore exacte de publicare. Garcia, Hu & Rohrer (2023) învață liste de cuvinte din reacțiile prețurilor, în loc să le aleagă prin judecată. Ambele sînt replicate parțial pe datele FNSPID ale capitolului.

                      Citește un LLM știrile la fel ca piața?

                      Slide 53 în PDF

                      Lopez-Lira & Tang (2026) se întreabă dacă un LLM de uz general, fără antrenare financiară explicită, poate spune dacă un titlu este o veste bună sau rea pentru acțiune și dacă răspunsul lui prognozează randamentele. Ei separă două mărimi. Reacția inițială este mișcarea prețului imediat după știre; ea nu este tranzacționabilă și măsoară dacă LLM-ul înțelege știrea. Drift-ul este randamentul de după reacție, în direcția știrii; el este tranzacționabil și măsoară reacția insuficientă (underreaction) a pieței.

                      Designul este aceeași evaluare zero-shot a titlurilor ca în testul FNSPID al capitolului, cu două diferențe: știrile sînt publicate după data-limită de antrenare a modelului, iar orele lor de publicare sînt exacte. Ambele elimină probleme identificate în secțiunile anterioare, memorarea și marcajele de timp fără oră.

                      Lucrarea contează pentru că transformă LLM-ul într-un instrument de măsurare a vitezei cu care prețurile absorb știrile. Modelul autorilor prezice și că doar LLM-urile peste un prag de calitate prognozează randamentele și că adoptarea largă a acestor modele ar trebui să erodeze predictibilitatea. Metoda studiului este detaliată în Aprofundări.

                      Pe scurt

                      • Lopez-Lira & Tang (2026) (Journal of Financial Economics), întrebarea studiului:
                        • Poate un LLM de uz general, fără o antrenare financiară explicită, să determine dacă un titlu este o veste bună sau rea pentru acțiune?
                      • Prognozează răspunsul lui randamentele ulterioare?
                      • Reacția inițială: mișcarea prețului imediat după știre
                        • Nu este tranzacționabilă, dar arată dacă LLM-ul înțelege știrea
                      • Drift-ul: randamentul de după reacție, în sensul știrii
                        • Este tranzacționabil și măsoară reacția insuficientă a pieței
                      • Față de testul nostru pe FNSPID: aceeași evaluare zero-shot a titlurilor
                        • Dar pe știri de după data-limită de antrenare și cu ora exactă a publicării
                      • Relevanța: LLM-ul devine un instrument de măsură pentru viteza cu care prețurile absorb știrile
                        • Modelul teoretic al autorilor: doar LLM-urile care depășesc un anumit prag de acuratețe prognozează randamentele, iar utilizarea lor pe scară largă ar trebui să reducă predictibilitatea

                      GPT-4 ghicește reacția și cîștigă din drift

                      Slide 54 în PDF

                      Tabelul raportează, pentru patru dintre modele, rata de succes (hit rate) a portofoliului long-short pe știrile din afara ședinței (overnight), adică ponderea zilelor cu randament pozitiv al portofoliului, pentru reacția inițială și pentru drift, împreună cu randamentul mediu zilnic al drift-ului și raportul lui Sharpe anualizat \(SR\). GPT-4 ghicește direcția reacției în 93% dintre zile, ca GPT-3.5 (Generative Pre-trained Transformer 3, Transformer generativ pre-antrenat, versiunea 3, aici versiunea 3,5), dar cîștigă cel mai mare drift: 0,34% pe zi, cu \(SR\) 2,97, față de 0,29% și 1,66 pentru GPT-3.5. FinBERT atinge o rată de succes de 90% pentru reacție, dar drift-ul lui este −0,07% pe zi, cu \(SR\) −0,33. GPT-1 (Generative Pre-trained Transformer 1, Transformer generativ pre-antrenat, versiunea 1) este aproape de hazard la reacție, cu 0,53.

                      Componentele portofoliului GPT-4 sînt asimetrice. Componenta short cîștigă 0,26% pe zi (\(SR\) 2,01), iar cea long 0,08% (\(SR\) 0,78): piața reacționează insuficient mai ales la veștile rele. În regresia pe știrile overnight, coeficientul scorului GPT-4 este \(\hat\gamma = 1{,}326\) (\(t\) = 26,52) pentru reacție și 0,161 (\(t\) = 6,59) pentru drift. Adăugarea scorului de sentiment al furnizorului de știri lasă GPT-4 la 0,158 (\(t\) = 5,27) și dă furnizorului 0,010 (\(t\) = 0,15). Interacțiunea cu acțiunile mici este 0,404 (\(t\) = 4,55): drift-ul este concentrat acolo unde arbitrajul este costisitor.

                      Rezultatul susține o asociere. El nu este nici stabil în timp: raportul Sharpe al GPT-4 scade de la 6,54 în trimestrul al patrulea din 2021 la 1,22 în ianuarie–mai 2024, așa cum arată Aprofundările.

                      Pe scurt

                      ModelRata de succes, reacțieRata de succes, driftDrift, % pe zi\(SR\)
                      GPT-40,930,580,342,97
                      GPT-3.50,930,560,291,66
                      FinBERT0,900,48\(-0{,}07\)\(-0{,}33\)
                      GPT-10,530,48\(-0{,}07\)\(-0{,}64\)
                      • Portofolii long-short pentru știrile dintre ședințe
                        • GPT-4 are o rată de succes de 93% pentru reacția inițială, la fel ca GPT-3.5 (versiunea 3,5 a modelelor GPT)
                        • GPT-4 are cel mai mare randament ulterior
                        • Drift-ul componentei short este 0,26% pe zi (\(SR\) 2,01), iar al componentei long 0,08% pe zi (\(SR\) 0,78)
                        • Piața reacționează insuficient mai ales la veștile rele
                      • Regresia randamentului pe scorul GPT-4, știrile dintre ședințe: \(\hat\gamma = 1{,}326\) (\(t = 26{,}52\)) pentru reacție
                        • \(0{,}161\) (\(t = 6{,}59\)) pentru drift
                      • Dacă se adaugă scorul de sentiment al furnizorului de știri:
                        • Coeficientul GPT-4 rămîne 0,158 (\(t = 5{,}27\))
                        • Cel al furnizorului este 0,010 (\(t = 0{,}15\))
                        • Acțiunile mici: coeficientul interacțiunii cu variabila „firmă mică” este 0,404 (\(t = 4{,}55\)): drift-ul se concentrează acolo unde arbitrajul este costisitor
                      • Tipul de dovadă: asociere
                        • Raportul Sharpe GPT-4 scade de la 6,54 (trimestrul IV 2021) la 1,22 (ianuarie–mai 2024): Aprofundări

                      Modelele: reacția inițială și randamentul ulterior (1/2)

                      Slide 55 în PDF

                      Graficul raportează rezultatele lui Lopez-Lira & Tang (2026) pentru douăsprezece modele de limbaj evaluate cu același design: portofolii long-short pe știrile overnight, din octombrie 2021 pînă în mai 2024. În panoul din stînga, fiecare model are două bare orizontale, rata de succes a reacției inițiale și rata de succes a drift-ului, în procente, cu o linie întreruptă la 50%. Panoul din dreapta arată raportul Sharpe anualizat al drift-ului, verde cînd este pozitiv și roșu cînd este negativ. Printre modele se află BART (Bidirectional and Auto-Regressive Transformer), un model de limbaj encoder–decoder, DistilBart, versiunea lui comprimată (distilată), și LLM-urile cu ponderi publice Llama2, publicate de Meta.

                      În versiunea interactivă, cursorul stabilește un prag pentru rata de succes a reacției inițiale, de la 50% la 95%, și evidențiază modelele de peste prag. Butonul ▶ crește pragul pas cu pas.

                        Întrebare pentru sală FinBERT are o rată de succes de 90% pentru reacția inițială și un raport Sharpe al drift-ului de −0,33. Ce distincție explică aceste rezultate?
                        Răspuns

                        Identificarea reacției inițiale nu garantează randamente ulterioare profitabile. Reacția inițială și drift-ul privesc ferestre diferite: informația reflectată deja în preț poate identifica reacția fără să ofere un cîștig ulterior. GPT-4 și GPT-3.5 au cele mai mari rapoarte Sharpe ale drift-ului, 2,97 și 1,66, dar nu sînt singurele pozitive: DistilBart are 1,26, BART-Large 1,05. Modelele cu rate de succes de 53–66% au rapoarte Sharpe negative.

                        Identificarea reacției inițiale nu garantează randamente ulterioare profitabile. FinBERT are o rată de succes de 90% pentru reacție și un raport Sharpe al drift-ului de −0,33: informația reflectată deja în preț poate identifica reacția fără să ofere un cîștig ulterior. GPT-4 și GPT-3.5 au cele mai mari rapoarte Sharpe ale drift-ului, 2,97 și 1,66, dar nu sînt singurele pozitive: DistilBart are 1,26, iar BART-Large 1,05. Modelele cu rate de succes pentru reacție de 53–66% au rapoarte Sharpe negative.

                        Pe scurt

                        BART: Bidirectional and Auto-Regressive Transformer, un model de limbaj codificator–decodor; DistilBart: un BART comprimat (distilat); Llama2: LLM-uri cu ponderi deschise publicate de Meta MFM_ch15_llt_case

                        Modelele: reacția inițială și randamentul ulterior (2/2)

                        Slide 56 în PDF

                        Cele douăsprezece modele formează grupuri. GPT-1, GPT-2 (Generative Pre-trained Transformer 2, Transformer generativ pre-antrenat, versiunea 2), BERT și Llama2-7b ghicesc reacția în doar 53–66% dintre zile, iar rapoartele lor Sharpe ale drift-ului sînt negative, de la −0,64 la −0,11. Șapte modele ajung la 86–93% pentru reacție, dar doar GPT-4 și GPT-3.5 combină acest rezultat cu un raport Sharpe mare al drift-ului. Tiparul este compatibil cu pragul din modelul autorilor: un model trebuie să înțeleagă bine știrea pentru ca semnalul lui să cîștige drift-ul.

                        FinBERT ghicește reacția, dar are un drift negativ. El dă o direcție doar pentru 25% dintre titlurile overnight, iar citirea a ceea ce se află deja în prețul de deschidere nu cîștigă drift-ul.

                        Componentele trebuie citite alături de rapoartele Sharpe. Numărul mediu de acțiuni din componenta short este 2 pentru BERT-Large, al cărui raport Sharpe este 1,05, 6 pentru GPT-3.5 și 20 pentru GPT-4. Un raport Sharpe construit pe o mînă de poziții short este fragil.

                        Pe scurt

                        • Portofolii long-short pentru știrile dintre ședințe, douăsprezece modele (sursa: Lopez-Lira & Tang (2026))
                          • Aceeași construcție, octombrie 2021 – mai 2024
                        • Pragul: GPT-1 (Generative Pre-trained Transformer 1, Transformer generativ pre-antrenat, versiunea 1), GPT-2 (primele versiuni GPT), BERT și Llama2-7b ghicesc direcția reacției doar în 53–66% din zile
                          • Au rapoarte Sharpe ale drift-ului negative (între \(-0{,}64\) și \(-0{,}11\))
                        • Șapte modele ajung la 86–93%
                          • Doar GPT-4 (2,97) și GPT-3.5 (1,66) au un raport Sharpe al drift-ului mare; la toate celelalte modele el este cel mult 1,26
                        • FinBERT ghicește reacția, dar are drift negativ
                          • Indică o direcție doar pentru 25% dintre titlurile dintre ședințe
                        • Concluzia: informația deja reflectată în prețul de deschidere nu aduce cîștiguri ulterioare
                        • Numărul mediu de acțiuni din componenta short
                          • 2 pentru BERT-Large (Sharpe 1,05), 6 pentru GPT-3.5, 20 pentru GPT-4
                        • Un raport Sharpe obținut din cîteva poziții short este fragil
                        MFM_ch15_llt_case

                        Replicare în acest curs, limite și o extindere deschisă

                        Slide 57 în PDF

                        Strategia Qwen2.5-7B a capitolului pe cele 16 acțiuni FNSPID cîștigă +5,64 bp pe zi înainte de costuri, față de 34 bp pentru GPT-4 în lucrare. Partea C3 din Seminarul 15 replică designul lucrării pe datele cursului: prompt-ul publicat, temperatura 0, scoruri în \(\{-1, 0, 1\}\), regula de cel puțin două firme pe componentă și aceeași regresie, pe titlurile FNSPID și prețurile zilnice ajustate de închidere din datele cursului. Datele impun trei limite:

                        1. marcaje de timp fără oră, deci primul randament sigur este \(d+2\), nu următoarea deschidere;
                        2. 16 acțiuni mari;
                        3. titluri anterioare modelului.

                        Autorii își declară propriile limite. La 20 bp pe tranzacție dus-întors strategia pierde bani, deci se potrivește operatorilor cu costuri mici, cum sînt formatorii de piață (market makers); cei 5 bp pe tranzacție într-un sens din capitol corespund la 10 bp dus-întors. Prompt-urile și modelele de embeddings nu au fost optimizate, deci comparațiile lor sînt limite inferioare.

                        Din modelul lucrării rezultă o extindere deschisă. Pe titluri publicate după publicarea unui model cu ponderi publice, supraviețuiește drift-ul și continuă raportul lui Sharpe să scadă, așa cum prezice modelul autorilor?

                        Pe scurt

                        • Strategia Qwen2.5-7B din acest capitol, pe 16 acțiuni FNSPID
                          • +5,64 bp pe zi, față de 34 bp pentru GPT-4
                          • Replicarea (Seminarul 15, C3): prompt-ul publicat, temperatura 0, scorurile \(\{-1, 0, 1\}\), regula celor două firme (o componentă doar cu cel puțin două firme) și aceeași regresie, pe titlurile FNSPID și prețurile de închidere ajustate din datele cursului
                          • Limitele datelor noastre: date fără oră (primul randament sigur este cel din \(d+2\)), doar 16 acțiuni mari, titluri mai vechi decît modelul
                        • Limite enunțate de autori: la 20 bp pe tranzacție dus-întors strategia pierde bani
                          • Deci se potrivește celor cu costuri mici, de exemplu unui formator de piață (market maker)
                          • Costul nostru de 5 bp într-un singur sens înseamnă 10 bp dus-întors
                          • Prompt-urile și embeddings nu au fost optimizate, deci comparațiile sînt limite inferioare
                        • Extindere deschisă, pe titluri publicate după lansarea unui model cu ponderi deschise
                          • se mai păstrează drift-ul?
                          • continuă să scadă raportul Sharpe, așa cum prezice modelul teoretic al autorilor?

                        Al doilea studiu de caz: culoarea cuvintelor financiare

                        Slide 58 în PDF

                        Garcia, Hu & Rohrer (2023) se întreabă dacă o listă de cuvinte aleasă după reacțiile prețurilor poate concura cu listele alese de cercetători, cum este Loughran–McDonald. Corpusul lor este format din transcrierile a 85 530 de conferințe privind rezultatele, în care firmele își prezintă rezultatele trimestriale, ale 3 229 de firme, între 13 octombrie 2005 și 7 octombrie 2020. Eticheta fiecărui text este randamentul acțiunii minus randamentul pieței, de la închiderea zilei \(t-1\) la închiderea zilei \(t+2\).

                        În rezultatul principal al lucrării, listele învățate pe conferințele dinainte de 2016 sînt evaluate pe 2016–2020, împreună cu variabilele de control ale lucrării. \(R^2\) ajustat este 2,1% cu cuvintele LM care nu sînt în listele învățate (ML, machine learning), 4,6% cu cuvintele ML care nu sînt în LM și 1,7% doar cu variabilele de control. Listele învățate pe întregul eșantion au în comun cu LM doar 18 cuvinte pozitive și 30 negative.

                        Abordarea păstrează transparența unei liste de cuvinte, dar lasă piața, nu judecata cercetătorului, să decidă culoarea fiecărui cuvînt. Ea este deci reperul simplu cu care FinBERT și LLM-urile ar trebui comparate pe aceleași texte.

                        Pe scurt

                        • Garcia, Hu & Rohrer (2023) (Journal of Financial Economics), întrebarea studiului:
                          • Poate o listă de cuvinte aleasă de reacția prețurilor să concureze cu listele alese de cercetători, de exemplu Loughran–McDonald (LM)?
                        • Corpusul lucrării: transcrierile a 85 530 de conferințe de prezentare a rezultatelor trimestriale (earnings calls), 3 229 de firme, 13.10.2005–07.10.2020
                        • Eticheta fiecărui text: randamentul acțiunii minus randamentul pieței, de la închiderea din ziua \(t-1\) la închiderea din ziua \(t+2\)
                        • Rezultatul principal al lucrării: liste învățate pe apelurile dinainte de 2016, evaluate pe 2016–2020, cu variabilele de control ale lucrării
                          • \(R^2\) ajustat: 2,1% cu cuvintele LM care nu sînt în listele ML (Machine Learning, învățare automată), 4,6% cu cuvintele ML care nu sînt în LM
                          • Doar cu variabilele de control: 1,7%
                          • Listele învățate pe tot eșantionul lucrării au în comun cu LM doar 18 cuvinte pozitive și 30 negative
                        • Relevanța: lista rămîne transparentă, dar eticheta cuvintelor vine din piață, nu din judecata cercetătorului
                          • Este reperul simplu cu care trebuie comparate FinBERT și LLM-urile pe aceleași texte

                        Listele învățate din randamente, pe titlurile FNSPID

                        Slide 59 în PDF

                        Graficul arată replicarea din curs pe titlurile FNSPID. Listele sînt construite pe 2009–2019, iar \(R^2\) și pantele sînt estimate pe 2020–2023. Panoul din stînga raportează \(R^2\), în procente, al randamentului în exces pe 4 zile explicat de fiecare mulțime de cuvinte și de cele două scoruri ale modelelor de limbaj: listele LM cu portocaliu, listele învățate din randamente cu turcoaz, modelele de limbaj cu albastru. Panoul din dreapta arată randamentul în exces la o abatere standard a ponderii cuvintelor, în procente, pentru listele pozitive și negative, cu intervale de 95% bazate pe erori standard Driscoll–Kraay.

                        În versiunea interactivă, cursorul stabilește pragul pentru \(|D^+|\), procentul net al subeșantioanelor în care un cuvînt are o încărcare pozitivă sau negativă, de la 50% la 95%; butonul ▶ crește pragul pas cu pas.

                          Întrebare pentru sală La |D+| ≥ 80%, cuvintele ML care nu sînt în LM dau R² = 0,77% pe textele din 2020–2023, față de 0,20% pentru toate cuvintele LM. Ce susține această comparație?
                          Răspuns

                          O asociere mai puternică pe textele din 2020–2023, fără să demonstreze o prognoză tranzacționabilă. Listele sînt învățate pe 2009–2019, dar pantele și R² sînt estimate pe 2020–2023, iar fereastra de randament de 4 zile poate include mișcarea relatată de titlu: multe cuvinte ML („jumped”, „slumped”, „gainers”) descriu chiar mișcarea prețului. Diferența de R² este 0,58 puncte procentuale, CI 95% [0,14; 1,02] (bootstrap pe blocuri de 10 zile); nu este un randament al strategiei. FinBERT (1,49%) și Qwen2.5-7B (1,73%) explică mai mult decît orice listă.

                          La pragul de 80%, cuvintele ML care nu sînt în LM dau \(R^2\) = 0,77% pe textele din 2020–2023, față de 0,20% pentru toate cuvintele LM. Este o asociere mai puternică pe aceste texte, nu o prognoză tranzacționabilă: pantele și \(R^2\) sînt estimate pe aceleași texte din 2020–2023, iar fereastra de randament de 4 zile poate include mișcarea relatată de titlu. Multe cuvinte ML, precum „jumped”, „slumped” sau „gainers”, descriu chiar mișcarea prețului. FinBERT (1,49%) și Qwen2.5-7B (1,73%) explică mai mult decît orice listă.

                          Pe scurt

                          ML (machine learning): listele învățate din randamente; listele sînt construite pe 2009–2019, \(R^2\) și pantele sînt estimate pe 2020–2023 MFM_ch15_colour_words

                          Metoda: robust MNIR și ce schimbă replicarea din curs

                          Slide 60 în PDF

                          Metoda este regresia inversă multinomială (MNIR, multinomial inverse regression) (Taddy, 2013), descrisă în Anexă. Ea modelează frecvența cuvîntului \(j\) în textul \(i\) ca variabilă Poisson cu media

                          \[m_i\, e^{\alpha_j + \varphi_j v_i},\]
                          (15.22)

                          unde \(m_i\) este numărul de cuvinte al textului, iar \(v_i\) randamentul standardizat. Un \(\varphi_j\) pozitiv înseamnă că acel cuvînt este mai frecvent după randamente mari.

                          Pasul robust repetă MNIR pe 500 de subeșantioane de cîte 5 000 de texte, extrase fără întoarcere. Pentru fiecare cuvînt, \(D^+_j\) este proporția subeșantioanelor cu \(\varphi_j > 0\) minus proporția celor cu \(\varphi_j < 0\). Lista pozitivă conține cuvintele cu \(D^+_j \ge 80\%\), iar cea negativă pe cele cu \(D^+_j \le -80\%\). Scorul unui text este numărul de cuvinte din listă împărțit la numărul de cuvinte, scalat la abaterea standard unitară.

                          Replicarea din curs schimbă unitatea și metoda. Un text este mulțimea tuturor titlurilor FNSPID ale unei acțiuni într-o zi, 18 282 de zile-acțiune. Antrenarea folosește perioada octombrie 2009 – decembrie 2019, fără textele a căror fereastră de randament ajunge în 2020 (10 286 de texte), iar testarea folosește 2020–2023 (7 980 de texte). Vocabularul de 15 376 de cuvinte și pragurile de winsorizare provin doar din textele de antrenare. Semnul lui \(\varphi_j\) este obținut printr-o aproximare de tip score test a selecției după criteriul informațional Akaike (AIC, Akaike information criterion), \(z^2 > 2\), în locul penalizării gamma-lasso. Variabilele de control ale lucrării nu sînt folosite, iar numele celor 16 firme sînt eliminate în locul filtrului pentru substantive proprii.

                          Pe scurt

                          • MNIR (multinomial inverse regression, Taddy (2013), Anexă): numărul de apariții ale cuvîntului \(j\) în textul \(i\) este Poisson, cu media \(m_i e^{\alpha_j+\varphi_j v_i}\)
                            • \(m_i\): numărul de cuvinte al textului; \(v_i\): randamentul standardizat
                          • Pasul robust: MNIR pe 500 de subeșantioane de cîte 5 000 de texte, extrase fără întoarcere
                            • \(D^+_j\): procentul subeșantioanelor cu \(\varphi_j > 0\) minus procentul celor cu \(\varphi_j < 0\)
                            • Lista pozitivă: \(D^+_j \ge 80\%\); lista negativă: \(D^+_j \le -80\%\)
                          • Scorul unui text: numărul de cuvinte din listă împărțit la numărul de cuvinte, scalat la abaterea standard 1
                          • Replicarea din curs, pe datele capitolului:
                            • Textul: toate titlurile FNSPID ale unei acțiuni într-o zi, 18 282 de perechi acțiune–zi
                            • Învățare: oct. 2009 – dec. 2019, fără textele a căror fereastră de randament ajunge în 2020 (10 286 de texte); testare: 2020–2023 (7 980 de texte)
                            • Vocabularul (15 376 de cuvinte) și pragurile de winsorizare: doar din textele de învățare
                            • Semnul lui \(\varphi_j\): aproximarea prin testul scorului (score test) a selecției AIC (criteriul informațional Akaike, \(z^2 > 2\)), în locul penalizării gamma-lasso
                            • Fără variabilele de control ale lucrării; numele celor 16 firme sînt eliminate în locul filtrului de nume proprii

                          Rezultatul: cuvintele alese de piață explică mai mult decît LM

                          Slide 61 în PDF

                          Pe textele de test din 2020–2023, cu pantele estimate pe aceeași perioadă, \(R^2\) este 0,20% cu toate cuvintele LM și 0,77% cu cele 94 de cuvinte ML care nu sînt în LM. Diferența este +0,58 puncte procentuale, cu CI 95% [0,14; 1,02], obținut prin bootstrap pe blocuri de 10 zile consecutive, cu 1 999 de extrageri și listele învățate ținute fixe. Pentru praguri de la 50% la 95%, \(R^2\) al listelor ML este între 0,44% și 1,02%.

                          Pantele sînt raportate la o abatere standard a ponderii cuvintelor, cu statistici \(t\) calculate din erori standard Driscoll–Kraay, care sînt HAC (heteroskedasticity and autocorrelation consistent) pe zile. Lista ML pozitivă are panta +0,31% (\(t\) = 4,45), iar lista ML negativă −0,24% (\(t\) = −3,98). Cuvintele LM pozitive nu diferă semnificativ de zero, +0,04% (\(t\) = 0,81). Cuvintele LM negative au −0,19% (\(t\) = −3,29) și rămîn semnificative alături de listele ML, cu −0,17% (\(t\) = −2,90). FinBERT (1,49%) și Qwen2.5-7B (1,73%) explică mai mult decît orice listă; Qwen depășește listele ML cu +0,96 puncte procentuale, cu CI 95% [0,20; 1,73].

                          Rezultatul susține o comparație între proceduri, pe o asociere din aceeași fereastră de 4 zile, nu o prognoză. Multe cuvinte ML descriu chiar mișcarea prețului („jumped”, „slumped”, „gainers”, „losers”), deci titlul poate urma randamentului. Doar 1 cuvînt pozitiv și 5 negative sînt comune cu LM: „positive”, de o parte, și „claims”, „downgrades”, „weak”, „worse” și „worst”, de cealaltă. Qwen poate ști deja ce a urmat știrilor din 2020–2023 (Look-ahead bias).

                          Pe scurt

                          • \(R^2\) pe textele de test, 2020–2023, cu pantele estimate pe aceeași perioadă: 0,20% cu toate cuvintele LM, 0,77% cu cele 94 de cuvinte ML care nu sînt în LM
                            • Diferența: +0,58 puncte procentuale, CI 95% [0,14; 1,02] (bootstrap pe blocuri de 10 zile consecutive, 1 999 de extrageri, cu listele învățate fixate)
                            • Pentru pragurile lui \(D^+_j\) între 50% și 95% (în loc de 80%), \(R^2\) al listelor ML este între 0,44% și 1,02%
                          • O abatere standard în plus a ponderii cuvintelor ML (\(t\) cu erori standard Driscoll–Kraay, HAC pe zile)
                            • Pozitive: +0,31% (\(t = 4{,}45\)); negative: \(-\)0,24% (\(t = -3{,}98\))
                          • Coeficientul cuvintelor LM pozitive nu diferă semnificativ de zero: +0,04% (\(t = 0{,}81\))
                            • Cuvintele LM negative: \(-\)0,19% (\(t = -3{,}29\)), semnificative și alături de listele ML: \(-\)0,17% (\(t = -2{,}90\))
                          • FinBERT (1,49%) și Qwen2.5-7B (1,73%) explică mai mult decît orice listă
                            • Qwen față de listele ML: +0,96 puncte procentuale, CI 95% [0,20; 1,73]
                          • Tipul de dovadă: comparație între proceduri, pe o asociere din aceeași fereastră de 4 zile, nu o prognoză
                            • Multe cuvinte ML descriu chiar mișcarea prețului („jumped”, „slumped”, „gainers”, „losers”): titlul poate urma randamentul
                          • Limitele: doar 1 cuvînt pozitiv și 5 negative comune cu LM (positive; claims, downgrades, weak, worse, worst)

                          Sinteza secțiunii

                          GPT-4, evaluat pe știri publicate după data-limită a antrenării lui, ghicește reacția inițială în 93% dintre zile și cîștigă un drift cu un raport Sharpe de 2,97 în octombrie 2021 – mai 2024, mai ales din veștile rele și din acțiunile mici; modelele de sub un prag de calitate nu cîștigă nimic, iar raportul Sharpe scade în timp. Listele de cuvinte învățate din randamente explică mai mult din randamentul pe 4 zile al titlurilor FNSPID decît LM, dar mai puțin decît FinBERT și Qwen2.5-7B, iar o bună parte din ce surprind sînt titluri care descriu mișcări de preț.

                          AI pentru descoperire științifică

                          LLM-urile pot propune ipoteze, pot scrie cod și pot rula experimente. Secțiunea se întreabă ce inferență rămîne validă cînd un asistent propune semnalul, prompt-ul, pragul și perioada de deținere, aplică răspunsul la rafinările strategiei din capitol și testează familia de strategii rezultată cu o curbă a specificațiilor.

                          O întrebare deschisă: putem avea încredere în ipotezele generate de LLM-uri?

                          Slide 62 în PDF

                          Ludwig & Mullainathan (2024) tratează generarea ipotezelor ca pe o procedură statistică: un model antrenat pe date scoate la iveală un tipar, oamenii îl numesc, iar date noi îl testează. Procedura este validă pentru că datele de test nu sînt folosite la generarea ipotezei.

                          Un LLM rupe această separare într-un mod specific. Lopez-Lira, Tang & Zhu (2025) arată că, înainte de data-limită a cunoștințelor lui, un LLM își poate aminti rezultatele. O ipoteză pe care o propune despre acea perioadă nu este deci independentă de datele care o vor testa.

                          Întrebarea deschisă este care este familia de teste și ce inferență rămîne validă cînd un asistent propune semnalul, prompt-ul, pragul și perioada de deținere. Agenții care rulează singuri experimentele (Lu et al., 2024) fac familia atît mai mare, cît și mai puțin vizibilă.

                          Pe scurt

                          • Ludwig & Mullainathan (2024): generarea ipotezelor ca procedură statistică
                            • Un model antrenat pe date descoperă un tipar, oamenii îl numesc, date noi îl testează
                          • Lopez-Lira, Tang & Zhu (2025): înainte de data-limită a cunoștințelor, un LLM își poate aminti rezultatele
                            • Deci o ipoteză propusă de el despre acea perioadă nu este independentă de datele care o vor testa
                          • Întrebarea deschisă: cînd un asistent propune semnalul, prompt-ul, pragul și perioada de deținere
                            • care este familia de teste?
                            • ce inferență rămîne validă?
                          • Agenții care rulează singuri experimentele (Lu et al. (2024)) fac familia mai mare și mai puțin vizibilă

                          Familia de teste: FWER și FDR

                          Slide 63 în PDF

                          Formal, strategiile candidate \(j = 1, \dots, M\) definesc ipotezele nule \(H_{0,j}: E[r^{(j)}_t] = 0\). Pot fi controlate două rate de eroare. FWER, controlată prin Holm (15.14), este probabilitatea oricărei respingeri false. Rata descoperirilor false (FDR, false discovery rate) este ponderea așteptată a respingerilor false în totalul respingerilor (Benjamini & Hochberg, 1995).

                          Procedura Benjamini–Hochberg (BH) la nivelul \(q\) respinge ipotezele cu \(p_{(1)}, \dots, p_{(k^*)}\), unde

                          \[k^* = \max\Big\{k : p_{(k)} \le \frac{k\,q}{M}\Big\}.\]
                          (15.23)

                          Numărul \(M\) trebuie să includă fiecare variantă propusă de asistent, inclusiv pe cele abandonate. Dacă ipotezele au fost construite pe rezultatele testelor, valorile p au nevoie de date de test neatinse sau de inferență selectivă (secvențială).

                          Pe scurt

                          • Formal: \(H_{0,j}: E[r^{(j)}_t] = 0\) pentru strategiile candidate \(j = 1, \dots, M\)
                            • Cu controlul FWER (Holm) sau al FDR (Benjamini & Hochberg (1995))
                            • FDR (false discovery rate): media proporției respingerilor false printre toate respingerile
                            • BH (procedura Benjamini–Hochberg) la nivelul \(q\): respingem ipotezele cu \(p_{(1)}, \dots, p_{(k^*)}\), unde \(k^* = \max\{k : p_{(k)} \le k q / M\}\)
                            • \(M\) numără fiecare variantă propusă de asistent, inclusiv pe cele abandonate
                            • Dacă ipotezele au fost construite pe rezultatele de test, \(p\)-value-urile cer date de test neatinse sau inferență selectivă (secvențială)

                          Bucla descoperirii și verificările cercetătorului

                          Slide 64 în PDF

                          Bucla de cercetare are șase pași: literatura, ipotezele, datele și codul, verificările de robustețe fixate dinainte, critica și raportul. Un asistent precum Claude, ChatGPT, Gemini sau GitHub Copilot poate redacta fiecare pas, dar cercetătorul îl verifică pe fiecare; prompt-uri reutilizabile pentru acești pași se află în Anexă. Patru riscuri au nevoie de un test specific.

                          Memorarea: modelul poate ști ce a urmat titlului. Testul folosește știri publicate după publicarea ponderilor, text anonimizat ca diagnostic (Glasserman & Lin, 2023) și testul memoriei din acest capitol. Traiectoriile ramificate (forking paths): prompt-ul, pragul și orizontul pot fi ajustate pe perioada de test. Testul este o grilă preînregistrată, cu o rată de eroare declarată, Holm pentru FWER sau BH pentru FDR, sub independență sau dependență pozitivă; regula \(|t| > 3\) (Harvey, Liu & Zhu, 2016) este o euristică, nu o garanție a ratei de eroare.

                          HARKing (hypothesising after the results are known), formularea ipotezei după cunoașterea rezultatelor, produce un mecanism plauzibil scris după rezultat, cu referințe care pot să nu existe. Testul constă în formularea mecanismului și a condiției care l-ar infirma înainte de test și în verificarea fiecărui DOI (digital object identifier). Alinierea în timp și agenții care rulează cod aduc marcaje de timp fără oră și schimbări tăcute ale datelor, ferestrelor sau seed-urilor. Testele sînt primul randament tranzacționabil în \(d+2\), date doar pentru citire, înregistrarea apelurilor către instrumente și diff-ul fiecărui script înainte ca un rezultat să fie acceptat.

                          Pe scurt

                          • Literatura, ipotezele, datele și codul, robustețea fixată dinainte, critica, raportul
                            • Un asistent (Claude, ChatGPT, Gemini, GitHub Copilot) redactează fiecare pas, cercetătorul îl verifică
                            • Prompt-uri reutilizabile: Anexa
                          • Memorarea: modelul știe ce a urmat după titlu
                            • Teste: știri de după publicarea ponderilor, text anonimizat ca diagnostic (Glasserman & Lin (2023)) și testul de memorie din acest capitol
                          • Drumurile ramificate (forking paths): prompt, prag, orizont ajustate pe perioada de test
                            • Test: o grilă preînregistrată și o rată de eroare declarată: Holm (FWER) sau BH (FDR, sub independență sau dependență pozitivă)
                            • \(|t| > 3\) (Harvey, Liu & Zhu (2016)) este o regulă empirică, nu o garanție pentru rata de eroare
                          • HARKing: un mecanism plauzibil scris după rezultat, cu referințe care pot să nu existe
                            • HARKing: hypothesising after the results are known, formularea ipotezei după ce rezultatul este cunoscut
                            • Test: formulați mecanismul și ce l-ar infirma înaintea testului și verificați fiecare DOI (digital object identifier, identificatorul digital al lucrării)
                          • Alinierea în timp și agenții care rulează cod
                            • Marcaje de timp doar la nivel de dată și modificări neanunțate ale datelor, ferestrelor sau seed-urilor
                            • Teste: primul randament tranzacționabil este cel din \(d+2\), date doar pentru citire, apeluri de instrumente jurnalizate și verificarea modificărilor (diff) fiecărui script înainte de a accepta un rezultat

                          Mini-studiu de caz: rafinările propuse de un asistent

                          Slide 65 în PDF

                          O propunere tipică a unui asistent sună astfel: „the Qwen signal works; refine it with a stronger threshold or a later entry day”. În locul testării doar a rafinării propuse, întreaga grilă de variante este testată pe scorurile salvate. Grila combină 3 scoruri (LM, FinBERT, Qwen) cu 3 praguri, \(|s_{i,d}| > b\) pentru \(b \in \{0;\ 0{,}25;\ 0{,}5\}\) pe scorul brut, și cu 4 zile de randament, de la \(d+2\) la \(d+5\), fiecare fiind o poziție de o zi deschisă la închiderea anterioară: în total 36 de strategii. Cazul de bază este strategia din secțiunea anterioară, 5,64 bp pe zi, cu \(t\) = 2,26.

                          Cinci dintre cele 36 de strategii au \(|t| > 1{,}96\), față de 1,8 așteptate sub ipoteza nulă globală la 5%, iar 2 dintre ele au semnul greșit. După corecție nu supraviețuiește nicio strategie: 0 cu Holm la o FWER de 5%, 0 cu BH la o FDR de 10% și 0 cu \(|t| > 3\). Pragul Bonferroni pentru 36 de teste este \(|t| > 3{,}20\).

                          Rafinările nu adaugă deci nicio dovadă. Cea mai bună variantă este cea de la care am pornit, iar ea însăși a fost aleasă dintre trei scoruri, pe o perioadă pe care modelul și-o poate aminti.

                          Pe scurt

                          • O propunere tipică a unui asistent:
                            • „semnalul Qwen funcționează; rafinează-l cu un prag mai strict sau cu o zi de intrare mai tîrzie”
                          • Testăm toată grila pe scorurile salvate
                          • Grila: 3 scoruri \(\times\) 3 praguri \(\times\) 4 zile de randament = 36 de strategii
                            • Scorurile: LM, FinBERT, Qwen
                            • Pragurile: \(|s_{i,d}| > \delta\), \(\delta \in \{0; 0{,}25; 0{,}5\}\), pe scorul brut
                            • Zilele: \(d+2\) – \(d+5\), fiecare o poziție de o zi deschisă la închiderea precedentă
                            • Cazul de bază: 5,64 bp pe zi, \(t\) = 2,26
                          • \(|t| > 1{,}96\) pentru 5 din 36 de strategii (2 cu semnul greșit)
                            • Față de 1,8 așteptate sub ipoteza nulă globală la 5%
                          • Numărul de strategii care rămîn semnificative:
                            • 0 cu Holm (FWER 5%), 0 cu BH (FDR 10%), 0 cu regula \(|t| > 3\)
                          • Pragul Bonferroni este \(|t| > 3{,}20\)
                          • Interpretare: rafinările nu adaugă dovezi
                            • Cea mai bună variantă este cea de la care am pornit
                            • Aleasă ea însăși dintre trei scoruri, pe o perioadă pe care modelul și-o poate aminti
                          MFM_ch15_ai_discovery

                          Curba specificațiilor față de zgomot (1/2)

                          Slide 66 în PDF

                          O curbă a specificațiilor (specification curve) (Simonsohn, Simmons & Nelson, 2020) raportează toate variantele unei analize, nu doar pe cea mai bună. Graficul ordonează cele 36 de strategii ale mini-studiului după statistica \(t\) Newey–West a randamentului zilnic mediu: axa orizontală este rangul specificației, axa verticală statistica ei \(t\), culoarea scorul (portocaliu LM, albastru FinBERT, roșu Qwen2.5-7B), iar liniile întrerupte marchează \(\pm 1{,}96\).

                          În versiunea interactivă, primul cursor stabilește valoarea critică a lui \(t\), iar al doilea numărul de extrageri sub ipoteza nulă, de la 100 la 2 000. Al doilea panou arată distribuția sub ipoteza nulă a numărului de specificații peste valoarea critică; butonul ▶ crește numărul de extrageri.

                            Întrebare pentru sală Trei dintre cele 36 de specificații au t > 1,96. Cu 2 000 de extrageri, permite acest număr respingerea ipotezei nule comune la nivelul de 5%?
                            Răspuns

                            Nu. Comparația relevantă folosește distribuția comună a numărului de depășiri, care păstrează dependența dintre specificații: semnul pozițiilor este schimbat aleator în blocuri de 10 zile. Probabilitatea a cel puțin 3 specificații cu t > 1,96 este 0,113 în curs și 0,103 în browser, ambele peste 0,05. Nu respingem ipoteza nulă, ceea ce nu demonstrează că toate efectele sînt nule. Nicio specificație nu trece de pragul Bonferroni, |t| > 3,20.

                            Trei dintre cele 36 de specificații au \(t > 1{,}96\). Comparația relevantă folosește distribuția comună a numărului de depășiri, care păstrează dependența dintre specificații. Sub ipoteza nulă, cel puțin 3 specificații cu \(t > 1{,}96\) apar cu probabilitatea 0,113, peste 0,05: nu respingem ipoteza nulă comună, ceea ce nu demonstrează că toate efectele sînt nule. Nicio specificație nu trece de pragul Bonferroni, \(|t| > 3{,}20\).

                            Curba specificațiilor față de zgomot (2/2)

                            Slide 67 în PDF

                            Ipoteza nulă comună este că nicio specificație nu prognozează randamentele. Distribuția ei este simulată schimbînd aleator semnele pozițiilor în blocuri de 10 zile de tranzacționare consecutive, inclusiv zilele cu randament zero, de 2 000 de ori, cu aceleași schimbări pentru toate cele 36 de specificații; aceasta este un wild bootstrap dependent (Shao, 2010). Procedura este validă dacă, sub ipoteza nulă, randamentele cu semn sînt simetrice în jurul lui zero, iar blocurile sînt aproximativ independente.

                            Curba observată are 3 specificații cu \(t > 1{,}96\) și o mediană a lui \(t\) de 0,50. Sub ipoteza nulă, 3 sau mai multe depășiri apar cu probabilitatea 0,113, iar o mediană atît de mare cu probabilitatea 0,207. Curba este compatibilă cu zgomotul la 5%; raportarea doar a celui mai bun punct ar ascunde acest lucru.

                            Rezultatul susține o asociere, iar niciuna dintre cele 36 de asocieri predictive nu se distinge de zgomot.

                            Pe scurt

                            • Toate cele 36 de strategii din mini-studiu, ordonate după \(t\) (Simonsohn, Simmons & Nelson (2020)), cu linii punctate la \(\pm 1{,}96\)
                            • Ipoteza nulă comună: nicio specificație nu prognozează randamentele
                              • Schimbăm aleator semnul pozițiilor în blocuri de 10 zile de tranzacționare consecutive, inclusiv zilele cu randament zero, de 2 000 de ori, cu aceleași schimbări pentru toate cele 36 de specificații (dependent wild bootstrap, Shao (2010))
                              • Valid dacă, sub ipoteza nulă, randamentele cu semn sînt simetrice în jurul lui 0, iar blocurile sînt aproximativ independente
                            • Observat: 3 specificații cu \(t > 1{,}96\), iar \(t\) median este 0,50
                              • Sub ipoteza nulă: probabilitatea a 3 sau mai multe specificații cu \(t > 1{,}96\) este 0,113, iar a unei mediane a lui \(t\) cel puțin la fel de mari, 0,207
                            • Interpretare: curba este compatibilă cu zgomotul la 5%
                              • Raportarea doar a celui mai bun punct ar ascunde asta
                            • Tipul de dovadă: asociere
                              • Niciuna dintre cele 36 de asocieri predictive nu se distinge de zgomot
                            MFM_ch15_valid_inference

                            Temă de proiect

                            Slide 68 în PDF

                            Întrebarea proiectului este dacă sentimentul titlurilor măsurat cu un LLM prognozează randamentele dincolo de \(d+1\), pe știri publicate după publicarea modelului, sub o grilă preînregistrată. Primul pas este replicarea strategiei Qwen din acest capitol, apoi a designului post-cutoff al lui Lopez-Lira & Tang (2026).

                            Livrabilele sînt grila preînregistrată și corecția ei, titluri datate publicate după publicarea unui model cu ponderi publice și testul pe toate variantele. Ele includ și un mecanism propus de un LLM, formulat înainte de test împreună cu condiția care l-ar infirma, precum și o critică în stilul unui referent, cu răspunsul autorului.

                            Fiecare prompt care a influențat o decizie este înregistrat în `AI_USE.md`, iar fiecare referință inventată, fapt memorat sau număr greșit depistat este înregistrat în `AI_ERRORS.md`, împreună cu testul care l-a depistat; șabloanele sînt indicate pe slide.

                            Pe scurt

                            Întrebarea și pașii
                            • Prognozează sentimentul titlurilor, măsurat cu un LLM, randamentele după \(d+1\)?
                              • Pe știri publicate după lansarea modelului, cu o grilă preînregistrată
                            • Replicați întîi strategia Qwen din acest capitol
                            • Apoi aplicați protocolul cu știri de după data-limită din Lopez-Lira & Tang (2026)
                            • Notați în AI_USE.md fiecare prompt care a influențat o decizie
                            • Notați în AI_ERRORS.md fiecare referință inventată, fapt memorat sau cifră greșită depistată
                            Livrabile
                            • Grila și corecția pentru testarea multiplă, preînregistrate
                            • Titluri datate de după publicarea unui model deschis
                            • Testul pe toate variantele grilei
                            • Un mecanism propus de LLM, formulat înaintea testului împreună cu ce l-ar infirma
                            • O critică de tip recenzent și răspunsul echipei

                            Sinteza secțiunii

                            Cînd un asistent propune rafinări, unitatea inferenței este întreaga familie de variante. Pe datele capitolului, 5 din 36 de strategii trec de \(|t| > 1{,}96\), niciuna nu rezistă la Holm, BH sau \(|t| > 3\), iar curba specificațiilor este compatibilă cu zgomotul la 5%. Verificările pentru memorare, traiectorii ramificate, HARKing și aliniere în timp rămîn ale cercetătorului.

                            Concluzii

                            Capitolul a comparat patru moduri de a măsura sentimentul textelor financiare pe aceleași date etichetate, a testat ce își amintește un LLM despre istoria pieței și s-a întrebat dacă tonul măsurat al titlurilor datate poate fi tranzacționat. Secțiunea adună rezultatele principale și le transformă într-o decizie practică.

                            Idei principale

                            Slide 69 în PDF

                            Dicționarele generale citesc greșit textele financiare, iar dicționarul LM rămîne un reper transparent. FinBERT și LLM-urile cu ponderi publice de 7B–14B parametri nu arată o diferență semnificativă de acuratețe pe titlurile financiare, ceea ce nu este o dovadă de egalitate, iar cîteva sute de etichete cu un clasificator simplu concurează cu ambele.

                            LLM-urile își amintesc istoria pieței, deci trebuie evaluate doar pe date de după data lor de publicare. Sentimentul titlurilor explică mișcările din aceeași zi, dar, cu o aliniere realistă în timp și cu costuri, nu bate piața în cele 16 acțiuni mari studiate.

                            În fine, scorurile sînt măsurători cu eroare. Atenuarea, erorile posibil comune ale modelelor, numărul mic de grupuri și multele variante încercate influențează toate inferența trasă din ele.

                            Pe scurt

                            • Dicționarele generale citesc greșit textele financiare, iar dicționarul LM rămîne un reper transparent
                            • Între FinBERT și LLM-urile deschise de 7B–14B nu s-a detectat o diferență semnificativă de acuratețe
                              • Pe titluri financiare
                              • Ceea ce nu dovedește egalitatea
                            • Cîteva sute de etichete și un clasificator simplu concurează cu ambele
                            • LLM-urile își amintesc istoria piețelor: evaluați-le doar după data publicării lor
                            • Sentimentul titlurilor explică mișcările din aceeași zi
                              • Dar, cu o aliniere realistă în timp și cu costuri, nu depășește piața
                              • Pentru cele 16 acțiuni mari studiate
                            • Scorurile sînt măsurători cu eroare
                              • Atenuarea, erorile posibil comune ale modelelor, puținele grupuri și numeroasele încercări influențează inferența

                            Verificarea înțelegerii

                            Slide 70 în PDF

                            Cele patru întrebări revin la punctele principale ale capitolului:

                            1. De ce listele de cuvinte clasifică greșit expresiile al căror semn depinde de context;
                            2. De ce acuratețea clasificării nu stabilește profitul din tranzacționare;
                            3. De ce data publicării unui model contează pentru un backtest istoric;
                            4. De ce un scor de sentiment este o măsurătoare, nu un adevăr observat.

                            Răspunsuri scurte se află în Anexă.

                            Pe scurt

                            • De ce poate o metodă care adună etichetele de dicționar ale cuvintelor izolate să clasifice greșit o expresie financiară?
                              • Dați un exemplu în care contextul schimbă semnul.
                            • O acuratețe mare a clasificării dovedește profitabilitatea tranzacționării?
                              • Separați calitatea etichetelor, momentul tranzacției și costurile.
                            • De ce contează data lansării modelului într-un backtest pe știri istorice?
                              • Descrieți alegerea datelor care exclude ca randamentele evaluate să fie memorate în ponderi.
                            • De ce este scorul de sentiment o măsurătoare, nu un adevăr observat?
                              • Explicați ce permite să estimați un eșantion aleator de titluri etichetate de oameni.
                            • Răspunsuri scurte: Anexa.

                            Decizia practică

                            Slide 71 în PDF

                            Decizia are trei părți: ce aleg, în ce condiții și ce rezultat m-ar face să renunț. Un reper rapid și transparent este dicționarul LM, care nu are nevoie de antrenare și poate fi auditat. Pentru titluri financiare scurte în engleză, FinBERT sau, cu cîteva sute de etichete din domeniu, embeddings cu regresie logistică. Fără etichete, în alte limbi sau pentru documente lungi, un LLM cu ponderi publice de cel puțin 7B parametri, folosit zero-shot. Pentru tranzacționarea zilnică a celor 16 acțiuni mari studiate, niciun semnal de sentiment.

                            Alegerile sînt valabile sub evaluare out-of-sample, cu intervale și teste pe perechi. Pe Twitter, TF-IDF cu regresie logistică atinge 83,2% acuratețe, față de 74,2% pentru Qwen2.5-7B și 72,5% pentru FinBERT. Strategia Qwen2.5-7B își atinge echilibrul la 1,5 bp pe tranzacție, sub costul presupus de 5 bp.

                            Alegerea trebuie revizuită după un test McNemar semnificativ în favoarea altei metode pe texte din domeniul-țintă, după un test al memoriei cu AUC peste 0,5 pe perioada backtest-ului (0,69 pentru Qwen2.5-14B pe lunile dinainte de publicare) sau dacă un semnal rămîne semnificativ după Holm pe titluri publicate după publicarea modelului, cu un cost de echilibru peste costul real.

                            Pe scurt

                            • Ce aleg
                              • Un reper rapid și transparent: dicționarul LM, fără antrenare și verificabil
                              • Titluri financiare scurte în engleză: FinBERT sau, cu cîteva sute de etichete din domeniu, embeddings + regresie logistică
                              • Fără etichete, în alte limbi sau pe documente lungi: un LLM deschis de cel puțin 7B, zero-shot
                              • Pentru tranzacționarea zilnică a celor 16 acțiuni mari: niciun semnal de sentiment
                            • În ce condiții
                              • Evaluare în afara eșantionului, cu intervale și teste pe perechi
                              • Pe Twitter, TF-IDF + regresie logistică are 83,2% acuratețe, față de 74,2% pentru Qwen2.5-7B și 72,5% pentru FinBERT
                              • Strategia Qwen2.5-7B are un cost de echilibru de 1,5 bp pe tranzacție, sub costul presupus de 5 bp
                            • Ce rezultat m-ar face să renunț
                              • Un test McNemar semnificativ în favoarea altei metode, pe texte din domeniul-țintă
                              • Un test de memorie cu AUC peste 0,5 pe perioada backtest-ului (observat aici: 0,69 pentru Qwen2.5-14B, pe lunile dinainte de publicare)
                              • Un semnal care rămîne semnificativ după Holm pe titluri de după publicarea modelului, cu un cost de echilibru peste costul real

                            Sinteza secțiunii

                            Răspunsul capitolului la întrebarea lui este negativ pentru datele studiate: modelele citesc rezonabil tonul titlurilor, iar acest ton explică mișcarea din aceeași zi, dar pe 16 acțiuni mari, cu marcaje de timp fără oră, nu prognozează un randament tranzacționabil după costuri. Instrumentele de măsurare din capitol, testele pe perechi, testele memoriei, corecțiile atenuării, PPI și corecțiile pentru testarea multiplă, se aplică oricărui semnal bazat pe text.

                            Aprofundări

                            Cadrele din această parte extind teme tratate pe scurt în corpul capitolului: exemple rezolvate, dezacordul adnotatorilor și κ al lui Cohen, structura erorilor, prompt-ul ca parametru, calibrarea probabilităților, ce își amintește Qwen2.5-14B lună de lună, acoperirea titlurilor, un studiu de eveniment, stabilitatea în timp, limitele corecției atenuării, PPI pentru regresii și detaliile studiului de caz cu GPT-4.

                            Exemplu rezolvat: o propoziție, două dicționare

                            Slide 72 în PDF

                            Propoziția din Financial PhraseBank „Uponor improved its performance in spite of the decrease in residential construction in the US”, etichetată pozitiv de toți adnotatorii, ilustrează problema vocabularului din (15.2). LM găsește un cuvînt pozitiv, „improved”, și niciun cuvînt negativ, deci \(\tau = +1{,}00\), corect pozitiv. GI nu găsește niciun cuvînt pozitiv, pentru că „improved” nu este în GI, și găsește două cuvinte negative, „spite” și „decrease”, deci \(\tau = -1{,}00\), greșit negativ; aceste cuvinte descriu piața, nu firma.

                            Pe scurt

                            • Propoziție din Financial PhraseBank, etichetată pozitiv de toți adnotatorii:
                              • Uponor improved its performance in spite of the decrease in residential construction in the US . (US: Statele Unite)
                            • Dicționarul LM găsește un cuvînt pozitiv („improved”) și niciun cuvînt negativ
                              • \(\tau = (1 - 0) / (1 + 0) = \) +1,00: ton pozitiv, deci clasificare corectă
                            • Dicționarul GI nu găsește niciun cuvînt pozitiv și găsește două cuvinte negative („spite”, „decrease”)
                              • \(\tau = (0 - 2) / (0 + 2) = \) \(-\)1,00: ton negativ, deci clasificare greșită
                              • „Spite” și „decrease” descriu piața, nu firma, iar „improved” lipsește din GI

                            Dezacordul adnotatorilor și acuratețea modelelor

                            Slide 73 în PDF

                            Graficul împarte Financial PhraseBank după pragul cel mai înalt de acord atins de fiecare propoziție și arată acuratețea LM, FinBERT, Qwen 7B și Qwen 14B în fiecare grup. Pe propozițiile cu acord deplin, FinBERT ajunge la 97%, Qwen2.5-14B la 94% și LM la 65%; pe cele cu acord între 50% și sub 66%, valorile sînt 70%, 55% și 54%. Eticheta umană este ea însăși zgomotoasă și limitează acuratețea măsurată: zgomotul simetric, independent de clasificatori, micșorează diferențele măsurate spre zero, iar zgomotul dependent de clasă le poate mări sau inversa. Modelele cu etichete latente se află în Anexă.

                            Pe scurt

                            Dezacordul adnotatorilor și acuratețea modelelor
                            • Financial PhraseBank împărțit după cel mai înalt prag de acord atins de fiecare propoziție
                              • Grupul cel mai slab: între 50% și 66%
                            • Acuratețea la acord deplin: FinBERT 97%, Qwen2.5-14B 94%, LM 65%
                              • Acuratețea la un acord de cel puțin 50%, dar sub 66%: FinBERT 70%, Qwen2.5-14B 55%, LM 54%
                            • Eticheta umană este ea însăși zgomotoasă: limitează superior acuratețea măsurată
                              • Modele cu etichete latente: Anexa
                              • Un zgomot simetric și independent de clasificatori atenuează diferențele spre 0; unul dependent de clasă le poate mări sau inversa
                            • Pentru semnale: un ton puternic și clar este mai informativ decît unul la limită
                            MFM_ch15_classification

                            Acord peste hazard: \(\kappa\) al lui Cohen

                            Slide 74 în PDF

                            Acuratețea numără și acordul obținut din întîmplare, care este mare cînd o clasă domină. κ al lui Cohen, \(\kappa = (p_o - p_e)/(1 - p_e)\) (Cohen, 1960), scade din acordul observat \(p_o\) acordul datorat hazardului, \(p_e = \sum_k p^A_k p^B_k\), calculat din frecvențele marginale ale etichetelor celor doi evaluatori. Pe setul de validare Twitter, \(\kappa\) este 0,19 pentru LM, 0,50 pentru FinBERT și 0,56 pentru Qwen2.5-7B, în timp ce reperul „mereu neutru” are \(\kappa = 0\), deși acuratețea lui o depășește pe a LM. Pentru mai mult de doi evaluatori pe text se folosește κ al lui Fleiss.

                            Pe scurt

                            • Acuratețea numără și acordul obținut din întîmplare, mare cînd o clasă domină
                            • \(\kappa\) al lui Cohen (Cohen (1960)): \(\kappa = \dfrac{p_o - p_e}{1 - p_e}\)
                              • \(p_o\): ponderea textelor pe care doi evaluatori (aici modelul și omul) dau aceeași etichetă
                              • \(p_e = \sum_k p^{A}_k\, p^{B}_k\): acordul așteptat din întîmplare, din frecvențele marginale ale etichetelor celor doi evaluatori
                              • \(\kappa = 1\): acord perfect; \(\kappa = 0\): nu mai bun decît hazardul
                            • Pe setul de validare Twitter: \(\kappa\) = 0,19 (LM), 0,50 (FinBERT), 0,56 (Qwen2.5-7B)
                            • Reperul „mereu neutru” are \(\kappa = 0\), deși acuratețea lui o depășește pe cea a LM
                            • Pentru mai mulți evaluatori pe text, \(\kappa\) al lui Fleiss (Anexa)

                            Structura erorilor: modele diferite, greșeli diferite (1/2)

                            Slide 75 în PDF

                            Matricele de confuzie (confusion matrices) pe setul de validare Twitter au etichetele adevărate pe rînduri și etichetele prezise pe coloane, iar fiecare celulă conține numărul de titluri; cele trei panouri sînt LM, FinBERT și Qwen2.5-7B, cu acuratețea fiecăruia în titlu.

                            Pe scurt

                            Structura erorilor: modele diferite, greșeli diferite (1/2)
                            • Setul de validare Twitter, numărul de titluri în fiecare celulă
                              • Rîndurile sînt etichetele adevărate, coloanele etichetele prezise
                            MFM_ch15_classification

                            Structura erorilor: modele diferite, greșeli diferite (2/2)

                            Slide 76 în PDF

                            Cele trei modele au tipare de eroare diferite:

                            • LM clasifică drept neutre majoritatea titlurilor pozitive, pentru că lista lui pozitivă este scurtă;
                            • FinBERT greșește în ambele direcții în jurul clasei neutre;
                            • Qwen2.5-7B are un recall de circa 87% pe titlurile pozitive (414 din 475) și 88% pe cele negative (304 din 347), dar o precizie de doar 56% pe pozitive (414 din 743) și 61% pe negative (304 din 496), pentru că transformă multe titluri neutre în pozitive sau negative.

                            Pentru tranzacționare, semnalele false costă bani, deci contează precizia pe clasele extreme.

                            Pe scurt

                            • LM clasifică drept neutre majoritatea titlurilor pozitive
                              • Lista sa de cuvinte pozitive este scurtă
                            • FinBERT greșește în ambele direcții în jurul clasei neutre
                            • Qwen2.5-7B: recall de circa 87% pe pozitive (414/475) și 88% pe negative (304/347)
                              • Dar precizie de doar 56% pe pozitive (414/743) și 61% pe negative (304/496)
                              • Multe titluri neutre devin pozitive sau negative
                            • Pentru tranzacționare, semnalele false generează pierderi
                              • Contează precizia pe clasele extreme
                            MFM_ch15_classification

                            Același model, altă formulare: prompt-ul este un parametru

                            Slide 77 în PDF

                            Trei prompt-uri care pun aceeași întrebare dau rezultate diferite pe setul de validare Twitter: acuratețea variază între 52,7% și 61,7% pentru 1.5B, între 73,7% și 77,8% pentru 7B și între 69,9% și 75,6% pentru 14B. Cele trei prompt-uri dau aceeași etichetă doar pentru 67% dintre titluri la 7B, iar ponderea răspunsurilor „neutral” ale lui 7B variază între 48% (P1) și 69% (P3). Alegerea prompt-ului după vederea rezultatelor de test este o formă de data snooping (Capitolul 13); prompt-ul se fixează dinainte sau se alege pe un set de validare separat.

                            Pe scurt

                            Același model, altă formulare: prompt-ul este un parametru
                            • Trei prompt-uri care pun aceeași întrebare, pe setul de validare Twitter
                            • Acuratețea variază cu prompt-ul
                              • Între 52,7% și 61,7% pentru 1.5B
                              • Între 73,7% și 77,8% pentru 7B
                              • Între 69,9% și 75,6% pentru 14B
                              • Cele trei prompt-uri dau aceeași etichetă doar pentru 67% dintre titluri (7B)
                              • Ponderea răspunsurilor „neutral” pentru 7B: de la 48% (P1) la 69% (P3)
                            • Alegerea prompt-ului după examinarea rezultatelor de test este o formă de căutare repetată în aceleași date (data snooping) (Capitolul 13)
                              • Fixați prompt-ul dinainte sau alegeți-l pe un set de validare separat
                            MFM_ch15_llm_zero_shot

                            Calibrarea probabilităților: ECE și scalarea prin temperatură

                            Slide 78 în PDF

                            Un model este calibrat dacă, dintre textele cărora le atribuie probabilitatea 0,9, are dreptate în 90% dintre cazuri. Eroarea de calibrare așteptată (ECE, expected calibration error), \(\sum_b \frac{n_b}{n}|\text{acc}_b - \text{conf}_b|\) pe 10 intervale ale probabilității maxime, ponderează diferența dintre acuratețe și încrederea medie din fiecare interval cu ponderea textelor din el. Scalarea prin temperatură (temperature scaling) (Guo et al., 2017) împarte valorile logit la \(T\), ca în (15.8), cu \(T\) estimat prin verosimilitate maximă pe o jumătate aleatoare a setului de validare Twitter și ECE măsurată pe cealaltă jumătate; ea nu schimbă clasa cea mai probabilă, deci nici acuratețea.

                            Pe scurt

                            • Întrebarea: cînd modelul dă unei clase probabilitatea 0,9, are dreptate în 90% din cazuri?
                            • ECE \(= \sum_b \frac{n_b}{n}|\text{acc}_b - \text{conf}_b|\) pe 10 intervale ale probabilității maxime
                              • ECE: expected calibration error, eroarea medie de calibrare
                              • \(n_b\) și \(n\): numărul de titluri din intervalul \(b\), respectiv numărul total de titluri
                              • \(\text{conf}_b\): media probabilității maxime în intervalul \(b\)
                              • \(\text{acc}_b\): proporția titlurilor clasificate corect în intervalul \(b\)
                            • Scalarea prin temperatură (Guo et al. (2017)): \(p_k(T) \propto p_k^{1/T}\), adică logiții împărțiți la \(T\)
                              • \(T\) estimat prin verosimilitate maximă pe o jumătate aleatoare a setului de validare Twitter
                              • ECE măsurat pe cealaltă jumătate
                              • Probabilitățile salvate sînt rotunjite la 6 zecimale; zerourile sînt înlocuite numeric cu \(10^{-12}\)
                              • Clasa cea mai probabilă nu se schimbă, deci nici acuratețea

                            Calibrarea probabilităților: LLM-urile sînt supraîncrezătoare (1/3)

                            Slide 79 în PDF

                            Diagrama de fiabilitate (reliability diagram) reprezintă, pentru fiecare interval, ponderea etichetelor corecte în funcție de probabilitatea prezisă a etichetei alese, înainte de scalarea prin temperatură (stînga) și după ea (dreapta); diagonala întreruptă înseamnă calibrare perfectă, iar legenda dă ECE brută pentru FinBERT, Qwen2.5-7B și Qwen2.5-14B.

                            Calibrarea probabilităților: LLM-urile sînt supraîncrezătoare (2/3)

                            Slide 80 în PDF

                            ECE brută este 10,4% pentru FinBERT, 22,6% pentru Qwen2.5-7B și 25,9% pentru Qwen2.5-14B. Qwen2.5-7B dă unei proporții de 88% dintre titluri o încredere peste 0,93, cu media 99,7%, dar are dreptate doar pentru 77% dintre ele. Scalarea prin temperatură, cu \(T\) = 8,4 pentru 7B și 1,4 pentru FinBERT, coboară ECE la 4,3% și 4,6%; \(T\) estimat pentru 7B depinde de pragul numeric (5,6 cu \(10^{-6}\) în loc de \(10^{-12}\)), dar supraîncrederea rămîne. ECE a lui 7B depinde și de prompt: 22,6%, 22,1% și 19,8% pentru P1, P2 și P3.

                            Pe scurt

                            • Panoul din stînga: probabilitățile brute
                            • Panoul din dreapta: după scalarea prin temperatură
                              • Diagonala înseamnă calibrare perfectă
                            • ECE pentru probabilitățile brute: FinBERT 10,4%, Qwen2.5-7B 22,6%, Qwen2.5-14B 25,9%
                            • Qwen2.5-7B atribuie pentru 88% dintre titluri o probabilitate de peste 0,93 (în medie 99,7%)
                              • Are dreptate doar la 77% dintre ele: supraîncredere
                            • Scalarea prin temperatură, \(T\) = 8,4 (7B) și 1,4 (FinBERT): ECE scade la 4,3% și 4,6%
                              • \(T\) pentru 7B depinde de pragul numeric: 5,6 cu \(10^{-6}\) în locul lui \(10^{-12}\); supraîncrederea rămîne
                            • ECE pentru 7B depinde de prompt: 22,6% cu P1, 22,1% cu P2 și 19,8% cu P3
                            MFM_ch15_valid_inference

                            Calibrarea probabilităților: LLM-urile sînt supraîncrezătoare (3/3)

                            Slide 81 în PDF

                            Două scoruri proprii (proper scores) ale probabilităților, ambele mai mici cînd sînt mai bune, confirmă cîștigul: log loss, media lui \(-\ln p_{iy_i}\), și scorul Brier (Brier, 1950), distanța pătratică dintre probabilități și eticheta one-hot, însumată pe cele 3 clase. Pentru 7B, scalarea prin temperatură duce log loss de la 2,61 la 0,63 și scorul Brier de la 0,468 la 0,366. Cu probabilitățile brute ale LLM-ului, scorul net dintr-o regresie este aproape o etichetă cu trei valori.

                            Pe scurt

                            • Două reguli de scor proprii pentru probabilități, la care o valoare mai mică este mai bună
                              • Proper scoring rules
                              • log loss: media lui \(-\ln p_{i y_i}\), cu \(p_{i y_i}\) probabilitatea dată clasei adevărate \(y_i\) a titlului \(i\)
                              • scorul Brier (Brier (1950)): distanța pătratică dintre probabilități și eticheta codificată one-hot (1 pentru clasa adevărată, 0 în rest), însumată pe cele 3 clase
                            • Pentru 7B, după scalarea prin temperatură:
                              • Log loss trece de la 2,61 la 0,63
                              • Scorul Brier trece de la 0,468 la 0,366
                            • Cu probabilitățile brute ale LLM-ului, scorul net folosit într-o regresie
                              • Se comportă aproape ca o etichetă cu trei valori

                            Exemplu rezolvat: LLM față de FinBERT

                            Slide 82 în PDF

                            Pe Twitter, cu prompt-ul P1, Qwen2.5-7B ajunge la 74,2%, iar FinBERT la 72,5%. Cu A = FinBERT și B = Qwen, \(n_{01}\) = 395 și \(n_{10}\) = 355, deci diferența este 40/2 388 = +1,7 puncte, cu CI 95% [−0,5; +3,8]; după (15.4), \(\chi^2 = 2{,}03\) și \(p \approx 0{,}15\) (testul exact: 0,154). Qwen2.5-14B față de FinBERT dă −0,1 puncte, \(p\) = 0,942. Diferența nu este semnificativă, ceea ce nu dovedește o acuratețe egală: de 70 pînă la 130 de ori mai mulți parametri și o procesare mai lentă nu aduc un cîștig demonstrat pe titluri, în timp ce LLM-urile ajută acolo unde lipsesc etichetele, în alte limbi și pe documente lungi (Anexă).

                            Pe scurt

                            • Twitter, prompt-ul P1: Qwen2.5-7B 74,2%, FinBERT 72,5%
                              • A = FinBERT, B = Qwen; texte pe care doar unul dintre modele are dreptate: \(n_{01}\) = 395, \(n_{10}\) = 355
                              • Diferența de acuratețe: \((n_{01} - n_{10})/n\) = 40/2 388 = +1,7 puncte procentuale, CI 95% [\(-\)0,5; +3,8]
                              • De mînă: \(\chi^2 = (|n_{01} - n_{10}| - 1)^2/(n_{01} + n_{10})\) = 2,03, deci \(p = P(\chi^2_1 > 2{,}03) \approx\) 0,15; testul exact dă \(p\) = 0,154
                            • Qwen2.5-14B față de FinBERT: diferența este de \(-\)0,1 puncte procentuale, cu \(p\) = 0,942
                            • De 70 pînă la 130 de ori mai mulți parametri nu aduc un cîștig demonstrat
                              • Nici egalitatea nu este dovedită
                            • Unde ajută LLM-urile (Anexa)
                              • Nu cer etichete și funcționează în orice limbă
                              • Pe documente mai lungi și mai complexe

                            Memoria lui Qwen2.5-14B despre S&P 500 (1/2)

                            Slide 83 în PDF

                            Graficul arată, pentru fiecare lună începînd din 2000, probabilitatea ca Qwen2.5-14B să răspundă „rise” cînd este întrebat doar de lună, colorată după ce a făcut efectiv S&P 500 în acea lună; linia verticală întreruptă marchează publicarea ponderilor.

                            Memoria lui Qwen2.5-14B despre S&P 500 (2/2)

                            Slide 84 în PDF

                            Modelul răspunde „fall” pentru 2000–2002 și 2008–2009 și „rise” pentru cea mai mare parte din 2003–2007 și 2013–2021. Octombrie 2008 (−16,9%), martie 2020 (−12,5%) și decembrie 2018 (−9,2%) primesc \(P(\text{creștere}) \approx 0\), dar septembrie 2002 (−11,0%) și februarie 2009 (−11,0%) primesc \(P(\text{creștere})\) aproape de 1: cunoașterea este grosieră, formată din episoade memorabile, nu din fiecare lună. După publicare, răspunsurile alunecă spre „rise”, reflectînd doar convingerea generală că piețele cresc.

                            Pe scurt

                            • Probabilitatea răspunsului „rise” pentru fiecare lună, fără context
                              • Culoarea arată ce a făcut de fapt indicele
                            • Răspunsul este „fall” pentru 2000–2002 și 2008–2009
                              • „Rise” pentru cea mai mare parte din 2003–2007 și 2013–2021
                              • \(P(\text{creștere}) \approx 0\) în lunile cu scăderi mari: octombrie 2008 (\(-\)16,9%), martie 2020 (\(-\)12,5%), decembrie 2018 (\(-\)9,2%)
                            • Dar septembrie 2002 (\(-\)11,0%) și februarie 2009 (\(-\)11,0%) primesc \(P(\text{creștere})\) aproape de 1
                              • Cunoașterea este aproximativă
                              • Modelul reține episoadele memorabile, nu fiecare lună
                            • După publicare, răspunsurile tind spre „rise”
                              • Fără cunoștințe, rămîne convingerea generală că piețele cresc
                            MFM_ch15_lookahead

                            Numărul de titluri în timp: acoperire inegală

                            Slide 85 în PDF

                            Numărul de titluri despre cele 16 acțiuni, după anul zilei de tranzacționare căreia îi sînt atribuite, crește puternic în timp: 34 380 de titluri doar în 2023, față de 8 445 pentru toți anii dinainte de 2016. Rezultatele sînt deci dominate de anii recenți. Într-o zi cu știri, o acțiune are în medie 5,8 titluri, iar scorul zilnic este media lor. Cele 16 acțiuni aparțin firmelor mari de azi, selectate retrospectiv, ceea ce introduce o distorsiune de supraviețuire (survivorship bias).

                            Pe scurt

                            Numărul de titluri în timp: acoperire inegală
                            • Titluri despre cele 16 acțiuni pe an, după ziua de tranzacționare la care sînt atribuite
                            • 34 380 de titluri doar în 2023, față de 8 445 în toți anii dinainte de 2016
                              • Rezultatele sînt dominate de anii recenți, iar primii ani au puține zile cu știri pe acțiune
                            • Într-o zi cu știri, o acțiune are în medie 5,8 titluri
                            • Scorul zilnic: media scorurilor titlurilor pentru acțiunea și ziua respectivă
                            • Deplasarea de supraviețuire (survivorship bias)
                              • Cele 16 acțiuni aparțin unor firme mari în prezent, selectate retrospectiv
                            MFM_ch15_news_data

                            Studiu de eveniment: mișcarea are loc înainte de știre și în ziua ei (1/2)

                            Slide 86 în PDF

                            Graficul arată randamentul mediu cumulat în exces față de SPY, din ziua −5 pînă în ziua +5 în jurul datei titlului, pentru treimea cea mai pozitivă și cea mai negativă a zilelor cu știri după scorul zilnic FinBERT; fereastra hașurată acoperă zilele tranzacționabile \(d+2\)–\(d+5\). Treimea cea mai pozitivă cîștigă +0,63% în cele 5 zile dinaintea știrii și +0,50% în ziua \(d\); treimea cea mai negativă cîștigă +0,06% înainte și pierde −0,38% în ziua \(d\). Mișcarea dinaintea știrii indică scurgeri de informații sau titluri scrise după ce prețul s-a mișcat.

                            Pe scurt

                            Studiu de eveniment: mișcarea are loc înainte de știre și în ziua ei (1/2)
                            • Randamentul în exces cumulat mediu, de la ziua \(-5\) la ziua \(+5\)
                              • Zilele cu știri împărțite pe tercilele scorului zilnic FinBERT
                              • Zona hașurată: zilele tranzacționabile, de la \(d+2\) la \(d+5\)
                            • Treimea cu scorurile cele mai pozitive: randament în exces cumulat
                              • +0,63% în cele 5 zile dinainte
                              • +0,50% în ziua \(d\)
                              • Treimea cu scorurile cele mai negative: +0,06% în cele 5 zile dinainte și \(-\)0,38% în ziua \(d\)
                              • Explicații posibile: scurgeri de informații sau titluri scrise după mișcarea prețului
                            MFM_ch15_news_signal

                            Studiu de eveniment: mișcarea are loc înainte de știre și în ziua ei (2/2)

                            Slide 87 în PDF

                            Efectul sentimentului, treimea pozitivă minus cea negativă, cu fiecare zi-acțiune ponderată egal și intervale Driscoll–Kraay, este +1,00% [+0,87; +1,13] în ziua \(d\) și +0,17% [−0,11; +0,46] în zilele \(d+2\)–\(d+5\); graficul, care face mai întîi media în fiecare zi, arată +0,88% în ziua \(d\). Testul lui Boehmer, Musumeci & Poulsen (1991), robust la varianța indusă de eveniment, dă pe \(d+2\)–\(d+5\) \(z\) = +2,62 pentru treimea pozitivă și +1,25 pentru cea negativă dacă evenimentele sînt independente, cu \(N\) = 6 094 de evenimente pe treime, dar doar +1,57 și +0,66 cu erori standard Driscoll–Kraay. Ambele treimi derivă în sus, iar selecția firmelor mari de azi poate contribui.

                            Pe scurt

                            • Efectul sentimentului: diferența dintre treimea pozitivă și cea negativă
                              • Estimandul: diferența mediilor, cu ponderi egale pe evenimentele acțiune–zi; CI Driscoll–Kraay (HAC pe zile)
                              • În ziua \(d\): +1,00%, CI [+0,87; +1,13]; în zilele \(d+2\)–\(d+5\): +0,17%, CI [\(-\)0,11; +0,46]
                              • Graficul face media întîi în fiecare zi, apoi între zilele fiecărei treimi: +0,88% în ziua \(d\)
                            • Testul robust la varianța indusă de eveniment (Boehmer, Musumeci & Poulsen (1991)), pentru zilele \(d+2\)–\(d+5\): \(z = \dfrac{\overline{SCAR}}{s(SCAR)/\sqrt{N}}\)
                              • \(SCAR_e = CAR_e/\hat\sigma_e\): randamentul în exces cumulat al evenimentului \(e\), împărțit la abaterea lui standard estimată înaintea evenimentului; \(N\) = 6 094 evenimente în fiecare treime
                              • \(z\) = +2,62 pentru treimea pozitivă și +1,25 pentru cea negativă dacă evenimentele sînt independente; cu erori standard Driscoll–Kraay: +1,57 și +0,66
                            • Ambele treimi au randamente cumulate în creștere
                              • Poate contribui selecția firmelor care sînt mari astăzi

                            Stabilitatea în timp: dovezi slabe

                            Slide 88 în PDF

                            Randamentul zilnic mediu al strategiei înainte de costuri, pe subperioade, este pentru FinBERT +1,4 bp în 2010–2015, −1,8 bp în 2016–2019, +24,3 bp în 2020–2021 și −1,8 bp în 2022–2023. Doar 2020–2021, perioada acțiunilor meme, are o valoare mare, și nici atunci nu este semnificativă la 5%: \(t\) = +1,89 pentru FinBERT, iar Qwen are +22,2 bp cu \(t\) = +1,78; pe întregul eșantion, rezultatul net este negativ. Predictibilitatea publicată se bazează pe marcaje de timp precise și pe multe acțiuni mici, ca în studiul de caz, în timp ce acest eșantion are 16 acțiuni urmărite intens, marcaje fără oră și frecvență zilnică.

                            Pe scurt

                            Stabilitatea în timp: dovezi slabe
                            • Randamentul zilnic mediu al strategiei înainte de costuri, pe subperioade
                            • FinBERT: +1,4 bp (2010–2015), \(-\)1,8 bp (2016–2019), +24,3 bp (2020–2021), \(-\)1,8 bp (2022–2023)
                              • Doar subperioada 2020–2021 are valori mari, nesemnificative la 5%: \(t\) = +1,89 pentru FinBERT, iar Qwen are +22,2 bp (\(t\) = +1,78)
                              • 2020–2021: perioada acțiunilor-meme (episodul GameStop: Anexa)
                              • După costurile presupuse, estimările punctuale rămîn pozitive, dar dovezile statistice sînt slabe
                              • Pe întregul eșantion, rezultatul net este negativ
                            • Explicații: 16 acțiuni foarte urmărite, marcaje de timp doar la nivel de dată, frecvență zilnică
                              • Predictibilitatea publicată se bazează pe marcaje de timp precise și pe multe acțiuni mici (studiul de caz)
                            MFM_ch15_news_signal

                            Cînd exagerează corecția? Titluri față de zile-acțiune

                            Slide 89 în PDF

                            Corecția \(b/\rho\) se bazează pe trei ipoteze: eroare nediferențială, o corelație măsurată pe Twitter care se transferă pe titlurile FNSPID și aceeași unitate de măsură. Ultima nu este îndeplinită aici: \(\rho\) este măsurat pe titlu, în timp ce \(b\) folosește media zilnică a în medie 5,8 titluri. Dacă erorile titlurilor sînt independente și titlurile au un ton adevărat comun, media crește fiabilitatea după formula Spearman–Brown, \(\lambda_k = k\lambda/(1 + (k-1)\lambda)\): cu \(\lambda = 0{,}25\) și \(k = 4\), \(\lambda_k = 0{,}57\) și \(\rho_k = 0{,}76\), deci o pantă zilnică de 10 bp este corectată la 20 bp cu \(\rho\) pe titlu, dar la circa 13 bp cu cel zilnic. Valorile \(b/\rho\) din capitol sînt atunci limite superioare, iar etichetarea tuturor titlurilor dintr-un eșantion aleator de zile-acțiune ar măsura \(\rho\) la nivelul corect.

                            Pe scurt

                            • Corecția \(b/\rho\) se bazează pe trei ipoteze
                              • Eroare nediferențială: dat fiind tonul adevărat, eroarea scorului nu prezice randamentele
                              • Corelația de pe Twitter se păstrează pentru titlurile FNSPID
                              • Aceeași unitate: \(\rho\) este măsurat pe titlu, dar \(b\) folosește scorul zilnic al unei acțiuni, adică media titlurilor din acea zi (în medie 5,8 titluri)
                            • Dacă erorile titlurilor sînt independente, iar titlurile aceleiași zile-acțiune au același ton adevărat:
                              • Media crește corelația cu adevărul
                              • \(\rho\) zilnic depășește \(\rho\) pe titlu, iar \(b/\rho\) corectează prea mult
                            • Exemplu numeric: un titlu are fiabilitatea \(\lambda = \rho^2 = 0{,}25\) (\(\rho = 0{,}50\))
                              • Media a \(k = 4\) astfel de titluri are \(\lambda_k = \dfrac{k\lambda}{1 + (k-1)\lambda} = \dfrac{4(0{,}25)}{1 + 3(0{,}25)} = 0{,}57\) (Spearman–Brown)
                              • Deci \(\rho_k = 0{,}76\)
                              • O pantă zilnică de 10 bp este corectată atunci la \(10/0{,}50 = 20\) bp cu \(\rho\) pe titlu, dar la \(10/0{,}76 \approx 13\) bp cu \(\rho\) zilnic
                            • Cu erori independente între titluri, valorile \(b/\rho\) sînt limite superioare
                              • Concluzia despre panta LM depinde de această ipoteză
                            • Remediu: etichetarea tuturor titlurilor dintr-un eșantion aleator de zile-acțiune
                              • Măsoară \(\rho\) la nivelul potrivit

                            Cînd ajută PPI și cum se extinde la regresii

                            Slide 90 în PDF

                            Din (15.21), intervalul PPI este mai îngust decît cel obținut doar din etichete cînd \(\operatorname{Var}(f)/N + \operatorname{Var}(f - Y)/n < \operatorname{Var}(Y)/n\), adică aproximativ cînd \(\operatorname{Var}(f - Y) < \operatorname{Var}(Y)\) pentru \(N \gg n\). Pentru o regresie, corecția se aplică fiecărei condiții de moment care conține variabila prezisă, inclusiv cînd aceasta este un regresor; învățarea supervizată bazată pe design (design-based supervised learning) (Egami et al., 2023) dă o versiune dublu robustă, în care probabilitățile de etichetare pot depinde de text. Cele cîteva sute de documente etichetate nu sînt deci doar date de antrenare, ci eșantionul de validare care face validă inferența ulterioară.

                            Pe scurt

                            • Intervalul PPI este mai îngust decît cel calculat doar cu etichete cînd
                              • \(\text{Var}(f)/N + \text{Var}(f - Y)/n < \text{Var}(Y)/n\)
                              • Aproximativ \(\text{Var}(f - Y) < \text{Var}(Y)\) cînd \(N \gg n\): modelul trebuie să explice o parte din variația etichetei
                            • Pentru o regresie, corecția se aplică fiecărei condiții de moment care conține variabila prezisă
                            • Egami et al. (2023): învățare supervizată bazată pe design
                              • O versiune dublu robustă care permite probabilități de etichetare dependente de text
                            • Cele cîteva sute de documente etichetate nu sînt doar date de antrenare
                              • Ele sînt eșantionul de validare care face validă inferența ulterioară

                            Cum evaluează autorii știrile publicate după data-limită de antrenare a GPT-4

                            Slide 91 în PDF

                            Lopez-Lira & Tang (2026) folosesc 159 137 de observații firmă–titlu–dată pentru 4 123 de acțiuni ordinare americane listate la NYSE (New York Stock Exchange, Bursa din New York), NASDAQ (National Association of Securities Dealers Automated Quotations, bursa americană NASDAQ, cotații automate ale Asociației Naționale a Dealerilor de Valori Mobiliare) și AMEX, din octombrie 2021 pînă în mai 2024, după data-limită de antrenare din septembrie 2021 a modelului evaluat, `gpt-4-0314`. Titlurile sînt filtrate după relevanță, evenimente noi și cvasi-duplicate, iar 82% sînt știri overnight, publicate înainte de ora 9 sau după ora 16. Modelul, instruit să se comporte ca un expert financiar, răspunde YES, NO sau UNKNOWN despre efectul pe termen scurt asupra prețului acțiunii, la temperatura 0, răspunsuri codificate ca scorurile 1, −1 și 0.

                            Pe scurt

                            • 159 137 de observații firmă-titlu-dată, octombrie 2021 – mai 2024
                              • 4 123 de acțiuni ordinare listate la bursele americane NYSE (New York Stock Exchange, Bursa din New York), NASDAQ (National Association of Securities Dealers Automated Quotations) și AMEX (American Stock Exchange, Bursa Americană de Valori)
                              • Eșantionul începe după septembrie 2021, data-limită a datelor de antrenare pentru modelul gpt-4-0314
                              • Filtre: scorul de relevanță al furnizorului de știri egal cu 100, fără titlurile de tip „stock-gain”/„stock-loss”, doar evenimente noi, eliminarea titlurilor aproape identice din aceeași zi
                              • Știrile publicate înainte de ora 9 sau după ora 16 reprezintă 82% dintre titluri, iar restul apar în timpul ședinței de tranzacționare
                            • Prompt-ul: modelul joacă rolul unui expert financiar
                              • Răspunde YES (veste bună), NO (veste rea) sau UNKNOWN
                              • Despre efectul pe termen scurt asupra prețului acțiunii
                              • Temperatura 0
                              • Scorul \(s_{i,t}\): YES \(= 1\), UNKNOWN \(= 0\), NO \(= -1\)

                            Portofoliile și regresia din Lopez-Lira și Tang

                            Slide 92 în PDF

                            În fiecare zi, autorii iau poziții long în acțiunile cu scor pozitiv și short în cele cu scor negativ, cu ponderi egale și cu o componentă doar dacă aceasta conține cel puțin două firme; pentru știrile overnight, reacția inițială merge de la închiderea anterioară la deschidere, iar drift-ul de la deschidere la închidere. Regresia \(r_{i,t} = a_i + b_t + \gamma s_{i,t} + \varepsilon_{i,t}\) are efecte fixe pe firmă și pe dată și erori standard grupate pe dată și pe firmă, deci \(\gamma\) este randamentul pe unitate de scor. Douăsprezece modele de limbaj, de la GPT-1 la GPT-4, sînt evaluate cu același design.

                            Pe scurt

                            • Portofolii zilnice cu ponderi egale
                              • Poziții long pentru scoruri pozitive și short pentru scoruri negative
                              • Fiecare componentă (long sau short) se formează doar dacă are cel puțin două firme
                              • Pentru știrile dintre ședințe, reacția inițială se măsoară de la închiderea anterioară la deschidere, iar drift-ul, de la deschidere la închidere
                              • Rata de succes: ponderea zilelor cu randament pozitiv al portofoliului
                              • Raportul Sharpe: anualizat din randamentele zilnice ale portofoliului, ca pentru strategia noastră
                            • Regresia: \(r_{i,t} = a_i + b_t + \gamma\, s_{i,t} + \varepsilon_{i,t}\)
                              • Efecte fixe de firmă și de dată \(a_i\), \(b_t\)
                              • Erori standard grupate pe date și pe firme
                              • \(\gamma\) este randamentul pe o unitate de scor
                              • Douăsprezece modele de limbaj de mărimi crescătoare, evaluate cu aceeași metodologie, de la GPT-1 la GPT-4

                            Drift-ul scade pe măsură ce LLM-urile se răspîndesc

                            Slide 93 în PDF

                            Raportul Sharpe anualizat al strategiei de drift GPT-4 pe știrile overnight scade de la 6,54 în trimestrul al patrulea din 2021 la 3,68 în 2022, 2,33 în 2023 și 1,22 în ianuarie–mai 2024, o scădere de peste cinci ori; valoarea de 2,97 pe întregul eșantion combină un început puternic cu un final slab. Scăderea este compatibilă cu eroziunea prezisă de modelul autorilor și coincide cu răspîndirea ChatGPT, deși autorii menționează și schimbarea condițiilor de piață, intervalele pe subperioade sînt largi, iar cel pentru 2024 include zero.

                            Pe scurt

                            Drift-ul scade pe măsură ce LLM-urile se răspîndesc
                            • Strategia long-short GPT-4 pe drift-ul știrilor dintre ședințe (sursa: Lopez-Lira & Tang (2026))
                              • Raportul Sharpe anualizat pe subperioade
                            • De la 6,54 în trimestrul IV din 2021 la 1,22 în ianuarie–mai 2024, o scădere de peste cinci ori
                              • Valoarea de 2,97 pe tot eșantionul combină un început puternic cu un final slab: nu este o prognoză a rezultatelor actuale
                            • Concordant cu erodarea prezisă de modelul autorilor, iar momentul coincide cu răspîndirea ChatGPT
                            • Autorii menționează și schimbarea condițiilor de piață
                              • Subperioade scurte: intervalele de 95% sînt largi, iar cel pentru 2024 îl conține pe 0
                              • Știrile din timpul ședinței: drift-ul de la închidere la închidere nu mai este semnificativ în 2024
                            MFM_ch15_llt_case

                            Anexă

                            Anexa conține testele formale și derivările la care trimite capitolul, contextul pentru documentele lungi și regresiile pe text, episodul GameStop, prompt-urile reutilizabile ale buclei descoperirii, agenții AI în tranzacționare, o listă a capcanelor, răspunsuri scurte la întrebările de verificare și lecturi suplimentare.

                            Dezacordul adnotatorilor: acord și etichete latente

                            Slide 94 în PDF

                            κ al lui Fleiss (Fleiss, 1971) extinde acordul corectat pentru hazard la mai mulți evaluatori, dar presupune același număr de evaluatori pentru fiecare text; PhraseBank are 5–8 evaluatori pe propoziție și publică doar nivelurile de acord, deci \(\kappa\) nu poate fi calculat din datele publicate. Modelul Dawid–Skene (Dawid & Skene, 1979) dă fiecărui evaluator o matrice de confuzie, tratează clasa adevărată ca latentă și le estimează pe amîndouă prin algoritmul EM (expectation–maximisation), obținînd o etichetă probabilistică (soft label) pentru fiecare text; modelele sînt apoi evaluate printr-o regulă proprie de scor, cum este log loss, față de aceste etichete.

                            Pe scurt

                            • \(\kappa\) al lui Fleiss (Fleiss (1971)): \(N\) texte, \(m\) evaluatori, \(n_{ij}\) evaluatori care dau textului \(i\) eticheta \(j\)
                              • \(\bar P = \frac{1}{N}\sum_i \sum_j \frac{n_{ij}(n_{ij} - 1)}{m(m - 1)}\), \(\bar P_e = \sum_j p_j^2\), \(\kappa = \dfrac{\bar P - \bar P_e}{1 - \bar P_e}\), cu \(p_j\) ponderea tuturor voturilor acordate etichetei \(j\)
                              • Formula presupune același \(m\) pentru fiecare text
                              • PhraseBank are 5–8 evaluatori pe propoziție și publică doar nivelurile de acord, nu voturile: \(\kappa\) nu poate fi calculat din datele publicate
                            • Modelul Dawid–Skene (Dawid & Skene (1979))
                              • Evaluatorul \(a\) are o matrice de confuzie \(\pi^{(a)}_{jl} = P(\text{spune } l \mid \text{adevărat } j)\)
                              • Clasa adevărată este latentă (neobservată)
                              • Algoritmul EM (expectation–maximization) estimează \(\pi^{(a)}\) și dă fiecărui text o etichetă probabilistă \(P(\text{adevărat} = j \mid \text{voturi})\)
                            • Evaluați modelele cu o regulă de scor proprie, nu prin acuratețe față de eticheta majoritară
                              • De exemplu, pierderea logaritmică față de etichetele probabiliste
                              • Plafonul din graficul acordului este un plafon al zgomotului etichetelor, nu un eșec al modelului

                            Exemplu rezolvat: FinBERT față de LM

                            Slide 95 în PDF

                            Pe cele 2 388 de titluri de validare Twitter, LM ajunge la 60,5%, iar FinBERT la 72,5%. LM greșește și FinBERT are dreptate pe \(n_{01}\) = 539 de titluri, iar invers pe \(n_{10}\) = 252, deci valoarea p a testului McNemar exact este sub 0,001. Diferența este +12,0 puncte procentuale, cu CI bootstrap 95% [+9,8; +14,2]: un cîștig clar pentru modelul ajustat, chiar în afara datelor lui de antrenare.

                            Pe scurt

                            • Setul de validare Twitter, 2 388 de titluri: LM 60,5%, FinBERT 72,5%
                              • LM greșește și FinBERT are dreptate: \(n_{01}\) = 539
                              • LM are dreptate și FinBERT greșește: \(n_{10}\) = 252
                              • Testul McNemar exact: \(p\) \(<\)0,001
                            • Diferența: +12,0 puncte procentuale, CI 95% bootstrap [+9,8; +14,2]
                              • Avantaj clar al modelului cu fine-tuning, chiar și în afara datelor lui de antrenare

                            Timpul de procesare al modelelor Qwen2.5

                            Slide 96 în PDF

                            Timpul real (wall-clock time) pe titlu, pe procesorul grafic al unui laptop, inclusiv prompt-ul și luat ca mediană a unei treceri pentru fiecare prompt, este 4 ms pentru 0.5B, 12 ms pentru 1.5B, 20 ms pentru 3B, 92 ms pentru 7B și 105 ms pentru 14B. Trecerile individuale sînt zgomotoase: 7B a avut nevoie de 51 pînă la 94 ms, iar 14B de 88 pînă la 112 ms, deci o afirmație despre timp are nevoie de rulări repetate.

                            Pe scurt

                            • Timpul de procesare pe titlu, pe procesorul grafic al unui laptop, inclusiv prompt-ul
                              • Mediana unei treceri, pentru fiecare prompt
                              • Timpul median pe titlu: 4 ms (0.5B), 12 ms (1.5B), 20 ms (3B), 92 ms (7B), 105 ms (14B)
                              • O singură trecere este zgomotoasă: 7B a durat între 51 și 94 ms, iar 14B între 88 și 112 ms
                              • O afirmație despre viteză cere rulări repetate

                            Dincolo de titluri: documente lungi

                            Slide 97 în PDF

                            Loughran & McDonald (2011) și-au construit listele din formularele 10-K, al căror ton și grad de incertitudine prognozează randamentele și volatilitatea în jurul datei depunerii, iar Huang, Wang & Yang (2023) arată că FinBERT extrage din conferințele privind rezultatele și din rapoartele analiștilor informație pe care dicționarele o ratează. Kim, Muhn & Nikolaev (2023) constată că rezumatele generate de LLM ale raportărilor sînt mult mai scurte, dar explică mai bine reacțiile bursiere decît originalele, și măsoară „umflarea” (bloat) raportărilor. Documentele lungi au nevoie de modele cu ferestre de context lungi sau de împărțirea în fragmente și agregare.

                            Pe scurt

                            • Rapoarte anuale: Loughran & McDonald (2011) și-au construit listele din formulare 10-K
                              • Tonul și incertitudinea anunță randamentele și volatilitatea în jurul publicării
                            • Conferințe despre rezultate și rapoarte ale analiștilor (Huang, Wang & Yang (2023))
                              • FinBERT extrage informație pe care dicționarele nu o surprind
                            • Kim, Muhn & Nikolaev (2023): rezumatele făcute de LLM ale raportărilor sînt mult mai scurte
                              • Dar explică mai bine reacțiile pieței decît originalele
                              • Ei măsoară lungimea excesivă a raportărilor: textul lung și puțin informativ este asociat cu o eficiență mai mică a prețurilor
                            • Documentele lungi cer modele cu ferestre de context mari
                              • Sau segmentarea textului și agregarea rezultatelor

                            Regresii pe text cu fundamentare statistică

                            Slide 98 în PDF

                            MNIR (Taddy, 2013) modelează frecvențele cuvintelor condiționat de variabila explicată, \(c_d \sim \text{MN}(q(y_d), m_d)\) cu \(q_j(y) \propto e^{\alpha_j + \varphi_j^\top y}\), astfel încît proiecția \(z_d = \Phi^\top c_d/m_d\) este suficientă pentru \(y_d\), dat fiind \(m_d\). SESTM (Ke, Kelly & Xiu, 2019) (sentiment extraction via screening and topic modelling) selectează cuvintele corelate cu randamentele, estimează un model cu două teme și evaluează articolele noi prin verosimilitate penalizată, cu garanții statistice. Bybee et al. (2024) măsoară atenția presei față de teme în 800 000 de articole din Wall Street Journal, iar Jegadeesh & Wu (2013) estimează ponderile cuvintelor din reacțiile la formularele 10-K; pentru toate, regula este estimarea pe date anterioare perioadei de prognoză.

                            Pe scurt

                            • Taddy (2013): regresia inversă multinomială
                              • Modelăm frecvențele cuvintelor condiționat de rezultat, \(c_d \sim \text{MN}(q(y_d), m_d)\)
                              • MN: distribuția multinomială, \(c_d\): frecvențele, \(m_d = \sum_j c_{dj}\): lungimea
                              • Model log-liniar \(q_j(y) \propto e^{\alpha_j + \varphi_j^\top y}\), încărcările \(\Phi = (\varphi_1, \dots, \varphi_p)^\top\): dat fiind \(m_d\) și acest model, \(z_d = \Phi^\top c_d / m_d\) este suficient pentru \(y_d\)
                            • Ke, Kelly & Xiu (2019) (SESTM, sentiment extraction via screening and topic modelling)
                              • Selectăm cuvintele corelate cu randamentele
                              • Estimăm un model cu două teme (cuvinte pozitive și negative)
                              • Atribuim scoruri articolelor noi prin verosimilitate penalizată
                              • Lucrarea dă garanții statistice pentru estimator, iar semnalul este cel mai puternic în ziua știrii și în ziua următoare
                            • Bybee et al. (2024): atenția acordată temelor în 800 000 de articole Wall Street Journal
                              • Urmărește activitatea economică și prognozează randamentele agregate ale pieței
                              • Vezi și Jegadeesh & Wu (2013) (ponderi ale cuvintelor estimate din reacțiile pieței la 10-K)
                              • Regula comună: estimarea se face doar pe date anterioare perioadei de prognoză

                            Dispariția memoriei: un test formal și puterea lui

                            Slide 99 în PDF

                            Testul DeLong (DeLong et al., 1988) al egalității AUC înainte și după publicare dă \(z\) = 0,73 (\(p\) = 0,47) pentru 14B și \(z\) = 1,01 (\(p\) = 0,31) pentru 7B. Cu 13 luni de creștere și 10 de scădere după publicare, eroarea standard a AUC sub ipoteza nulă este 0,124, iar cea mai mică scădere detectabilă la 5% cu puterea 80% este \(2{,}80\sqrt{0{,}03227^2 + 0{,}124^2} = 0{,}36\), mai mare decît scăderea de la 0,69 la 0,5. Nu respingem \(H_0\), dar aceasta nu arată că memoria supraviețuiește publicării; cu aceeași pondere a lunilor de creștere, ar fi nevoie de 101 luni după publicare pentru 14B și de 129 pentru 7B.

                            Pe scurt

                            • \(H_0: \text{AUC}_{\text{înainte}} = \text{AUC}_{\text{după}}\), două eșantioane independente, cu varianța DeLong pentru fiecare AUC (DeLong et al. (1988))
                              • \(z = (\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2)/\sqrt{\hat V_1 + \hat V_2}\): pentru 14B, \(z\) = 0,73 (\(p\) = 0,47); pentru 7B, \(z\) = 1,01 (\(p\) = 0,31)
                            • Sub \(H_0\) (AUC \(= 0{,}5\), fără valori egale): \(SE_0 = \sqrt{\dfrac{n_1 + n_0 + 1}{12\, n_1 n_0}}\)
                              • \(n_1\), \(n_0\): numărul lunilor de creștere, respectiv de scădere
                              • După publicare: \(n_1\) = 13, \(n_0\) = 10, deci \(SE_0 = \sqrt{24/1\,560}\) = 0,124
                            • Cea mai mică scădere detectabilă (test bilateral la 5%, putere 80%):
                              • \(2{,}80\sqrt{SE_{\text{înainte}}^2 + SE_0^2}\) = \(2{,}80\sqrt{0{,}03227^2 + 0{,}124^2}\) = 0,36
                              • \(2{,}80 = 1{,}96 + 0{,}84\), cuantilele normale pentru test și pentru putere; \(SE_{\text{înainte}}\): eroarea standard DeLong pentru cele 296 de luni dinainte de publicare
                            • O cădere de la 0,69 la 0,5 (0,19) este sub acest prag
                              • Nerespingerea lui \(H_0\) nu arată că memoria persistă după publicare
                            • Lunile necesare: cel mai mic \(m\) pentru care scăderea detectabilă coboară la 0,19
                              • Cu ponderea lunilor de creștere de după publicare păstrată la 13/23
                              • \(m\) = 101 (7B: 129)

                            Etichete discrete: clasificarea greșită nu este eroare clasică

                            Slide 100 în PDF

                            Pentru o variabilă dummy „știre negativă”, eroarea etichetei prezise este corelată negativ cu eticheta adevărată, deci (15.18) nu se aplică (Aigner, 1973). Panta converge la \(\beta\,\pi(1 - \pi)(1 - \alpha_0 - \alpha_1)/[p(1 - p)]\), unde \(\alpha_0\) și \(\alpha_1\) sînt ratele de fals pozitiv și fals negativ, iar \(\pi\) și \(p\) ponderea adevărată și cea prezisă a știrilor negative. Pe setul de validare Twitter, cu \(\pi\) = 14,5%, factorul este 0,45 pentru FinBERT, 0,59 pentru Qwen2.5-7B și 0,28 pentru LM: semnul se păstrează cît timp \(\alpha_0 + \alpha_1 < 1\), dar panta se poate micșora la o treime sau mai puțin.

                            Pe scurt

                            • Variabila binară „știre negativă” \(s^* \in \{0, 1\}\) și eticheta prezisă \(\hat s\)
                              • \(\alpha_0 = P(\hat s = 1 \mid s^* = 0)\) și \(\alpha_1 = P(\hat s = 0 \mid s^* = 1)\): ratele fals-pozitivelor și fals-negativelor
                              • Eroarea \(u = \hat s - s^*\) este corelată negativ cu \(s^*\): formula clasică nu se aplică (Aigner (1973))
                              • \(\operatorname{plim} \hat b = \beta\,\dfrac{\pi(1 - \pi)(1 - \alpha_0 - \alpha_1)}{p(1 - p)}\), \(\pi = P(s^* = 1)\), \(p = P(\hat s = 1)\)
                            • Pe setul de validare Twitter, din matricile de confuzie: \(\pi\) = 14,5%
                              • Factorul de atenuare a pantei: 0,45 pentru FinBERT (\(\alpha_0\) = 13,3%, \(\alpha_1\) = 23,9%), 0,59 pentru Qwen2.5-7B și 0,28 pentru LM (\(\alpha_1\) = 50,4%)
                            • Cît timp \(\alpha_0 + \alpha_1 < 1\) semnul se păstrează
                              • Dar panta unei variabile binare se poate reduce la o treime sau mai puțin

                            Două măsuri zgomotoase: modelul factorial și variabilele instrumentale

                            Slide 101 în PDF

                            În modelul cu un factor \(z_j = \ell_j f + u_j\), cu erori necorelate, \(\rho_{jk} = \ell_j\ell_k\), ceea ce dă încărcările 0,53 (LM), 0,85 (FinBERT) și 0,78 (Qwen) pe scorurile zilnice FNSPID. Instrumentarea scorului Qwen dă un efect în ziua \(d\) de 59 bp [53; 66] cu FinBERT ca instrument și de 37 bp [28; 46] cu LM. Dacă ambele instrumente ar fi valide, cele două estimări ar coincide; diferența de 22 bp, \(z\) = 5,4, respinge restricțiile comune, de exemplu pentru că erorile FinBERT și Qwen sînt corelate prin texte de antrenare comune, iar încărcările devin atunci și ele suspecte.

                            Pe scurt

                            • Un factor: \(z_j = \ell_j f + u_j\), \(\text{Var}(f) = 1\), \(u_j\) necorelate cu \(f\) și între ele
                              • \(\rho_{jk} = \ell_j\ell_k\), deci \(\ell_j^2 = \rho_{jk}\rho_{jl}/\rho_{kl}\)
                              • Încărcările \(\ell_j\) estimate pe scorurile zilnice FNSPID: 0,53 (LM), 0,85 (FinBERT), 0,78 (Qwen)
                            • IV (instrumental variables, variabile instrumentale), cu \(r = a + \beta f + \varepsilon\)
                              • Instrumentăm \(z_Q\) cu \(z_F\): \(\hat b_{IV} = \widehat{\text{Cov}}(r, z_F)/\widehat{\text{Cov}}(z_Q, z_F) \to \beta/\ell_Q\)
                              • Condiții: \(\ell_F \neq 0\), \(f\) este necorelat cu \(\varepsilon\), iar \(u_F\) este necorelată cu \(u_Q\) și cu \(\varepsilon\)
                              • Panta Qwen în ziua \(d\): 59 bp [53; 66] cu FinBERT ca instrument și 37 bp [28; 46] cu LM ca instrument (intervale bootstrap pe zile)
                            • Dacă ambele instrumente ar fi valide, estimările ar coincide
                              • Diferența este de 22 bp, cu \(z\) = 5,4, deci egalitatea este respinsă
                              • Testul respinge restricțiile comune, nu un instrument anume; cauze plauzibile: erori FinBERT–Qwen corelate prin texte de antrenare care se suprapun sau o eroare a LM legată de randamente
                              • În acest caz, și încărcările \(\ell\) ale modelului factorial devin îndoielnice

                            Rețele sociale și comportament de turmă: GameStop, 2021

                            Slide 102 în PDF

                            Bollen, Mao & Zeng (2011) raportează că starea de spirit colectivă de pe Twitter a prognozat indicele Dow Jones în 2008, un rezultat sensibil la eșantion și la metodă. În ianuarie 2021, investitorii individuali coordonați pe rețelele sociale au împins acțiunea GameStop în sus de peste zece ori în cîteva săptămîni; atenția, sentimentul și tranzacționarea au crescut împreună, iar acest episod singur nu poate separa predicția de cauzalitate. Pentru semnalele din text, volumul atenției poate conta mai mult decît tonul, iar semnalele aglomerate revin și creează risc pentru vînzătorii în lipsă (Capitolul 17).

                            Pe scurt

                            • Bollen, Mao & Zeng (2011): starea de spirit colectivă de pe Twitter a anticipat Dow Jones în 2008
                              • Rezultatul este sensibil la eșantion și la metodă
                            • Ianuarie 2021: investitori individuali s-au coordonat pe rețelele sociale
                              • Au ridicat GameStop de peste zece ori în cîteva săptămîni
                              • Atenția, sentimentul și tranzacțiile au crescut împreună
                              • Acest episod singur nu poate separa predicția de cauzalitate: fiecare cere propriul test
                            • Lecții pentru semnalele textuale
                              • Volumul atenției poate conta mai mult decît tonul
                              • Semnalele urmate de prea mulți investitori (crowding) se inversează și creează risc pentru vînzătorii în lipsă (Capitolul 17: bule)
                            Rețele sociale și comportament de turmă: GameStop, 2021 Un magazin GameStop, Vallejo, California, februarie 2021 Foto: Will Buckner (2021); CC BY 2.0; Wikimedia Commons

                            Bucla descoperirii, prompt-uri reutilizabile (1/2)

                            Slide 103 în PDF

                            Primii trei pași ai buclei vin cu prompt-uri reutilizabile:

                            1. o căutare în literatură a studiilor care testează sentimentul LLM după data-limită a cunoștințelor modelului, cu fiecare identificator verificat și cu Lopez-Lira & Tang (2026) ca design de referință;
                            2. o cerere de mecanisme, fiecare cu tiparul transversal care l-ar infirma;
                            3. reproducerea strategiei Qwen din capitol din scorurile zilnice salvate, astfel încît niciun model să nu trebuiască rulat din nou.

                            Pe scurt

                            • Literatura:
                              • "Găsește studii din 2023 încoace care prognozează randamentele acțiunilor cu sentimentul din LLM-uri și testează după data-limită a cunoștințelor modelului: DOI sau id arXiv, data-limită, fereastra de test, estimarea principală."
                              • Căutați cu Semantic Scholar, Google Scholar sau Elicit și verificați fiecare identificator (DOI sau id arXiv); Lopez-Lira & Tang (2026) este designul de referință
                            • Ipoteze:
                              • "Propune mecanisme prin care sentimentul titlurilor ar putea prognoza randamentele după d+1 și, pentru fiecare, tiparul transversal care l-ar infirma."
                              • Reacția insuficientă prezice un drift concentrat în acțiunile mici și puțin urmărite
                              • Memorarea prezice un avantaj care dispare după data publicării
                            • Date și cod:
                              • "Din scorurile zilnice ale știrilor din acest capitol și închiderile zilnice ale cursului, reprodu strategia zilnică Qwen din acest capitol (intrare la închiderea din d+1, acoperire cu SPY) și t-ul ei Newey-West."
                              • Scorurile sînt salvate, deci niciun model nu trebuie rulat din nou

                            Bucla descoperirii, prompt-uri reutilizabile (2/2)

                            Slide 104 în PDF

                            Ultimii pași ai buclei:

                            1. fixează dinainte verificările de robustețe: întreaga grilă de variante și corecția, un placebo cu scorurile amestecate între acțiuni în aceeași zi, subperioadele și costurile de 5 bp pe tranzacție;
                            2. cer un raport de referent care enumeră toate modurile în care strategia ar putea reflecta look-ahead, memorare, selecție sau marcaje de timp, cu fiecare test propus verificat de mînă;
                            3. raportează întreaga grilă, varianta aleasă înainte de rezultate, versiunile modelelor și datele lor de publicare.

                            Pe scurt

                            • Robustețea, fixată dinainte:
                              • "Înainte de orice rulare nouă, scrie grila completă de variante pe care le-ai testa și corecția pentru testarea multiplă; toate vor fi raportate."
                              • Verificări: placebo (scoruri amestecate între acțiunile din aceeași zi), subperioade și costuri de 5 bp pe tranzacție
                            • Critica:
                              • "Scrie un raport de recenzent: toate felurile în care strategia ar putea reflecta deplasarea de anticipare, memorarea, selecția sau marcajele de timp, cu testul pentru fiecare."
                              • Apoi verificați direct fiecare test propus: și o critică poate conține rezultate inventate
                            • Raportul: toată grila, varianta aleasă înaintea rezultatelor
                              • Versiunile modelelor și datele publicării

                            Agenți AI în tranzacționare: utilizări și riscuri

                            Slide 105 în PDF

                            Un agent este un LLM într-o buclă care citește intrări, decide, apelează instrumente precum date, cod, căutarea de știri sau plasarea ordinelor printr-o interfață de programare a aplicațiilor (API, application programming interface) și observă rezultatul; agenții sînt folosiți azi pentru rezumate de cercetare, programare și monitorizare, în timp ce tranzacționarea complet autonomă este încă rară. Un text citit de agent poate conține instrucțiuni, adică injecție în prompt (prompt injection), de exemplu un comunicat de presă fals. Fondul Monetar Internațional (IMF, 2024) avertizează că multe firme cu modele similare pot tranzacționa la fel, ceea ce crește viteza și corelația mișcărilor în perioade de criză; controalele sînt limitele de poziție, aprobarea umană a ordinelor, înregistrarea fiecărui pas și testarea după fiecare actualizare a modelului.

                            Pe scurt

                            • Un agent este un LLM într-o buclă: citește intrările, decide, apelează instrumente, observă, repetă
                              • Instrumente: date, cod, căutarea știrilor, ordine printr-un API (application programming interface)
                              • Folosit azi pentru rezumate de cercetare, programare și monitorizare
                              • Tranzacționarea complet autonomă este încă rară și experimentală
                            • Manipulare: un text citit de agent poate conține instrucțiuni (prompt injection)
                              • De exemplu, un comunicat de presă fals
                            • Risc sistemic (Fondul Monetar Internațional, IMF (2024))
                              • Multe firme cu modele asemănătoare pot tranzacționa la fel
                              • Crescînd viteza și corelația mișcărilor în perioade de stres
                              • Controale: limite de poziție, aprobarea umană a ordinelor, jurnalizarea fiecărui pas, teste după fiecare actualizare a modelului

                            Lista erorilor frecvente

                            Slide 106 în PDF

                            Lista adună capcanele capitolului:

                            • suprapunerea cu datele de antrenare, ca la FinBERT pe PhraseBank;
                            • look-ahead, testat după data publicării modelului;
                            • marcajele de timp fără oră, care impun tranzacționarea nu mai devreme de închiderea de după momentul în care știrea este sigur publică;
                            • data snooping pe prompt-uri, praguri și modele;
                            • avantajele zilnice mici, care dispar după cîteva puncte de bază de costuri;
                            • regresorii generați, a căror atenuare se corectează și care se validează pe un eșantion aleator etichetat de oameni.

                            Pe scurt

                            • Suprapunerea cu datele de antrenare: un model pare mai bun decît este
                              • Evaluat pe propriile date de antrenare (FinBERT pe PhraseBank)
                            • Deplasarea de anticipare: un LLM își poate aminti piața de după știre
                              • Testați după data publicării lui
                            • Alinierea în timp: marcajele de timp conțin doar data
                              • Tranzacționați cel mai devreme la închiderea de după ce știrea este sigur publică
                            • Căutarea repetată în aceleași date: prompt-uri, praguri și modele alese după examinarea rezultatelor de test
                            • Costuri și crowding: cîștigurile zilnice mici dispar
                              • Odată ce scădem costuri de cîteva puncte de bază
                            • Regresori generați: scorurile sînt estimări
                              • Corectați atenuarea și validați pe un eșantion aleator etichetat de oameni (PPI)

                            Răspunsuri scurte la întrebările de verificare (1/2)

                            Slide 107 în PDF

                            O metodă care adună etichetele cuvintelor izolate aplică eticheta negativă a lui „lower” în „lower costs”, care este de obicei favorabil, și numără ca negative în GI substantive neutre precum „capital” sau „board”. Acuratețea este măsurată față de etichete umane zgomotoase pe alte texte, în timp ce o tranzacție are nevoie de primul randament sigur (\(d+2\)), trebuie să acopere \(4c\) pe zi și trebuie să reziste corecției pentru multe încercări; în capitol, toate cele trei scoruri explică mișcările din aceeași zi, dar nicio strategie nu aduce profit net după costuri.

                            Pe scurt

                            • Dicționarul: o metodă care adună etichetele cuvintelor izolate dă fiecărui cuvînt o singură etichetă
                              • În „lower costs” aplică eticheta negativă a lui „lower” fără să interpreteze expresia
                              • În contextul obișnuit al profitabilității firmei, costurile mai mici pot fi favorabile
                              • „Capital” sau „board” sînt substantive neutre din limbajul de afaceri, pe care GI le numără ca negative
                            • Acuratețe și profit: acuratețea se măsoară față de etichete umane zgomotoase, pe alte texte
                              • O tranzacție cere primul randament sigur (\(d+2\))
                              • Trebuie să acopere \(4c\) pe zi și să reziste corecției pentru numeroasele încercări
                              • Aici toate cele trei scoruri explică mișcările din aceeași zi, dar nicio strategie nu aduce profit net după costuri

                            Răspunsuri scurte la întrebările de verificare (2/2)

                            Slide 108 în PDF

                            Știrile și randamentele de după publicarea ponderilor nu au putut fi memorate în ele, cu condiția ca modelul să nu aibă acces prin instrumente la informații viitoare. Testul memoriei fără context poate semnala memorarea (AUC 0,69 pentru 14B înainte de publicare), dar un AUC nesemnificativ după publicare, 0,59 pe 23 de luni, nu stabilește absența ei. Un scor \(\hat s = s^* + u\) estimează tonul adevărat; un eșantion aleator etichetat de oameni permite estimarea distorsiunii medii \(f - Y\) și a fiabilității, la unitatea de analiză la care a fost măsurat eșantionul.

                            Pe scurt

                            • Data publicării: înainte de ea, randamentele evaluate pot fi deja memorate în ponderi
                              • Știrile și randamentele de după publicarea ponderilor nu puteau fi memorate în ele
                              • Condiția: fără acces la informații viitoare prin instrumente
                              • Celelalte surse de deplasare de anticipare din backtest rămîn de controlat
                            • Testul de memorie fără context: poate semnala memorarea
                              • Qwen2.5-14B: AUC 0,69 pe lunile dinainte de publicare
                              • Un AUC după publicare nesemnificativ (0,59 pe 23 de luni) nu dovedește absența contaminării
                            • Scorul ca măsurătoare: \(\hat s = s^* + u\) estimează tonul adevărat
                              • Chiar o eroare clasică, de medie zero, poate atenua panta (în modelul clasic, panta pe \(z\) = efectul \(\times\ \rho\))
                              • Un eșantion aleator etichetat de oameni permite estimarea distorsiunii medii \(f - Y\) și a fiabilității scorului
                              • Estimările sînt valabile pentru unitatea de analiză la care a fost măsurat eșantionul
                              • PPI corectează media scorurilor cu media diferenței \(f - Y\)
                              • Corecția \(b/\rho\) cere ipotezele modelului și un \(\rho\) măsurat la aceeași unitate de agregare ca regresia
                              • Un \(\rho\) măsurat pe titluri nu justifică automat corectarea unei pante pe medii zilnice

                            Analiza textului: lecturi și aplicații

                            Slide 109 în PDF

                            Lecturile de bază sînt Tetlock (2007), despre pesimismul presei, Loughran & McDonald (2011), despre un dicționar specific finanțelor, și Gentzkow, Kelly & Taddy (2019), despre textul ca date în economie. Aplicațiile la criptoactive includ clasificarea (Pele et al., 2023), bulele Dogecoin și sentimentul (Pele, 2025) și un Quantlet de sentiment (Pele, 2024); statistica din spatele testelor se află în Franke, Härdle & Hafner (2019).

                            Pe scurt

                            Acronime folosite în acest material (1/3)

                            Slide 110 în PDF
                            • AI: Artificial Intelligence — inteligență artificială
                            • AIC: Akaike Information Criterion — criteriul informațional Akaike
                            • AMEX: American Stock Exchange — Bursa Americană de Valori
                            • API: Application Programming Interface — interfață de programare a aplicațiilor
                            • AUC: Area Under the (ROC) Curve — aria de sub curba ROC
                            • BART: Bidirectional and Auto-Regressive Transformer — model de limbaj codificator–decodor
                            • BERT: Bidirectional Encoder Representations from Transformers — reprezentări bidirecționale produse de codificatorul unui Transformer
                            • BH: Benjamini–Hochberg (procedure) — procedura Benjamini–Hochberg
                            • BY-NC: Creative Commons Attribution-NonCommercial — licența Creative Commons: atribuire, utilizare necomercială
                            • CI: Confidence Interval — interval de încredere
                            • CLS: CLaSsification token (BERT-type models) — tokenul special de clasificare al modelelor de tip BERT
                            • DOI: Digital Object Identifier — identificatorul digital al unei lucrări
                            • ECE: Expected Calibration Error — eroarea medie de calibrare
                            • EM: Expectation-Maximisation (algorithm) — algoritmul expectation–maximization: pasul E (media condiționată) și pasul M (maximizarea)

                            Acronime folosite în acest material (2/3)

                            Slide 111 în PDF
                            • FDR: False Discovery Rate — rata descoperirilor false
                            • FNSPID: Financial News and Stock Price Integration Dataset — setul de date care integrează știri financiare și prețuri de acțiuni
                            • FWER: Family-Wise Error Rate — probabilitatea de cel puțin o eroare de tip I în familia de teste
                            • GI: (Harvard) General Inquirer, dictionary IV-4 — dicționarul Harvard General Inquirer IV-4
                            • GPT: Generative Pre-trained Transformer — Transformer generativ pre-antrenat
                            • HARKing: Hypothesising After the Results are Known — formularea ipotezelor după ce se cunosc rezultatele
                            • IMF: International Monetary Fund — Fondul Monetar Internațional
                            • IV: Instrumental Variables — variabile instrumentale
                            • LLM: Large Language Model — model mare de limbaj
                            • LM: Loughran-McDonald (financial sentiment dictionary) — dicționarul financiar de sentiment Loughran-McDonald
                            • LR: Logistic Regression — regresie logistică
                            • MIT: Massachusetts Institute of Technology — Institutul de Tehnologie din Massachusetts
                            • ML: Machine Learning — învățare automată
                            • MN: MultiNomial (distribution) — distribuția multinomială
                            • MNIR: MultiNomial Inverse Regression — regresia inversă multinomială

                            Acronime folosite în acest material (3/3)

                            Slide 112 în PDF
                            • NASDAQ: National Association of Securities Dealers Automated Quotations — bursa americană NASDAQ (cotații automate ale Asociației Naționale a Dealerilor de Valori Mobiliare)
                            • NYSE: New York Stock Exchange — Bursa din New York
                            • OLS: Ordinary Least Squares — metoda celor mai mici pătrate
                            • PCA: Principal Component Analysis — analiza componentelor principale
                            • PPI: Prediction-Powered Inference — inferență susținută de predicții
                            • RLHF: Reinforcement Learning from Human Feedback — învățare prin recompensă din evaluări umane
                            • ROC: Receiver Operating Characteristic (curve) — curba caracteristică de operare a receptorului
                            • SE: Standard Error — eroare standard
                            • SESTM: Sentiment Extraction via Screening and Topic Modelling — extragerea sentimentului prin selecție și modelarea temelor
                            • TF-IDF: Term Frequency - Inverse Document Frequency — frecvența termenului înmulțită cu inversul frecvenței în documente
                            • US: United States — Statele Unite ale Americii
                            • UTC: Coordinated Universal Time (Temps Universel Coordonné) — timpul universal coordonat
                            • VADER: Valence Aware Dictionary and sEntiment Reasoner — dicționar și reguli pentru valența și sentimentul textelor

                            Texte etichetate: Financial PhraseBank (Malo et al., 2014) și Twitter Financial News (2022). Titluri datate: FNSPID (Dong, Fan și Peng, 2024), 16 acțiuni americane, 2009–2023; prețuri zilnice EODHD. Scorurile dicționarelor, ale FinBERT, ale modelelor Qwen2.5, MiniLM și TF-IDF sînt cele calculate în capitol. Studiile de caz: Lopez-Lira și Tang (2026), Tabelul 5; Garcia, Hu și Rohrer (2023), replicat pe titlurile FNSPID.

                            Bibliografie