Dumneavoastră sau FinBERT? Tweet-uri financiare la care modelele nu sînt de acord
Citiți 10 tweet-uri financiare reale și decideți dacă fiecare este negativ pentru preț (bearish), neutru sau pozitiv pentru preț (bullish). După fiecare răspuns vedeți ce a decis FinBERT, ce au decis două modele simple și eticheta corectă. Tweet-urile au fost alese intenționat: sînt cazuri în care modelele simple și FinBERT nu sînt de acord. Textele sînt în limba engleză, ca în setul de date.
FinBERT este un model BERT (bidirectional encoder representations from transformers, reprezentări bidirecționale ale codificatorului, obținute cu transformeri) preantrenat pe texte financiare și ajustat (fine-tuned) în curs pe 8.588 de tweet-uri etichetate. Cele două modele simple sînt frecvența termenilor – inversul frecvenței în documente (TF-IDF) cu regresie logistică și modelul embedding bag; niciunul nu ține seama de ordinea cuvintelor. Dintre cele 2.388 de tweet-uri de test, la 230 cele două modele simple dau aceeași etichetă, iar FinBERT alta; jocul își extrage aleator cartonașele dintre aceste 230. Linkurile din tweet-uri sînt eliminate.
Ce arată jocul
- Pe toate cele 230 de tweet-uri de acest fel, FinBERT are dreptate în 63,0 % din cazuri, cele două modele simple în 31,7 %. Exemplu: „Beckhams’ business empire sees revenues drop 18%”: ambele modele simple spun bullish, iar FinBERT și eticheta spun bearish. Atenția permite fiecărui cuvînt să-și ia sensul de la celelalte cuvinte din text.
- Pe toate cele 2.388 de tweet-uri de test, FinBERT ajustat atinge un macro-F1 de 84,8 %, iar TF-IDF cu regresie logistică 75,5 %: o diferență de 9,3 puncte, cu intervalul bootstrap de 95 % [7,3; 11,3].
- Cîștigul vine din preantrenare, nu doar din atenție: transformerul nostru mic, antrenat de la zero, atinge 68,8 %, sub TF-IDF, iar FinBERT fără ajustare 66,9 %.
Clasamentul sălii, pentru proiector
Date: Twitter financial news sentiment (Hugging Face, zeroshot), setul de validare publicat (2.388 de tweet-uri), setul de test din curs. Setul de dezacord: TF-IDF cu regresie logistică și embedding bag (prima rulare) sînt de acord, FinBERT ajustat (prima sămînță) diferă; 230 de tweet-uri. Cele 30 de cartonașe din joc sînt extrase aleator dintre ele (sămînța 20261108); fiecare joc extrage 10. Predicțiile: rezultatele salvate ale analysis_L7.py. Cod: lectures/L7/make_game_L7.py.

