Rețele neuronale și deep learning

Cursul 7 · Joc: Dumneavoastră sau FinBERT? Tweet-uri financiare la care modelele nu sînt de acord

Dumneavoastră sau FinBERT? Tweet-uri financiare la care modelele nu sînt de acord

Citiți 10 tweet-uri financiare reale și decideți dacă fiecare este negativ pentru preț (bearish), neutru sau pozitiv pentru preț (bullish). După fiecare răspuns vedeți ce a decis FinBERT, ce au decis două modele simple și eticheta corectă. Tweet-urile au fost alese intenționat: sînt cazuri în care modelele simple și FinBERT nu sînt de acord. Textele sînt în limba engleză, ca în setul de date.

FinBERT este un model BERT (bidirectional encoder representations from transformers, reprezentări bidirecționale ale codificatorului, obținute cu transformeri) preantrenat pe texte financiare și ajustat (fine-tuned) în curs pe 8.588 de tweet-uri etichetate. Cele două modele simple sînt frecvența termenilor – inversul frecvenței în documente (TF-IDF) cu regresie logistică și modelul embedding bag; niciunul nu ține seama de ordinea cuvintelor. Dintre cele 2.388 de tweet-uri de test, la 230 cele două modele simple dau aceeași etichetă, iar FinBERT alta; jocul își extrage aleator cartonașele dintre aceste 230. Linkurile din tweet-uri sînt eliminate.

Clasamentul sălii, pentru proiector

Date: Twitter financial news sentiment (Hugging Face, zeroshot), setul de validare publicat (2.388 de tweet-uri), setul de test din curs. Setul de dezacord: TF-IDF cu regresie logistică și embedding bag (prima rulare) sînt de acord, FinBERT ajustat (prima sămînță) diferă; 230 de tweet-uri. Cele 30 de cartonașe din joc sînt extrase aleator dintre ele (sămînța 20261108); fiecare joc extrage 10. Predicțiile: rezultatele salvate ale analysis_L7.py. Cod: lectures/L7/make_game_L7.py.