Dumneavoastră sau rețeaua? Sentimentul știrilor financiare
Citiți 10 propoziții reale din știri financiare despre companii listate și decideți dacă fiecare este o veste bună, o veste proastă sau nici una, nici alta pentru un investitor în companie. După fiecare răspuns vedeți eticheta dată de rețeaua din cursul 6 și eticheta dată de adnotatorii setului de date (persoane cu pregătire în piețe financiare). Propozițiile sînt în limba engleză, ca în setul de date.
Rețeaua este modelul embedding bag din curs: face media vectorilor cuvintelor și ai perechilor de cuvinte din propoziție, pornind de la vectorii word2vec învățați pe discursurile Băncii Centrale Europene (BCE), și trece media printr-un strat softmax. A fost antrenată pe alte 3.385 de propoziții și nu le-a văzut pe acestea; pe cele 727 de propoziții de test ale acestei împărțiri are dreptate în 72,4 % din cazuri. În date, cele mai multe propoziții sînt neutre (59,3 %); jocul arată mai multe propoziții pozitive și negative.
Ce arată jocul
- Pe cele cinci seturi de test din curs, modelul embedding bag are dreptate în 75,0 % din propoziții (macro-F1 69,9 %); frecvența termenilor – inversul frecvenței în documente (TF-IDF) cu regresie logistică atinge 77,7 % (macro-F1 73,5 %). Cu 3.385 de propoziții etichetate, numărarea cuvintelor rămîne mai bună decît media vectorilor de cuvinte.
- Pornirea de la vectorii word2vec învățați pe discursurile BCE adaugă doar 0,37 puncte de macro-F1: acești vectori acoperă 84,7 % din cuvintele știrilor, iar limbajul unei bănci centrale nu este limbajul știrilor despre companii.
- Cele mai multe erori mută o propoziție pozitivă sau negativă în clasa neutră (sensibilitatea este 65,9 % pentru propozițiile negative și 69,5 % pentru cele pozitive, cu TF-IDF); pozitiv și negativ se confundă rar. Un vector pentru fiecare cuvînt nu poate spune ce înseamnă un număr sau o comparație în context; acesta este subiectul cursului 7.
Clasamentul sălii, pentru proiector
Date: Financial PhraseBank (Malo et al., 2014; 4.838 de propoziții, 5–8 adnotatori pentru fiecare). Cele 40 de propoziții din joc sînt extrase aleator dintre propozițiile de test ale primei dintre cele cinci împărțiri aleatoare din curs (12 negative, 12 pozitive, 16 neutre, cel mult 40 de cuvinte; sămînța 20261108); fiecare joc extrage 10 dintre ele. Predicțiile: rezultatele salvate ale analysis_L6.py. Cod: lectures/L6/make_game_L6.py.

