Rețele neuronale și deep learning

Cursul 6: Bazele NLP: reprezentarea textului și reprezentarea vectorială a cuvintelor

Cursul 6

Bazele NLP: reprezentarea textului și reprezentarea vectorială a cuvintelor

Prof. dr. Daniel Traian PELE

Academia de Studii Economice din București (ASE), Departamentul de Statistică și Econometrie
Academia Română, Institutul de Prognoză Economică (IPE)

O mare parte din ceea ce mișcă piețele este scris: știri despre companii, tweet-uri, discursurile băncilor centrale, rapoartele analiștilor. Prelucrarea limbajului natural (NLP) transformă aceste texte în numere pe care un model le poate folosi. Cursul urmărește cele două mari familii de reprezentări de dinaintea transformerelor: frecvențele rare, sacul de cuvinte (BoW) și TF-IDF (frecvența termenului–frecvența inversă în documente), și vectorii denși de cuvinte (embeddings), învățați din co-apariții, word2vec și GloVe.

Toate reprezentările sînt construite pe texte financiare reale: 4 838 de fraze din Financial PhraseBank, etichetate de studenți la finanțe, tweet-uri financiare etichetate după sentiment și după temă și 400 de discursuri ale Băncii Centrale Europene (BCE), pe care ne antrenăm propriii vectori de cuvinte. Clasificatoarele sînt comparate cu modele de referință și teste corecte, iar rezultatul este el însuși o lecție: pe frazele financiare scurte, un model liniar pe TF-IDF este foarte greu de depășit.

Ce veți ști să faceți

  • Să transformați textul financiar în numere: unități lexicale, vocabular, sac de cuvinte și TF-IDF.
  • Să scrieți funcțiile-obiectiv ale word2vec și GloVe și să le antrenați pe un corpus real de discursuri ale băncii centrale.
  • Să construiți clasificatoare de fraze din reprezentări rare și dense, cu modele de referință și teste.
  • Să măsurați sentimentul și temele financiare în știri și tweet-uri și să știți cînd un model liniar este suficient.

Planul cursului

  1. Textul ca date
  2. Reprezentări rare: sacul de cuvinte și TF-IDF
  3. Reprezentări dense: vectorii de cuvinte
  4. Clasificatoare de fraze: reprezentări rare și dense
  5. Studiu de caz: temele tweet-urilor financiareDatele de teme au 20 de clase.
  6. Cercetări ale grupului nostruPele, Bolovăneanu, Lin, Ren, Ginavar, Spilak, Andrei, Toma, Lessmann și Härdle (2026) arată că modelele lingvistice mari (LLM) pot prognoza valoarea expusă la risc (VaR) și pierderea medie peste VaR (ES), comparate cu modelele clasice de risc prin teste retrospective formale (LLM-VaR și LLM-ES).

Textul ca date

Împărțirea unei fraze în unități lexicale

O frază reală din PhraseBank, în engleză, despre creșterea profitului operațional al unei companii finlandeze, etichetată pozitivă de adnotatori. Tokenizatorul nostru păstrează cuvintele cu litere mici și numerele, transformă fiecare număr în unitatea `<num>` și elimină legăturile și mențiunile cu @; fraza devine 27 de unități lexicale. Fiecare alegere contează: eliminarea cuvintelor de legătură din engleză ar șterge „up”, „down” și „not”, care poartă sentiment.

Frecvențele cuvintelor și legea lui Zipf

Discursurile BCE din perioada 8 ianuarie 2022 – 30 octombrie 2026 conțin 1 289 896 de unități lexicale și 20 130 de cuvinte distincte. Frecvența scade ca o putere a rangului (legea lui Zipf), cu o pantă estimată de −1,498; cele mai frecvente zece cuvinte reprezintă 25,0% din total, iar 32,5% dintre cuvintele distincte apar o singură dată.

Grafic: Frecvențele cuvintelor și legea lui Zipf

Graficul rang–frecvență al cuvintelor din discursurile BCE, în scară dublu logaritmică, cu legea putere estimată.

Sursa: Banca Centrală Europeană, setul de discursuri. Date: 8 ianuarie 2022 - 30 octombrie 2026, 400 de discursuri.

Reprezentări rare: sacul de cuvinte și TF-IDF

Sacul de cuvinte și TF-IDF

Sacul de cuvinte reprezintă un document prin frecvențele \(c_{ij}\) ale fiecărui cuvînt \(j\) din vocabular, ignorînd ordinea. TF-IDF reponderează frecvențele, astfel încît cuvintele frecvente în document, dar rare în corpus, să primească o pondere mare:

\[w_{ij}=(1+\ln c_{ij})\Big(\ln\frac{1+n}{1+n_j}+1\Big),\qquad \tilde{\mathbf x}_i=\mathbf w_i/\|\mathbf w_i\|_2\]
(6.1)

unde \(n\) este numărul de documente, iar \(n_j\) numărul celor care conțin cuvîntul \(j\). Bigramele adaugă ordinea locală („profit rose” față de „profit fell”).

Modelul liniar învață un dicționar al sentimentului financiar

O regresie logistică multinomială pe sacul de cuvinte dă cîte un coeficient pentru fiecare cuvînt și clasă. Cuvintele care împing cel mai mult spre eticheta pozitivă sînt: rose, increase, grew, up, improved; spre cea negativă: decreased, down, fell, cut, dropped. Dicționarele de limbaj general interpretează adesea greșit cuvintele financiare; de aceea, ponderile trebuie învățate pe texte financiare.

Grafic: Modelul liniar învață un dicționar al sentimentului financiar

Cuvintele cu cea mai mare diferență între coeficienții pozitiv și negativ, regresie logistică pe PhraseBank.

Sursa: Financial PhraseBank (Malo et al., 2014). Date: 4.838 de fraze din știri financiare, 5-8 adnotatori pentru fiecare.

Reprezentări dense: vectorii de cuvinte

Ipoteza distribuțională

Vectorul unui cuvînt este un rînd \(\mathbf e_w\) al unei matrice \(\mathbf E\) de dimensiune \(V\times d\); aici vocabularul are 8 539 de cuvinte, iar \(d=100\). Asemănarea este cosinusul dintre doi vectori. În vectorii noștri, cos(inflation, prices) = 0,49, în timp ce cos(inflation, climate) = 0,16.

word2vec cu eșantionare negativă

Modelul skip-gram prezice fiecare cuvînt de context dintr-o fereastră de 5 cuvinte în jurul cuvîntului central. Softmax-ul complet peste vocabular este prea lent, așa că skip-gram cu eșantionare negativă (SGNS) îl înlocuiește cu regresii logistice care deosebesc cuvîntul real de context de \(K=5\) cuvinte de zgomot, extrase proporțional cu \(f(w)^{3/4}\):

\[\ell(w,o)=-\log\sigma(\mathbf u_o^{\top}\mathbf v_w)-\sum_{k=1}^{K}\log\sigma(-\mathbf u_{n_k}^{\top}\mathbf v_w)\]
(6.2)

Antrenat pe discursurile BCE (3 679 754 de perechi de cuvinte pe epocă, 5 epoci, 120 de secunde pe procesorul unui laptop), pierderea pe pereche scade de la 2,622 la 2,223.

GloVe

GloVe numără o singură dată cît de des apar cuvintele împreună, \(X_{ij}\), și aproximează logaritmii acestor frecvențe prin produse scalare, cu ponderile \(f(X_{ij})=\min\{1,(X_{ij}/x_{\max})^{\alpha}\}\), aici \(x_{\max}=100\) și \(\alpha=0,75\). Tabelul nostru de co-apariții are 3 841 517 de perechi nenule; 99,81% dintre ele sînt sub \(x_{\max}\) și primesc o pondere mai mică decît unu.

Grafic: GloVe: aproximăm logaritmul frecvențelor de co-apariție

Stînga: pierderea word2vec pe epoci. Dreapta: distribuția frecvențelor de co-apariție folosite de GloVe.

Sursa: Banca Centrală Europeană, setul de discursuri. Date: 8 ianuarie 2022 - 30 octombrie 2026, 400 de discursuri.

Cei mai apropiați vecini și forma spațiului

Cele mai apropiate cuvinte de „inflation” sînt headline, underlying, revert, hovering, medium pentru word2vec și expectations, underlying, headline, core, term pentru GloVe; cele două liste de cîte cinci cuvinte au în comun, în medie, 1,88 cuvinte pe cuvintele de probă. Proiectate pe două componente principale (analiza componentelor principale, PCA), cuvintele despre politica monetară, energie, sistemul bancar și plăți formează regiuni separate; cele două componente păstrează 31,9% din varianța acestor vectori. Un vector static are un singur vector pentru fiecare cuvînt, deci „interest” (dobîndă) și „interest” (atenție) împart același vector, iar cuvintele din afara vocabularului (OOV) nu au niciunul: vocabularul BCE acoperă 84,7% din unitățile lexicale din PhraseBank și 76,4% din cele din tweet-uri.

Grafic: Temele activității băncii centrale formează regiuni în spațiul vectorilor

Proiecția bidimensională a 32 de cuvinte din patru grupuri în spațiul nostru word2vec.

Sursa: Banca Centrală Europeană, setul de discursuri. Date: 8 ianuarie 2022 - 30 octombrie 2026, 400 de discursuri.

Clasificatoare de fraze: reprezentări rare și dense

Protocolul

Clasa „neutru” reprezintă 59,3% din PhraseBank, deci acuratețea răsplătește un model care spune mereu „neutru”. Raportăm macro-F1, media scorurilor F1 ale celor trei clase. PhraseBank este împărțit de cinci ori aleator (70/15/15, stratificat); tweet-urile își păstrează setul de validare publicat, folosit ca test. Penalizările, oprirea timpurie și vocabularele sînt alese numai pe partea de validare.

Modelele sînt: clasa majoritară; BoW și TF-IDF cu regresie logistică; TF-IDF cu un perceptron multistrat (MLP); media vectorilor word2vec cu regresie logistică; și o rețea embedding bag, care mediază vectorii cuvintelor și ai bigramelor înaintea unui strat softmax, pornind fie aleator, fie de la vectorii noștri word2vec BCE.

Rezultatele

Pe PhraseBank, TF-IDF cu regresie logistică atinge un macro-F1 de 73,49% (abaterea standard 2,28 pe împărțiri), embedding bag cu start word2vec 69,93%, iar media vectorilor word2vec 57,30%; clasa majoritară dă 24,81%. Pe tweet-uri, aceleași modele dau 75,47%, 72,76% și 53,71%. Diferența pereche dintre TF-IDF și embedding bag pe cele cinci împărțiri PhraseBank este de +3,55 puncte (t = 9,88).

Grafic: Pe frazele financiare scurte, TF-IDF cu regresie logistică are cel mai mare macro-F1

Macro-F1 pe test pentru cele șapte modele, pe PhraseBank și pe tweet-uri financiare (media și abaterea standard).

Sursa: Financial PhraseBank (Malo et al., 2014); Twitter financial news (Hugging Face, zeroshot). Date: PhraseBank: 5 împărțiri aleatoare 70/15/15; tweet-uri: setul de validare publicat, folosit ca test, 3 semințe.

Erorile de clasificare și acordul adnotatorilor

TF-IDF cu regresie logistică clasifică bine 88,4% din frazele asupra cărora toți adnotatorii au fost de acord și 58,1% din cele cu un acord de doar 50%. Zgomotul din etichete limitează orice model; înainte de a cumpăra un model mai mare, verificați cît de mult sînt de acord propriii analiști.

Grafic: Erorile de clasificare și acordul adnotatorilor

Acuratețea pe test în funcție de ponderea adnotatorilor care au fost de acord asupra etichetei.

Sursa: Financial PhraseBank (Malo et al., 2014). Date: frazele de test din 5 împărțiri aleatoare, după ponderea adnotatorilor care sînt de acord.

Vectorii preantrenați atunci cînd etichetele sînt puține

Cu doar 169 de fraze etichetate, TF-IDF atinge 51,0%, media vectorilor word2vec 48,0%, iar embedding bag 47,2% cu start aleator și 51,0% cu start word2vec; cu toate cele 3 385 de fraze, valorile sînt 72,8%, 56,7%, 71,9% și 70,9%. Cele mai multe erori mută o frază negativă sau pozitivă în clasa neutră: sensibilitatea este 65,9% pentru frazele negative și 69,5% pentru cele pozitive.

Grafic: Curbele de învățare cu puține etichete: inițializarea word2vec și TF-IDF

Stînga: macro-F1 pe test în funcție de numărul de fraze etichetate. Dreapta: dimensiunea vectorilor.

Sursa: Financial PhraseBank (Malo et al., 2014). Date: stînga: 3 împărțiri aleatoare; dreapta: embedding bag (start aleator), împărțirea 1, 3 semințe.

Studiu de caz: temele tweet-urilor financiare

Datele de teme au 20 de clase. TF-IDF cu regresie logistică atinge un macro-F1 de 82,62% și o acuratețe de 84,48% pe cele 4 117 de tweet-uri de test, față de 20,69% pentru tema cea mai frecventă; embedding bag dă 80,45%. Tema cea mai ușoară este Dividende (F1 96,4%), cea mai dificilă Aur, metale și materiale (F1 45,2%).

Grafic: Clasificarea pe teme: F1 este mare pentru rezultate și Fed, mic pentru știrile generale

F1 pe teme, pe tweet-urile de test: TF-IDF cu regresie logistică și embedding bag.

Sursa: Seturile Twitter financial news (Hugging Face, zeroshot). Date: 4.117 de tweet-uri de test (setul de validare publicat). 20 de teme.

În practică: începeți orice proiect de text cu TF-IDF și regresie logistică; treceți la vectori de cuvinte sau la transformere doar cînd cîștigul este demonstrat pe propriile date.

Cercetări ale grupului nostru

Pele, Bolovăneanu, Lin, Ren, Ginavar, Spilak, Andrei, Toma, Lessmann și Härdle (2026) arată că modelele lingvistice mari (LLM) pot prognoza valoarea expusă la risc (VaR) și pierderea medie peste VaR (ES), comparate cu modelele clasice de risc prin teste retrospective formale (LLM-VaR și LLM-ES). În BitMood, Conda, Găman, Bâg, Mazurencu-Marinescu-Pele, Pele și Härdle (2026) clasifică 120 000 de postări de pe Facebook din perioada 2015–2023 cu FinBERT în scoruri compuse de sentiment; sentimentul prognozează volumul tranzacțiilor cu Bitcoin, strategiile bazate pe sentiment depășesc strategia cumpără-și-păstrează, iar modelarea temelor urmărește subiectele discuției.

Explorați vizual

Instrumente interactive gratuite și ghiduri ilustrate pentru acest curs; cele mai multe rulează în browser.

  • Embedding Atlas (Apple): instrument open-source care desenează embeddings de text în două dimensiuni, cu etichete automate ale grupurilor, căutare și vecini apropiați; rulați-l pe propozițiile PhraseBank din acest curs și colorați punctele după sentiment.
  • Transformer Explainer: primul pas al unui model lingvistic pe propoziția voastră: tokenii, embeddings-urile lor și embeddings-urile de poziție adunate la ele.
  • 3Blue1Brown, capitolul 5: direcții în spațiul embeddings, de exemplu diferența dintre vectorii lui „man” și „woman”.

Sinteza secțiunii

Textul devine numere prin frecvențe (BoW, TF-IDF) sau prin vectori denși învățați din co-apariții (word2vec, GloVe). Pe fraze financiare reale, TF-IDF cu regresie logistică este un reper puternic, iar vectorii preantrenați ajută cel mai mult cînd etichetele sînt puține. Cursul 7 adaugă atenția și vectorii contextuali, comparați corect cu aceste modele de referință.

Video: intuiția din spatele matematicii (în engleză)

Abrevieri

AIinteligență artificială
ASEAcademia de Studii Economice din București
BCEBanca Centrală Europeană
BERTreprezentări bidirecționale ale codificatorului transformer (BERT)
BoWsac de cuvinte (bag of words)
CBOWsac continuu de cuvinte (varianta word2vec)
CPUprocesor central
ESpierderea medie așteptată peste VaR (expected shortfall)
ESGmediu, social și guvernanță
FinBERTmodel BERT adaptat textelor financiare
IPEInstitutul de Prognoză Economică, Academia Română
LLMmodel lingvistic mare
MLPperceptron multistrat
NLPprelucrarea limbajului natural
OOVîn afara vocabularului
PCAanaliza componentelor principale
PMIinformația mutuală punctuală
SGNSskip-gram cu eșantionare negativă
SVDdescompunerea în valori singulare
TF-IDFfrecvența termenului–frecvența inversă în documente
VaRvaloarea expusă la risc (value-at-risk)

Bibliografie

  • Bishop, C. M. & Bishop, H. (2024). Deep Learning: Foundations and Concepts, ch. 12. Springer. doi:10.1007/978-3-031-45468-4
  • Bojanowski, P., Grave, E., Joulin, A. & Mikolov, T. (2017). Enriching word vectors with subword information. TACL, 5, 135–146. doi:10.1162/tacl_a_00051
  • Conda, A. I., Găman, Ș., Bâg, R. C., Mazurencu-Marinescu-Pele, M., Pele, D. T. & Härdle, W. K. (2026). BitMood: AI analysis of Bitcoin trends via Facebook emotions. Digital Finance, 8(3), 42. doi:10.1007/s42521-026-00205-3
  • Firth, J. R. (1957). A synopsis of linguistic theory 1930–1955. In Studies in Linguistic Analysis, 1–32. Blackwell.
  • Joulin, A., Grave, E., Bojanowski, P. & Mikolov, T. (2017). Bag of tricks for efficient text classification. EACL, 427–431. doi:10.18653/v1/E17-2068
  • Levy, O. & Goldberg, Y. (2014). Neural word embedding as implicit matrix factorization. NIPS, 27, 2177–2185. papers.nips.cc
  • Loughran, T. & McDonald, B. (2011). When is a liability not a liability? Textual analysis, dictionaries, and 10-Ks. Journal of Finance, 66(1), 35–65. doi:10.1111/j.1540-6261.2010.01625.x
  • Malo, P., Sinha, A., Korhonen, P., Wallenius, J. & Takala, P. (2014). Good debt or bad debt: Detecting semantic orientations in economic texts. JASIST, 65(4), 782–796. doi:10.1002/asi.23062
  • Mikolov, T., Sutskever, I., Chen, K., Corrado, G. & Dean, J. (2013). Distributed representations of words and phrases and their compositionality. NIPS, 26, 3111–3119. arXiv:1310.4546
  • Pele, D. T., Bolovăneanu, V., Lin, M.-B., Ren, R., Ginavar, A. T., Spilak, B., Andrei, A.-V., Toma, F.-M., Lessmann, S. & Härdle, W. K. (2026). In the beginning was the Word: LLM-VaR and LLM-ES. Expert Systems with Applications, 295, 128676. doi:10.1016/j.eswa.2025.128676
  • Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global vectors for word representation. EMNLP, 1532–1543. doi:10.3115/v1/D14-1162
  • Salton, G. & Buckley, C. (1988). Term-weighting approaches in automatic text retrieval. Information Processing & Management, 24(5), 513–523. doi:10.1016/0306-4573(88)90021-0
  • Zipf, G. K. (1949). Human Behavior and the Principle of Least Effort. Addison-Wesley.

Text scris pentru versiunea web a cursului; cifrele, graficele și sursele provin din slide-uri și din Quantlet-urile lor.