Cursul 12
Modele lingvistice mari în finanțe și formularea instrucțiunilor (prompt engineering)
Prof. dr. Daniel Traian PELE
Academia de Studii Economice din București (ASE), Departamentul de Statistică și Econometrie
Academia Română, Institutul de Prognoză Economică (IPE)
Textul este cel mai mare set de date al unei instituții financiare care este încă citit mai ales de oameni: știri, discursuri ale băncilor centrale, rapoarte anuale, dosare de credit. Modelele lingvistice mari (LLM) citesc text la scară mare, dar sînt și sigure pe ele, costisitoare și ușor de păcălit. Cursul tratează un LLM ca ceea ce este, un model de probabilitate a următorului token, și verifică fiecare afirmație pe date financiare etichetate, cu modele deschise care rulează pe un laptop.
Pornim de la obiectivul unui model de limbaj, de la tokeni, perplexitate și temperatură, măsurate pe 400 de discursuri ale Băncii Centrale Europene (BCE). Explicăm apoi preantrenarea, ajustarea pe instrucțiuni și alinierea. Miezul cursului este formularea instrucțiunilor (prompt engineering) ca activitate măsurabilă: prompturi zero-shot, few-shot și chain-of-thought pe Financial PhraseBank și pe tweet-uri financiare, cu intervale bootstrap, rulări repetate, reformulări, calibrare și cost. Construim generarea augmentată prin regăsire (RAG) pe discursurile BCE și măsurăm halucinațiile, iar la final testăm retrospectiv un model de limbaj folosit pentru valoarea expusă la risc (VaR), după cadrul LLM-VaR al grupului nostru.