Dumneavoastră sau modelul de limbaj? Cînd adnotatorii nu sînt de acord
Citiți 10 propoziții reale din știri financiare și le etichetați ca negative, neutre sau pozitive pentru un investitor în companie. Jucați împotriva unui model mare de limbaj (LLM, large language model) folosit drept clasificator printr-un prompt, ca în cursul 12. Unele propoziții au fost etichetate la fel de toți adnotatorii setului de date; la altele, adnotatorii au fost împărțiți. După fiecare răspuns vedeți despre care caz este vorba. Propozițiile sînt în limba engleză, ca în setul de date.
Modelul este Qwen2.5-3B-Instruct, un LLM deschis cu 3,09 miliarde de parametri, rulat pe un laptop și întrebat fără exemple (zero-shot): „Classify the sentiment of this sentence from financial news, from the point of view of an investor in the company. Answer with one word: positive, negative or neutral.” Răspunsul său este eticheta cu cea mai mare probabilitate pentru cuvîntul următor; cartonașul arată și această probabilitate. Răspunsul corect este eticheta aleasă de majoritatea celor 5–8 adnotatori.
Ce arată jocul
- Modelul are dreptate la 93,1 % dintre propozițiile asupra cărora toți adnotatorii sînt de acord, la 77,2 % cînd acordul este de 75 %, la 65,7 % cînd este de 66 % și la 53,7 % cînd doar jumătate dintre ei sînt de acord. Un model nu poate fi mai sigur decît oamenii care au etichetat datele.
- Pe propozițiile de test unanime, probabilitățile sale sînt aproape calibrate: eroarea de calibrare așteptată (ECE) este de 4,7 %, față de 5,4 % pentru un clasificator TF-IDF (frecvența termenilor – inversul frecvenței în documente) antrenat pe 1.581 de propoziții.
- Promptul este un hiperparametru: cinci formulări ale aceleiași instrucțiuni schimbă macro-F1 al acestui model cu 3,6 puncte pe aceste propoziții și cu 12,9 puncte pe tweet-uri financiare.
Clasamentul sălii, pentru proiector
Date: Financial PhraseBank (Malo et al., 2014; 4.838 de propoziții, 5–8 adnotatori pentru fiecare). Cartonașele unanime: setul de test din curs (678 de propoziții); cartonașele cu adnotatori împărțiți: cele 2.579 de propoziții cu acord de 50–75 %, nefolosite nici la antrenare, nici ca exemple. Jocul are 10 propoziții pentru fiecare nivel de acord (cel mult 40 de cuvinte), extrase aleator (sămînța 20261108); fiecare joc extrage 3, 3, 2 și 2 dintre ele. Rezultatele modelului: ieșirile salvate ale analysis_L12.py. Cod: lectures/L12/make_game_L12.py.

