Rețele neuronale și deep learning

Cursul 12 · Joc: Dumneavoastră sau modelul de limbaj? Cînd adnotatorii nu sînt de acord

Dumneavoastră sau modelul de limbaj? Cînd adnotatorii nu sînt de acord

Citiți 10 propoziții reale din știri financiare și le etichetați ca negative, neutre sau pozitive pentru un investitor în companie. Jucați împotriva unui model mare de limbaj (LLM, large language model) folosit drept clasificator printr-un prompt, ca în cursul 12. Unele propoziții au fost etichetate la fel de toți adnotatorii setului de date; la altele, adnotatorii au fost împărțiți. După fiecare răspuns vedeți despre care caz este vorba. Propozițiile sînt în limba engleză, ca în setul de date.

Modelul este Qwen2.5-3B-Instruct, un LLM deschis cu 3,09 miliarde de parametri, rulat pe un laptop și întrebat fără exemple (zero-shot): „Classify the sentiment of this sentence from financial news, from the point of view of an investor in the company. Answer with one word: positive, negative or neutral.” Răspunsul său este eticheta cu cea mai mare probabilitate pentru cuvîntul următor; cartonașul arată și această probabilitate. Răspunsul corect este eticheta aleasă de majoritatea celor 5–8 adnotatori.

Clasamentul sălii, pentru proiector

Date: Financial PhraseBank (Malo et al., 2014; 4.838 de propoziții, 5–8 adnotatori pentru fiecare). Cartonașele unanime: setul de test din curs (678 de propoziții); cartonașele cu adnotatori împărțiți: cele 2.579 de propoziții cu acord de 50–75 %, nefolosite nici la antrenare, nici ca exemple. Jocul are 10 propoziții pentru fiecare nivel de acord (cel mult 40 de cuvinte), extrase aleator (sămînța 20261108); fiecare joc extrage 3, 3, 2 și 2 dintre ele. Rezultatele modelului: ieșirile salvate ale analysis_L12.py. Cod: lectures/L12/make_game_L12.py.