Cinci runde despre felul în care funcționează atenția și cît valorează. În fiecare rundă mai întîi preziceți ce se va întîmpla și vă fixați răspunsul, apoi îl testați pe datele cursului și abia apoi vedeți demonstrația. Rundele 1 și 2 desenează atenția reală a lui FinBERT pe tweet-uri financiare ca un relief 3D pe care îl puteți roti; rundele 3–5 folosesc cele 500 de tweet-uri de test și modelele din curs.
Graficele rămîn goale pînă vă fixați predicția. În rundele 1 și 2, trageți de relief ca să-l rotiți; derulați sau ciupiți ca să măriți.
Runda 1 · De ce împărțim la √d?
- 1 Preziceți
- 2 Testați
- 3 Demonstrați
Runda 2 · Unde se concentrează atenția?
- 1 Preziceți
- 2 Testați
- 3 Demonstrați
Runda 3 · Chiuveta [SEP]
- 1 Preziceți
- 2 Testați
- 3 Demonstrați
Runda 4 · Contează ordinea cuvintelor?
- 1 Preziceți
- 2 Testați
- 3 Demonstrați
Runda 5 · Puține date etichetate
- 1 Preziceți
- 2 Testați
- 3 Demonstrați
Atenția: ProsusAI FinBERT (12 straturi × 12 capete, d = 64 pe cap), scorurile brute q·k recalculate din model și verificate cu atenția lui; runda 2 arată media celor 12 capete ale unui strat. Tweet-uri: Twitter financial news sentiment, setul de validare publicat folosit ca set de test (2.388 de tweet-uri); 8.588 de tweet-uri de antrenare. Entropia și ponderea [SEP]: 500 de tweet-uri de test. Transformerul mic: 3 semințe; bootstrap cu 1.000 de extrageri ale tweet-urilor de test. Codul: lectures/L7/analysis_L7.py și build_interactive_L7.py pe GitHub.

