Rețele neuronale și deep learning

Cursul 7 · Laborator: preziceți, testați, demonstrați

Cinci runde despre felul în care funcționează atenția și cît valorează. În fiecare rundă mai întîi preziceți ce se va întîmpla și vă fixați răspunsul, apoi îl testați pe datele cursului și abia apoi vedeți demonstrația. Rundele 1 și 2 desenează atenția reală a lui FinBERT pe tweet-uri financiare ca un relief 3D pe care îl puteți roti; rundele 3–5 folosesc cele 500 de tweet-uri de test și modelele din curs.

Graficele rămîn goale pînă vă fixați predicția. În rundele 1 și 2, trageți de relief ca să-l rotiți; derulați sau ciupiți ca să măriți.

Runda 1 · De ce împărțim la √d?

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 2 · Unde se concentrează atenția?

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 3 · Chiuveta [SEP]

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 4 · Contează ordinea cuvintelor?

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 5 · Puține date etichetate

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Atenția: ProsusAI FinBERT (12 straturi × 12 capete, d = 64 pe cap), scorurile brute q·k recalculate din model și verificate cu atenția lui; runda 2 arată media celor 12 capete ale unui strat. Tweet-uri: Twitter financial news sentiment, setul de validare publicat folosit ca set de test (2.388 de tweet-uri); 8.588 de tweet-uri de antrenare. Entropia și ponderea [SEP]: 500 de tweet-uri de test. Transformerul mic: 3 semințe; bootstrap cu 1.000 de extrageri ale tweet-urilor de test. Codul: lectures/L7/analysis_L7.py și build_interactive_L7.py pe GitHub.