Rețele neuronale și deep learning

Cursul 6 · Laborator: preziceți, testați, demonstrați

Cinci runde despre felul în care textul devine numere. În fiecare rundă mai întîi preziceți ce se va întîmpla și vă fixați răspunsul, apoi îl testați pe datele cursului și abia apoi vedeți demonstrația. Datele sînt cele din curs: 400 de discursuri ale Băncii Centrale Europene (2022–2026), pe care ne-am antrenat propriile modele word2vec și GloVe, și frazele din Financial PhraseBank.

Graficele rămîn goale pînă vă fixați predicția. În runda 2, trageți de spațiul cuvintelor ca să-l rotiți; derulați sau ciupiți ca să măriți.

Runda 1 · Cîteva cuvinte fac cea mai mare parte a muncii

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 2 · Cine sînt vecinii?

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 3 · Aritmetică cu cuvinte

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 4 · Media embedding-urilor sau numărarea cuvintelor?

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Runda 5 · Cînd adnotatorii nu sînt de acord

  1. 1 Preziceți
  2. 2 Testați
  3. 3 Demonstrați

Discursurile BCE: 400 de discursuri, 8 ianuarie 2022 – 30 octombrie 2026, 1.289.896 de tokeni. word2vec: skip-gram cu eșantionare negativă, 100 de dimensiuni, fereastra 5, cuvinte văzute de cel puțin 5 ori; GloVe pe același text; ambele antrenate în PyTorch. Vederea 3D este o proiecție pe componente principale a celor 32 de cuvinte din patru grupuri tematice. Financial PhraseBank (Malo et al., 2014): 4.838 de fraze, 5 împărțiri aleatoare; tweet-uri financiare: 3 semințe. Codul: lectures/L6/analysis_L6.py și build_interactive_L6.py pe GitHub.