Cursul 14
Modele multimodale și vizual-lingvistice; sinteza cursului
Prof. dr. Daniel Traian PELE
Academia de Studii Economice din București (ASE), Departamentul de Statistică și Econometrie
Academia Română, Institutul de Prognoză Economică (IPE)
Datele de afaceri nu sînt doar tabele. Băncile și asigurătorii se uită la imagini satelitare ale terenurilor pe care le finanțează, citesc contracte scanate și rapoarte anuale, iar analiștii citesc grafice de preț. Modelele multimodale pun imaginile și textul în aceeași reprezentare: preantrenarea contrastivă limbaj–imagine (CLIP) învață din perechi imagine–descriere, iar modelele vizual-lingvistice (VLM) permit unui model lingvistic mare să citească o imagine. Acest ultim curs măsoară ce pot și ce nu pot face aceste modele pe date reale, apoi trage concluziile întregului curs.
Clasificăm 5 400 de imagini de test din setul EuroSAT (imagini satelitare Sentinel-2 ale utilizării terenului în Europa) cu CLIP, fără niciun exemplu etichetat, îl comparăm cu o rețea neuronală convoluțională (CNN) antrenată de la zero pe măsură ce numărul etichetelor crește, căutăm imagini cu ajutorul cuvintelor și cerem unui VLM de 2 miliarde de parametri să citească grafice de piață și tabele ale curbei randamentelor. Experimentul privind crizele de piață urmează cadrul de detectare multimodală a anomaliilor propus de grupul nostru, cu modele deschise.