Antrenarea unei rețele este o minimizare nonconvexă, în dimensiune mare
Slide-ul 5 în PDFNu există o formulă pentru ponderile unei rețele. Pornim de undeva și repetăm \(\boldsymbol\theta_{t+1}=\boldsymbol\theta_t-\eta\nabla\mathcal L(\boldsymbol\theta_t)\): în prima aproximare, \(\mathcal L(\boldsymbol\theta-\eta\mathbf g)=\mathcal L(\boldsymbol\theta)-\eta\|\mathbf g\|^2\), deci un pas mic contra gradientului scade pierderea. MLP 64-64 are 4 801 de parametri pentru 12 384 de grupuri de antrenare.



NN_L2_gd_paths






