Boosting-ul (Friedman, 2001) construiește modelul în sens invers. În loc să facă media unor arbori adînci și independenți, adaugă arbori mici unul după altul, fiecare estimat pe reziduurile modelului curent. Pentru eroarea pătratică, reziduurile sînt gradientul negativ al pierderii în raport cu prognoza curentă, de unde și numele metodei. După \(m\) arbori, modelul este
\[F_m(\mathbf{x}) = F_{m-1}(\mathbf{x}) + \nu\,g_m(\mathbf{x}) ,\]
(9.4)unde \(g_m\) este al \(m\)-lea arbore mic, iar \(\nu\), rata de învățare (learning rate), de obicei între 0,01 și 0,3, îi scalează contribuția. O rată de învățare mică face fiecare pas prudent, deci modelul are nevoie de mai mulți arbori, dar face mai puțin overfitting.
Un exemplu rezolvat arată un pas. Țintele sînt 5, 6 și 8. Modelul pornește de la media lor, \(F_0 = 6{,}33\), deci reziduurile sînt \(-1{,}33\), \(-0{,}33\) și \(+1{,}67\). Un arbore cu o singură împărțire (stump) care izolează al treilea punct prezice pentru el reziduul 1,67. Cu \(\nu = 0{,}1\), prognoza pentru acest punct devine \(F_1 = 6{,}33 + 0{,}1 \cdot 1{,}67 = 6{,}50\): se apropie cu o zecime din distanță de țintă, iar arborii următori continuă de la noile reziduuri.
Implementările rapide grupează fiecare variabilă într-o histogramă, ceea ce accelerează mult căutarea împărțirilor: XGBoost (Chen și Guestrin, 2016), LightGBM (Ke et al., 2017) și HistGradientBoostingRegressor din scikit-learn. În restul capitolului, GB înseamnă gradient boosting; cîștigătorii competiției M5 (secțiunea 10) au folosit LightGBM. Numărul de arbori se alege prin oprire timpurie (early stopping), care oprește adăugarea de arbori cînd eroarea pe datele de validare nu mai scade; ceilalți hiperparametri sînt dimensiunea arborilor, rata de învățare și dimensiunea minimă a frunzei.