Definíció
Overfitting akkor fordul elő, ha a modell a tanító adatok zaját is megtanulja, és rosszabbul teljesít validációs vagy teszt adatokon. Underfitting ellenkező eset: a modell túl egyszerű a mintázatok megragadására.
Okok
Okok: túl komplex modell, kevés adat, zajos címkék, túl sok jellemző, hosszú tanítás neurális hálózatokban.
Megelőzés
Megelőzési technikák: több adat, adatbővítés, cross-validation, early stopping, dropout neurális hálózatokban, ensemble módszerek.
Regularizáció
Regularizáció bünteti a nagy paraméterértékeket. L2 (Ridge): λΣw², L1 (Lasso): λΣ|w|. A λ hiperparaméter szabályozza a büntetés erősségét.
Elemzési megjegyzések
A train és validation loss görbe együttes vizsgálata segít az overfitting korai felismerésében. A modell komplexitás és adatmennyiség közötti egyensúly kulcsfontosságú.
