Definíció
A modellértékelés azt vizsgálja, hogy a tanított modell mennyire jól teljesít ismeretlen adatokon. A metrika kiválasztása a feladat típusától és az üzleti követelményektől függ.
Klasszifikációs metrikák
Gyakori metrikák: pontosság (accuracy), precizitás P = TP / (TP + FP), recall R = TP / (TP + FN), F1 2PR / (P + R), ROC-AUC a threshold-független összehasonlításhoz.
Regressziós metrikák
Regressziós metrikák: MSE (1/n)Σ(y - ŷ)², RMSE (MSE négyzetgyöke), MAE az abszolút hibák átlaga, R² a magyarázott variancia aránya.
Validációs stratégiák
Validációs stratégiák: hold-out split, k-fold cross-validation, stratified split osztályegyensúlyhoz, time-series split idősoros adatokhoz.
Elemzési megjegyzések
Egyetlen metrika ritkán elegendő. Konfúziós mátrix, learning curve és kalibrációs diagram együttes vizsgálata átfogóbb képet ad a modell viselkedéséről.
