Definíció
A döntési fa hierarchikus felosztások sorozata, amely a bemeneti térben rekurzívan szétválasztja az adatokat. Minden belső csomópont egy jellemzőre és küszöbértékre alapuló döntést reprezentál.
Fa struktúra
Gyökércsomópont → belső csomópontok (feltételek) → levél csomópontok (predikciók). Regressziós fában a levél az átlagot, klasszifikációs fában a többségi osztályt adja.
Felosztási kritériumok
Klasszifikáció: Gini index 1 - Σpᵢ² vagy információnyereség minimalizálása. Regresszió: variancia csökkentése a felosztások után.
Fa mélység korlátozása
Overfitting elkerülése: max_depth, min_samples_split, min_samples_leaf, pruning a tanítás után.
Elemzési megjegyzések
A döntési fák interpretálhatók, de instabilak — kis adatváltozásnál más struktúra alakulhat. Ensemble módszerek (random forest) ezt csökkentik.