Definíció
A lineáris regresszió a legelterjedtebb felügyelt tanulási algoritmus folytonos kimenet becslésére. A modell lineáris kapcsolatot feltételez a bemeneti jellemzők és a célérték között.
Matematikai modell
Modell: ŷ = w₀ + w₁x₁ + w₂x₂ + ... + wₙxₙ. Több változó esetén multivariáns lineáris regresszió. A polinom regresszió kiterjeszti a modellt magasabb rendű termékekkel.
Költségfüggvény
Átlagos négyzetes hiba (MSE): J(w) = (1/m) Σ(ŷ - y)². A cél a J(w) minimalizálása a súlyok w szerint.
Tanítás
Tanítási módszerek: analitikus megoldás (normál egyenlet), gradiens módszer, stochasztikus gradiens módszer (SGD) nagy adathalmazokhoz.
Elemzési megjegyzések
A lineáris regresszió feltételei (linearitás, függetlenség, homoszkedaszticitás, normális eloszlás) gyakran sérülnek valós adatokon. Diagnosztikai grafikonok (residual plot) segítenek az értékelésben.
