PASCAL YIM / apprendreRégressions multiple et polynomiale

MODÈLES / 02 · EXPLICATION

m caractéristiques : écriture matricielle

X est une matrice à n lignes et m colonnes. y est un vecteur de n valeurs.

FONCTIONNEMENT

La majuscule X souligne les deux dimensions. Le vecteur a rassemble les m coefficients. Une colonne de 1 permet d’intégrer b au même calcul matriciel.

y^=Xa+b1\hat{\mathbf y}=X\mathbf a+b\mathbf 1

X : n × m ; a : m ; y prédit : n.

A=[X 1],θ=[ab],y^=AθA=[X\ \mathbf 1],\quad \theta=\begin{bmatrix}\mathbf a\\b\end{bmatrix},\quad \hat{\mathbf y}=A\theta

La colonne de 1 multiplie b pour ajouter la même constante à toutes les prédictions.

∇θ∥y−Aθ∥22=2A⊤(Aθ−y)=0\nabla_\theta\|\mathbf y-A\theta\|_2^2=2A^\top(A\theta-\mathbf y)=0

Les équations normales s’écrivent AᵀAθ = Aᵀy.

θ=(A⊤A)−1A⊤y\theta=(A^\top A)^{-1}A^\top\mathbf y

Formule valable si A a des colonnes linéairement indépendantes. En pratique, éviter de calculer explicitement cette inverse.

À retenir

  1. 01

    n = nombre d’observations ; m = nombre de caractéristiques.

  2. 02

    La matrice A possède n lignes et m + 1 colonnes ; θ contient m coefficients puis b.

  3. 03

    @ représente un produit matriciel ; * reste une multiplication terme à terme en NumPy.

Les slides d’explication ne donnent pas lieu à une validation de code.

Parcours · chapitres

Matrices, plans, pseudo-inverse et LinearRegression.

01 / Rappels de Python

02 / Classes et objets en Python

03 / Pandas et DataFrames

04 / Régression linéaire et métriques

05 / Régressions multiple et polynomiale

06 / Évaluer les modèles

07 / KNN et normalisation

Quiz de synthèse · 24 questions →Rejoindre une session →