Définition de la méthode de régression des moindres carrés
Une méthode de régression des moindres carrés est une forme d'analyse de régression qui établit la relation entre la variable dépendante et indépendante avec une ligne linéaire. Cette ligne est appelée «ligne de meilleur ajustement».
L'analyse de régression est une méthode statistique à l'aide de laquelle on peut estimer ou prédire les valeurs inconnues d'une variable à partir des valeurs connues d'une autre variable. La variable utilisée pour prédire l'intérêt de la variable est appelée variable indépendante ou explicative, et la variable qui est prédite est appelée variable dépendante ou expliquée.
Considérons deux variables, x & y. Celles-ci sont tracées sur un graphique avec des valeurs de x sur les valeurs de l'axe des x de y sur l'axe des y. Ces valeurs sont représentées par les points dans le graphique ci-dessous. Une ligne droite est dessinée à travers les points - appelée ligne de meilleur ajustement.
L'objectif de la régression des moindres carrés est de garantir que la ligne tracée à travers l'ensemble de valeurs fourni établit la relation la plus étroite entre les valeurs.
Formule de régression des moindres carrés
La droite de régression selon la méthode des moindres carrés est calculée à l'aide de la formule suivante -
ŷ = a + bx
Où,
- ŷ = variable dépendante
- x = variable indépendante
- a = ordonnée à l'origine
- b = pente de la ligne
La pente de la ligne b est calculée à l'aide de la formule suivante -
Ou
L'ordonnée à l'origine, 'a' est calculé en utilisant la formule suivante -
Ligne de meilleur ajustement dans la régression des moindres carrés
La ligne de meilleur ajustement est une ligne droite dessinée à travers une dispersion de points de données qui représente le mieux la relation entre eux.
Considérons le graphique suivant dans lequel un ensemble de données est tracé le long des axes x et y. Ces points de données sont représentés à l'aide des points bleus. Trois lignes sont tracées à travers ces points - une ligne verte, une ligne rouge et une ligne bleue. La ligne verte passe par un seul point et la ligne rouge passe par trois points de données. Cependant, la ligne bleue passe par quatre points de données et la distance entre les points résiduels et la ligne bleue est minimale par rapport aux deux autres lignes.
Dans le graphique ci-dessus, la ligne bleue représente la ligne de meilleur ajustement car elle est la plus proche de toutes les valeurs et la distance entre les points à l'extérieur de la ligne et la ligne est minimale (c'est-à-dire la distance entre les résidus à la ligne de meilleur ajustement - également appelées sommes des carrés des résidus). Dans les deux autres lignes, l'orange et la verte, la distance entre les résidus et les lignes est plus grande que la ligne bleue.
La méthode des moindres carrés fournit la relation la plus proche entre les variables dépendantes et indépendantes en minimisant la distance entre les résidus et la ligne de meilleur ajustement, c'est-à-dire que la somme des carrés des résidus est minimale dans cette approche. D'où le terme «moindres carrés».
Exemples de ligne de régression des moindres carrés
Appliquons ces formules dans la question ci-dessous -
Exemple 1
Les détails relatifs à l'expérience des techniciens dans une entreprise (en nombre d'années) et leur note de performance sont fournis dans le tableau ci-dessous. À l'aide de ces valeurs, estimez le rendement d'un technicien ayant 20 ans d'expérience.
| Expérience du technicien (en années) | Évaluation des performances |
| 16 | 87 |
| 12 | 88 |
| 18 | 89 |
| 4 | 68 |
| 3 | 78 |
| dix | 80 |
| 5 | 75 |
| 12 | 83 |
Solution -
Pour calculer les moindres carrés d'abord, nous allons calculer l'ordonnée à l'origine (a) et la pente d'une droite (b) comme suit -
La pente de la ligne (b)
- b = 6727 - ((80 * 648) / 8) / 1018 - ((80) deux / 8)
- = 247/218
- = 1,13
Interception Y (a)
- a = 648 - (1,13) (80) / 8
- = 69,7
La droite de régression est calculée comme suit -
En substituant 20 à la valeur de x dans la formule,
- ŷ = a + bx
- ŷ = 69,7 + (1,13) (20)
- ŷ = 92,3
La cote de performance d'un technicien ayant 20 ans d'expérience est estimée à 92,3.
Exemple # 2
Équation de régression des moindres carrés à l'aide d'Excel
L'équation de régression des moindres carrés peut être calculée en utilisant Excel par les étapes suivantes -
- Insérer une table de données dans Excel.
- Insérez un nuage de points en utilisant les points de données.
- Insérez une courbe de tendance dans le nuage de points.
- Sous les options de courbe de tendance - sélectionnez la courbe de tendance linéaire et sélectionnez afficher l'équation sur le graphique.
- L'équation de régression des moindres carrés pour l'ensemble donné de données Excel est affichée sur le graphique.
Ainsi, l'équation de régression des moindres carrés pour l'ensemble donné de données Excel est calculée. À l'aide de l'équation, des prévisions et des analyses de tendance peuvent être effectuées. Les outils Excel fournissent également des calculs de régression détaillés.
Avantages
- La méthode des moindres carrés d'analyse de régression est la mieux adaptée aux modèles de prédiction et à l'analyse des tendances. Il est mieux utilisé dans les domaines de l'économie, de la finance et des marchés boursiers où la valeur de toute variable future est prédite à l'aide de variables existantes et de la relation entre elles.
- La méthode des moindres carrés fournit la relation la plus proche entre les variables. La différence entre les sommes des carrés des résidus et la ligne de meilleur ajustement est minime avec cette méthode.
- Le mécanisme de calcul est simple et facile à appliquer.
Désavantages
- La méthode des moindres carrés repose sur l'établissement de la relation la plus proche entre un ensemble donné de variables. Le mécanisme de calcul est sensible aux données, et en cas de valeurs aberrantes (données exceptionnelles), les résultats peuvent avoir tendance à avoir un impact majeur.
- Ce type de calcul est le mieux adapté aux modèles linéaires. Pour les équations non linéaires, des mécanismes de calcul plus exhaustifs sont appliqués.
Conclusion
La méthode des moindres carrés est l'une des méthodes les plus couramment utilisées pour les modèles de prédiction et l'analyse des tendances. Lorsqu'il est calculé correctement, il fournit les meilleurs résultats.
