Apprentissage automatique Python (5) régression logistique, limite de décision, fonction de coût, méthode de descente de gradient pour obtenir une régression logistique linéaire et non linéaire

Le problème résolu par la régression linéaire est d'introduire les caractéristiques de l'ensemble de données dans le modèle, de prédire une valeur pour minimiser l'erreur, et la valeur prédite est infiniment proche de la valeur réelle. Par exemple, d'autres caractéristiques de la maison sont introduites dans le modèle pour prédire le prix du logement.Le prix du logement est une série de valeurs continues, et la régression linéaire résout l'apprentissage supervisé. Les résultats prédits par de nombreux scénarios ne sont pas nécessairement continus, et le problème que nous voulons résoudre n'est pas toujours similaire au problème des prix des logements.

problème de classement

Que la prédiction porte sur les globules rouges ou les globules blancs, les globules rouges et les globules blancs sont deux catégories complètement différentes. Lors de la prédiction, nous devons d'abord disposer de données historiques, former le modèle, puis évaluer le modèle à plusieurs reprises pour obtenir le modèle idéal, puis transmettre les nouvelles données dans le modèle et faire une série de prédictions pour obtenir des globules rouges (0), Ou les globules blancs (1), qui est le problème de classification binaire le plus simple.

Si la régression linéaire est utilisée pour résoudre les problèmes de classification, $y=0$ correspond aux globules rouges,$y=1$ correspond aux globules blancs. La présentation de l'ensemble de données est illustrée dans la figure ci-dessous. À ce stade, une ligne doit être trouvée pour séparer les deux. Si la régression linéaire est utilisée pour le faire, il faut considérer la fonction de coût minimum (erreur minimale), et l'autre doit être la meilleure donnée séparée. Pour séparer les globules rouges et blancs, prendre une valeur (0,5) sur la ligne, si$h\left(x\right)>=Si\; c\text{'}est\; 0,5$ , le point obtenu est au-dessus, et le résultat prédit est 1 ; si$h\left(x\right)<Si\; c\text{'}est\; 0,5$ , le point obtenu est en dessous et le résultat prédit est 0.

S'il y a un autre point d'échantillonnage dans les données, comme indiqué dans la figure ci-dessous, la solution de la ligne d'ajustement doit être la fonction de coût minimum, et la ligne d'ajustement s'étendra vers la droite, qui est la ligne bleue sur la figure, si h ( x$h\left(x\right)=Si\; c\text{'}est\; 0,5$ , les points qui apparaîtront dans la zone A ne sont pas exactement 1. C'est-à-dire que lorsqu'il y a un point d'échantillonnage anormal dans les données, lorsque le modèle de régression linéaire est utilisé pour résoudre le problème, notre prédiction globale changera. À ce moment, l'algorithme de régression logistique doit être introduit.

régression logistique

L'algorithme de régression logistique est l'un des algorithmes les plus populaires et les plus utilisés aujourd'hui. Bien que son nom contienne le mot régression, il est en fait utilisé pour résoudre des problèmes de classification. Scénarios couramment utilisés : exploration de données ; diagnostic automatique des maladies ; prévisions économiques et classification des spams, etc. La régression logistique est également plus importante dans l'apprentissage profond, c'est un algorithme relativement classique, et beaucoup de ses principes sont utilisés dans l'apprentissage profond et les réseaux de neurones.

Mise en œuvre de la régression logistique

Fonction de prédiction : $h\left(x\right)={je}^{T}X$, la valeur prédite sera bien supérieure à 1, ou bien inférieure à 0, et elle ne pourra pas être classée. Le but :$h\left(x\right)$ converge entre 0 et 1,$0<=h\left(x\right)0<=1$。
实现：使用$sjegmojeré\left(Logjestjec\right)$函数，$g\left(z\right)=\frac{}{1+e^{-z\_}}$. Tozz $z$ tend vers$+\infty$，$e^{-z}$ tend vers 0,$g\left(z\right)$ tend vers 1 infiniment ; quand$z$ tend vers$-\infty$，$e^{-z}$ tend vers$+\infty$，$g\left(z\right)$ tend vers 0 à l'infini.

Mettre $h\left(x\right)$ en$g\left(z\right)$ , obtenir$g\left({je}^{TX}\right)\_=\frac{}{1+e^{-{je}^{TX}\_}}$, vous pouvez utiliser $g\left({je}^{T}X\right)$mappe entre 0 et 1.

Lorsque${je}^{TX}\_>=0$ ,$g\left({je}^{TX}\right)\_>=\mathrm{0,5}$ , proche de 1 ;
lorsque${je}^{TX}\_<0$ ,$g\left({je}^{TX}\right)\_<\mathrm{0,5}$ , proche de 0. La formule peut aussi s'écrire$h\left(x\right)=\frac{}{1+e^{-{je}^{TX}\_}}$.
Un ensemble de données est formé pour produire un modèle, de nouvelles données sont substituées dans le modèle et le résultat prédit est obtenu. Le résultat ne peut pas être exactement 0 ou 1, ou il peut être compris entre 0 et 1. Si le résultat obtenu h ( x ) = $h\left(x\right)=\mathrm{0,7}$ , on peut prédire qu'il existe une probabilité de 70 % de globules blancs (1) et une probabilité de 30 % de globules rouges (0). Probabilité d'en faire partie :$h\left(x\right)=P(et=1|x;\theta )$ et$y=1$ état$Probabilité\; de\; x$ ; somme des probabilités entre :$P(et=1|x;je)+P(et=0|x;\_je)=1$。

• somme
  $h\left(x\right)$ en utilisant$g\left({je}^{T}X\right)$converge entre 0 et 1.
  $h\left(x\right)=g\left({je}^{TX}\right)\_=P(et=1|x;\theta )$，$g\left(z\right)=\frac{}{1+e^{-z\_}}$，
  当${je}^{TX}\_>0,h\left(x\right)>=\mathrm{0,5}$ , alors prédisez$y=1$；
  当${je}^{TX}\_<0,h\left(x\right)<0.5$ , alors prédisez$y=0$

limite de décision

Aidez-nous à mieux comprendre la régression logistique et à comprendre la connotation de l'expression de fonction, $X_{}$，$X_{}$La distribution représente la caractéristique, donc $h\left(x\right)=g({je}_{}+{je}_{}{X}_{}+{je}_{}{X}_{})$ , la seconde moitié est équivalente à${je}^{TX}$ .$\_$
Comme le montre la figure ci-dessous, supposons que${je}_{}=-3，{je}_{}=1,{je}_{}=1$ , obtenir${je}^{TX}\_=-3+X_{}+X_{}$, si $-3+X_{}+X_{}>=0$ , signifiant$h\left(x\right)>=0.5$ , la valeur est plus proche de 1, alors$y=1$ est plus susceptible d'être divisé en 1 ; si$-3+X_{}+X_{}<0$ , ce qui signifie$h\left(x\right)<0.5$ , la valeur est plus proche de 0, alors$y=0$ est plus susceptible d'être divisé en 0. Tracez la ligne selon l'expression, volonté$-3$ se déplace vers la droite du signe égal lorsque$X_{}=0$ ,$X_{}=3$ ; lorsque$X_{}=0$ ,$X_{}=3$ , tracez une ligne entre deux points, au-dessus de la ligne se trouve$X_{}+X_{}>=Dans\; la\; partie\; de\; 3$ , la catégorie est prédite être 1, et de même, la catégorie sous la ligne est prédite être 0.

Dans la figure ci-dessous, les échantillons positifs sont représentés par une croix et les échantillons négatifs par un cercle. Pour le moment, une ligne droite ne peut pas être utilisée pour diviser les deux. Dans la régression linéaire précédente, si les données ne peuvent pas être ajustées par une ligne droite, la régression polynomiale est utilisée. Ajoutez quelques expressions d'ordre supérieur. La même approche peut également être utilisée pour la régression logistique.
$h\left(x\right)=g({je}_{}+{je}_{}{X}_{}+{je}_{}{X}_{}+{je}_{}{X}_1^{}+{je}_{}{X}_2^{})$，oùθ${je}_{}+{je}_{}{X}_{}+{je}_{}{X}_{}+{je}_{}{X}_1^{}+{je}_{}{X}_2^{}$Équivalent à ${je}^{TX}$ .$\_$
Comme le montre la figure ci-dessous, supposons que${je}_{}=-1，{je}_{}=0,{je}_{}=0,{je}_{}=1,{je}_{}=1$ , après substitution dans la formule, on obtient${je}^{TX}\_=-1+X_1^{}+X_2^{}$，若$-1+X_1^{}+X_2^{}>=0$ , alors nous pouvons obtenir${je}^{TX}\_=X_1^{}+X_2^{}>=1$，$Si\; la\; valeur\; de\; h\left(x\right)$ est supérieure à 0,5, la catégorie est divisée en 1, sinon la catégorie est divisée en 0. $X_1^{}+X_2^{}=1$ est un cercle standard avec l'origine comme centre et un rayon de 1, qui est la frontière de décision. Les points à l'extérieur du cercle sont plus grands que le rayon et appartiennent à la catégorie 1. Au contraire, les points à l'intérieur du cercle sont plus petits que le rayon et appartiennent à la catégorie est 0. La frontière de décision passe par$\theta$ pour déterminer,$h\left(x\right)=\frac{}{1+e^{-{je}^{TX}\_}}$, 1 et e sont des constantes, X est l'ensemble d'échantillons de données (caractéristiques), seulement $\theta$ est un paramètre, tant que θ est déterminé$\theta$ détermine également la frontière de décision$h\left(x\right)$ , c'est-à-dire que la limite h ( x ) h(x)peut être prédite$La\; valeur\; de\; h\left(x\right)$ .

Résolution pour$Valeur\; \theta$ , similaire à la régression linéaire, trouver$\theta$ est basé sur la fonction de coût, de sorte que la fonction de coût est minimisée pour obtenir$Valeur\; thêta$ .

fonction de coût

Il n'y a qu'une seule solution optimale globale pour une fonction convexe. Lorsqu'une fonction non convexe cherche une solution optimale, elle est susceptible de tomber dans une solution optimale locale au lieu d'un minimum global. Les fonctions non convexes ne peuvent pas atteindre un minimum global par descente de gradient.

La fonction de coût définie par régression linéaire est : $J\left(\theta \right)=\frac{}{2mètres}\sum _{je=1}\left(h\right(x^{je})-y^{je}{)}^2$ , la somme des carrés de la valeur réelle moins la valeur prédite, puis divisée par le nombre de caractéristiques, qui est l'erreur quadratique moyenne, à ce moment$h\left(x^{je}\right)={je}_{}+{je}_{}{X}^i$ , si la fonction de coût est appliquée à la régression logistique, alors$h\left(x^i\right)$n'est plus une simple relation de régression linéaire, mais$h\left(x\right)=\frac{}{1+e^{-{je}^{TX}\_}}$, En remplaçant le contenu après le signe égal dans la fonction de coût dans son ensemble, le graphique deviendra une fonction non convexe, ce qui n'est pas pratique pour trouver le minimum global.
Objectif : Trouver une fonction de coût différente telle que $J\left(\theta \right)$ devient une fonction convexe.
Réalisation : utilisez le logarithme pour supprimer l'impact de l'indexation, transformez-le en une relation linéaire et utilisez le logarithme pour couvrir l'indice. $2^n=4$ , peut être converti en$lo{g}_{}4=n$ , obtenir$n=2$ .
Solution : Convertissez en une fonction convexe. Si elle est unaire, trouvez directement la dérivée seconde. Si elle est supérieure ou égale à zéro, c'est une fonction convexe ; si elle est multivariée, utilisez la matrice hessienne pour la résoudre, ce qui implique une définition positive.
Fonction : La solution optimale locale de la fonction convexe est la solution optimale globale.

• 当$y=Lorsque\; 1$ , la fonction de coût$Coût\left(h\right(x),\_\_y)=-lo{g}_{}\left(h\right(x))$
  $Lecoûtest$ la perte prédite par l'échantillon actuel. P est la probabilité,$y=1$ probabilité.
  quand$y=1$ ,$h\left(x\right)$ doit être proche de 1 pour minimiser la fonction de coût,$y$ est la valeur réelle, la catégorie est 1,$h\left(x\right)=P(et=1|x;\theta )$ est la probabilité que la valeur prédite soit 1, plus la probabilité est élevée, plus le résultat est proche$y=1$ . Si$h\left(x\right)=1$ est le meilleur effet,$Coût\_\_=-lo{g}_{}\left(h\right(x))=0$ , ce qui signifie que la perte est la plus petite et que la fonction de coût est 0 ;
  si$h\left(x\right)=0$，$h\left(x\right)=P(et=1|x;\theta )$ est la probabilité que la valeur prédite soit 1 soit 0,$Coût\left(h\right(x),\_\_y)=-lo{g}_{}\left(h\right(x))$ est infini et la valeur de perte est très grande.
  
• 当$y=Lorsque\; 0$ , la fonction de coût$Coût\left(h\right(x),\_\_y)=-lo{g}_{}(1-h(x))$
  当$y=0$ ,$h\left(x\right)$为1，$Coût\left(h\right(x),\_\_y)=-lo{g}_{}(1-h(x))$ a une valeur prédite de 1 avec probabilité 0,$journal(1\_\_-h(x))$ est infini ; sinon$h\left(x\right)$ vaut 0, tend vers$y=0$ catégorie,$-lo{g}_{}1=0$ , la perte est minime.
  
  Remarque : Pour la régression logistique, il n'est pas nécessaire de faire la distinction entre les catégories de probabilité prédites. Lorsque$h\left(x\right)=P>=\mathrm{0,5}$ , divisé dans la catégorie 1, proche de 1 ; lorsque$h\left(x\right)=P<\mathrm{0,5}$ , divisé dans la catégorie 0, tend vers 0.
  Les deux fonctions de coût ci-dessus sont segmentées, résolvant$\theta$ valeur pour résoudre le problème réel, et$y=0ou1$ , vous pouvez simplifier l'équation pour trouver la fonction de coût et intégrer les deux formules ci-dessus en une seule, ce qui est pratique pour une dérivation ultérieure. $$Coût\left(h\right(x),\_\_y)=-ylo{g}_{}\left(h\right(x))-(1-y)journal\_{\_}_{}(1-h(x))$$
  
  $Coût\left(h\right(x),\_\_y)$ est la perte d'une donnée d'échantillon, chaque point d'échantillon a une perte, il faut intégrer de nombreux points d'échantillon, additionner et diviser par le nombre d'échantillons, mettre en avant le signe négatif, et obtenir la formule suivante, ceci La méthode est aussi une entropie croisée.
  $$J\left(\theta \right)=\frac{}{m}\sum _{je=1}Coût\left(h\right(x),\_\_y)=-\frac{}{m}\sum _{je=1}\left[ylo{g}_{}\right(h(x))+(1-y)journal\_{\_}_{}(1-h(x))]$$
  La régression logistique est un algorithme très couramment utilisé et est également utilisé dans l'apprentissage en profondeur. Cette équation utilise la méthode du maximum naturel en statistique pour trouver rapidement les paramètres de différents modèles.C'est aussi une fonction convexe, qui résout le problème précédent des fonctions non convexes et facilite la dérivée suivante.

Dérivation de la méthode de descente de gradient

fonction de coût：
$$J\left(\theta \right)==-\frac{}{m}\sum _{je=1}\left[ylo{g}_{}\right(h(x))+(1-y)journal\_{\_}_{}(1-h(x))]$$
But : Trouver$\theta$ , de sorte que la fonction de coût$J\left(\theta \right)$ est le plus petit.
Méthode de substitution,$z={je}^{T}X$,对$La\; dérivée\; de\; g\left(z\right)$ devient$\frac{}{1+e^{-z\_}}$Prenez la dérivée, $1+e^{-z}$ dérivation devient$e^{-\; dérivéez}$ multipliée par$-$ Dérivée de$z$$z={je}^{T}X$dérivation, X est une constante,${je}^T$ est une variable, après dérivation est$X$

Le résultat après la dérivation de la fonction de coût est :

l'essence de la méthode de descente de gradient est d'itérer la direction de la descente de la courbe par dérivation sans arrêt. point, le processus avec la plus petite perte
$lo{g}_{}X=lnx=\frac{}{X}$

Descente de gradient pour la régression logistique linéaire

sklearn implémente la régression logistique linéaire

API de régression logistique

sklearn.linear_model.LogisticRegression(solver='liblinear',penalty='l2',C=1.0,
solver 可选参数：{
    
    'liblinear','sag','saga','newton-cg','lbfgs'}
penalty：正则化的种类
C：正则化力度

liblinear est la valeur par défaut, qui est un algorithme pour les problèmes d'optimisation et convient aux petits ensembles de données ; sag et saga sont utilisés pour les grands ensembles de données et newton-cg est utilisé pour les problèmes multi-classes.
Il y a des exemples positifs et négatifs dans les données, et l'interface sklearn utilise par défaut des exemples positifs avec un petit nombre.

Méthode de descente de gradient pour la régression logistique non linéaire

API de rapport d'évaluation de taxonomie

sklearn.metrics.classification_report(y_true,y_pred,labels=[],target_names=None)
y_true：真实目标值
y_pred：估计器预测目标值
labels：指定类别对应的数字
target_names：目标类别名称
return：每个类别精确率与召回率

Utiliser l'ensemble de données fourni par sklearn