1. Concept
L'apprentissage automatique consiste à découvrir certaines lois à l'aide de données historiques et à utiliser ces lois pour prendre des décisions concernant des scénarios futurs incertains.
Apprentissage automatique vs analyse de données
L'analyse des données consiste à rechercher artificiellement des règles à partir des données de transaction historiques pour prendre des décisions.
L'apprentissage automatique est l'utilisation d'algorithmes par les machines pour trouver des modèles dans les données de comportement historiques et prendre des décisions.
Les données de transaction sont petites et les données comportementales sont massives.
La précision de l'analyse des données dépend principalement de la capacité de l'expert à analyser.
La précision de l'apprentissage automatique dépend principalement des données historiques.
Peu importe la puissance d'un expert, son jugement sera unilatéral et subjectif.
De l'analyse des données à l'apprentissage automatique, le processus consiste en fait à remplacer les experts par des données.
Apprentissage automatique vs statistiques
Statistiques, analyse d'échantillonnage de données massives, obtenez des conclusions, une vérification inversée et optimisez les conclusions.
Apprentissage automatique, analyse complète de données massives et conclusions.
Les statistiques, les plus anciennes en raison de la grande quantité de données, ne peuvent pas être traitées en totalité, uniquement pour utiliser la méthode d'échantillonnage.
Avec l'apprentissage automatique, ce problème est réellement résolu.
Apprentissage automatique hors ligne vs apprentissage automatique en ligne
La plupart des apprentissages automatiques sont hors ligne, tels que l'enregistrement d'une journée de données et l'apprentissage automatique par lots une fois le matin.
Des scénarios commerciaux spéciaux nécessitent un apprentissage automatique en ligne en temps réel. Stimuler en permanence le modèle grâce à de nouvelles données, les recommandations e-commerce sont généralement en temps réel. Par exemple, si vous l'aimez, vous pouvez toujours recommander des produits similaires que vous venez de rechercher dans la navigation suivante après avoir recherché un produit.
2. Application de l'apprentissage automatique
Analyse des achats (algorithme de règle d'association)
Cas classique: la bière et les couches américaines sont toujours achetées en même temps. Les commerçants effectuent le marketing de bundle correspondant pour augmenter les ventes.
Marketing de précision (algorithme de clustering)
Les gens sont divisés avec précision en différentes catégories, et chaque catégorie effectue un marketing différent.
Reconnaissance du spam (algorithme Naive Bayes)
Identifier le spam
Fraude par carte de crédit (algorithme d'arbre de décision)
Identification du risque de crédit (capacité de remboursement insuffisante et prêts frauduleux)
Publicité sur Internet (méthode de pré-estimation ctr, régression logistique linéaire)
Estimer le taux de clics de l'utilisateur, comme la recherche, pour chaque résultat affiché, évaluera la probabilité d'un clic de l'utilisateur, puis organisera l'affichage en fonction de la taille de cette probabilité, de sorte que le point le plus probable soit classé en premier.
Système de recommandation (algorithme de filtrage collaboratif)
Système de recommandation de commerce électronique, je suppose que vous l'aimez. En recommandant quelque chose que les utilisateurs pourraient acheter, augmentez les ventes.
Traitement du langage naturel
L'analyse des sentiments, à travers les commentaires d'une personne, analyse la personnalité possible de la personne et la catégorise.
Reconnaissance d'entité, extraire les informations de base d'un article, telles que les noms de personnes et de lieux, afin d'essayer de déterminer une entité.
Attends. . .
Reconnaissance d'image (apprentissage en profondeur)
La reconnaissance faciale, ainsi que la fonction d'Alipay de savoir ce que sont les plantes
Autre
Reconnaissance vocale,
conduite automatique,
reconnaissance vidéo,
contrôle gestuel,
robot intelligent,
etc. . .
3. Classification des algorithmes communs
3.1 Classement par supervision
y = f (x)
Apprentissage supervisé: indiquez clairement à quelles étiquettes appartiennent les données, puis apprenez et obtenez enfin le modèle.
Algorithme de classification Algorithme de
régression
Apprentissage non supervisé: je ne sais pas ce que je veux former à l'avance
Algorithme de clustering
Apprentissage semi-supervisé: également appelé apprentissage par renforcement, l'effet d'entraînement n'est pas bon au début et renforce lentement le modèle au fil du temps
3.2 Classification par modèle
Générez le modèle (tout est bon à discuter)
Avec les modèles génératifs, vous vous retrouvez avec un paramètre d'entrée et le modèle vous donnera la probabilité de résultats différents.
Modèle discriminant (noir ou blanc)
Discriminez le modèle, le modèle final vous donnera une fonction, vous lui donnerez les paramètres, il vous donnera les paramètres.
4. Routines de résolution de problèmes d'apprentissage automatique
4.1, déterminer l'objectif
1. Déterminer les objectifs en fonction des besoins de l'entreprise
2. Recueillir des données historiques
3. Faire l'ingénierie des fonctionnalités (prétraitement des données, nettoyage, intégration) pour extraire les fonctionnalités
Dans quelle mesure le modèle final peut produire un effet, la plupart des facteurs dépendent de la qualité de l'ingénierie des fonctionnalités. L'ingénierie des fonctionnalités est donc l'étape la plus importante
4.2, modèle de formation
1. Définir le modèle: définir une formule, chaque paramètre doit être formé pour obtenir
2. Définir la fonction de perte: définir la taille de l'écart du résultat final, et enfin connaître la différence entre le résultat prédit et le résultat réel de manière énergétique
3. Algorithme d'optimisation: fonction de perte Prenez le plus petit
4.3 Évaluation du modèle
1. Validation croisée
2. Évaluation des effets
