Analyse des données étude notes-prétraitement des données
D'une part, le prétraitement des données vise à améliorer la qualité des données, d'autre part, il est nécessaire de mieux adapter les données à des techniques ou outils d'exploration spécifiques.
Le contenu principal du prétraitement des données comprend: le nettoyage des données, l'intégration des données, la transformation des données et la spécification des données.
Les points de connaissance sont résumés comme suit:
Le principal processus de prétraitement des données
Nettoyage des données: il s'agit principalement de supprimer les données non pertinentes, de dupliquer les données dans l'ensemble de données d'origine, de lisser les données de bruit, de filtrer les données non pertinentes pour le thème d'exploration de données et de traiter les valeurs manquantes et les valeurs aberrantes.
Intégration des données: processus consistant à combiner plusieurs sources de données et à les stocker dans un magasin de données cohérent (tel qu'un entrepôt de données).
Transformation des données: normalisez les données et transformez les données en une forme "appropriée" pour répondre aux besoins des tâches d'exploration et des algorithmes.
Réduction des données: l'analyse et l'extraction de données complexes sur de grands ensembles de données prennent beaucoup de temps. La réduction des données génère de nouveaux ensembles de données plus petits mais préservant l'intégrité des données d'origine. Il sera plus efficace d'analyser et d'exploiter l'ensemble de données après la spécification.
