Analyse des données Python - Cours 1: Environnement de travail et fichier de données local

1. Environnement de préparation du travail d'analyse des données

1.1 Concepts de base de l'analyse des données

1. Utiliser des méthodes d'analyse statistique appropriées pour analyser la grande quantité de données collectées.
2. Extraire des informations utiles et formuler des conclusions
. 3. Mener une recherche détaillée et un résumé des
données. Objectif: Exploiter les règles à partir des données, vérifier les conjectures et faire des prédictions

1.2 Processus d'analyse des données

Clarifier l'objectif (poser des questions) -> préparer les données -> l'analyse des données -> analyser les données -> obtenir des conclusions -> visualiser les résultats

1.3 Pourquoi étudier l'analyse des données

1. Besoin d'un emploi
2. C'est le fondement de l'apprentissage automatique
3. Le fondement de la science des données

1.4 Déploiement de l'environnement

1.4.1 Connaître Jupyter

1. Éditeur en ligne basé sur le Web
2. Interactif
3 ... partage de fichiers ipynb (suffixe de fichier)
4. Support markdown

1.4.1.1 Installation de Jupyter

pip installer jupyter

1.4.1.2 Démarrage de Jupyter

Accédez à l'emplacement que vous souhaitez ouvrir via la ligne de commande, puis entrez execution: jupyter notebook pour ouvrir le navigateur pour la programmation

1.4.1.3 Arrêt de Jupyter

Dans la ligne de commande, appuyez sur ctrl + c pour arrêter

1.4.2 Édition de la communauté pycharm

1. Environnement de développement intégré
2. Adresse de téléchargement: https://www.jetbrains.com/pycharm/download/#section=windows

2. Collecte et fonctionnement des données locales

2.1 Formats de fichiers locaux couramment utilisés

1. opération de fichier TXT
2. opération de fichier JSON
3. opération de fichier CSV
4. opération de fichier Excel

2.2 Fonctionnement du fichier TXT

1. Ouvrez le fichier
2. Opération de fichier (lecture et écriture)
3. Fermez le fichier
Exemple de code:

'''
# 1.打开文件
file = open(filename,mode)
filename   文件名称
mode 模式（打开文件的模式）
r read 只读
w writer 写入（覆盖式的）
a append 追加
b byte 打开二进制

# 2.文件操作(读写)
2.1 读操作
read      读取全部文件
readline  逐行读取
readlines 返回列表，再遍历数据
2.2 写操作
write
append
# 3.关闭文件
'''
# file = open("1.txt",'r',encoding='utf-8')
#通过open打开文件的方式，当文件不存在时，程序会报错，抛出异常

# print(file.read())
# print(file.readline())
# print(file.readlines())
file = open("1.txt",'w',encoding='utf-8')
file.write('55555')
file.close()
exit()

2.3 avec instruction (gestionnaire de contexte)

Y compris la gestion des exceptions, l'opération de fermeture automatique du fichier d'appel, recommandé

with open(filename,mode) as f:
     文件操作

2.4 Fonctionnement du fichier JSON

Json est un format d'échange de données léger. Json est dérivé du langage JavaScript, qui est facile à lire et à écrire pour les humains, et également facile à analyser et à générer par la machine. C'est actuellement le format d'échange de données le plus utilisé.
Json est cross-language et cross-platform, mais il ne peut fonctionner que sur les types de données de base de Python et ne peut rien faire avec les classes Python. Le format JSON est très similaire à un dictionnaire en Python. Cependant, les données json nécessitent des guillemets doubles pour entourer la chaîne et aucune virgule supplémentaire.

2.4.1 Opération d'écriture json

Ecrire le fichier json.dump ()
Ecrire la variable chaîne json.dumps ()

Exemple de code:

'''
JSON文件操作
写操作
json.dump 写入文件中
json.dumps 写入字符串变量
'''
import json
# s = 'json'
# json.dump(s,open('json.txt','w'))
s = json.dumps(["zjk",{'age':18}])
print(s)

2.4.2 Opération de lecture json

Lisez json.load () à partir du fichier et lisez l' exemple
de
code json.loads () à partir de la variable chaîne :

'''
json 文件读操作
json.load() 从文件中读取
json.loads() 从字符串中读取
'''
import json
s=json.load(open("json1.txt",'r'))
print(s)

2.5 Fonctionnement du fichier CSV

Données tabulaires stockées en texte brut (avec une virgule comme séparateur), généralement la première ligne est le nom de la colonne

2.5.1 Opération d'écriture de fichier CSV

import csv
with open("demo.csv", "w", newline="") as datacsv:
#  不设置newline=“”的时候，写入会增加一个空白行
#默认打开的方式是excel表格
csvwriter = csv.writer(datacsv, dialect=("excel"))
csvwriter.writerow(["A", "B", "C", "D"])

2.5.2 Opération de lecture de fichier CSV

mport csv
rf = open('demo.csv','r')
reader = csv.reader(rf)
print(next(reader))
for i in reader:
print(i)

2.6 Fonctionnement du fichier Excel

La différence entre Excel et CSV:

1. Les deux peuvent être ouverts par le programme Excel
2. Excel peut également contenir des graphiques, des styles, etc. en plus du texte.
3. Chaque enregistrement CSV est stocké sous forme de ligne de fichier texte et chaque nouvelle ligne représente un nouvel enregistrement de données

2.6.1 Opération de lecture de fichier Excel

import xlrd
book = xlrd.open_workbook('1.xls')
sheet = book.sheet_by_index(0) # 获取第一个sheet
print(sheet.nrows) # 获取行数
print(sheet.cell(1,1)) # 获取单元格的值，根据行列
print(sheet.row(1)) # 获取第一行
print(sheet.row_values(1,1)) # 获取第一行，跳过第一列

2.6.1 Opération d'écriture de fichier Excel

import xlwt
wbook = xlwt.Workbook()
wsheet = wbook.add_sheet('sheet1')
wsheet.write(0, 0, label = 'Row 0, Column 0')
wsheet.write(0, 1, label = 'Row 0, Column 1')
wbook.save('output.xls')