python数据分析-第一讲：工作环境及本地数据文件

1.数据分析工作准备环境

1.1数据分析基本概念

1.用适当的统计分析方法对收集来的大量数据进行分析
2.提取有用信息和形成结论
3.对数据加以详细研究和概况总结
目的:从数据中挖掘规则、验证猜想、进行预测

1.2数据分析的流程

明确目的(提出问题)->准备数据->数据解析->分析数据->获得结论->成果可视化

1.3 为什么要学习数据分析

1.有岗位需要
2.是机器学习的基础
3.数据科学的基础

1.4 环境部署

1.4.1 认识jupyter

1.基于web的在线编辑器
2.可交互式
3…ipynb文件分享（文件后缀）
4.支持markdown

1.4.1.1jupyter的安装

pip install jupyter

1.4.1.2jupyter的启动

通过命令行进入到想要打开的位置，然后输入执行：
jupyter notebook 就可以打开浏览器进行编程

1.4.1.3jupyter的停止

命令行中，按 ctrl+c停止

1.4.2 pycharm社区版

1.集成开发环境
2.下载地址:https://www.jetbrains.com/pycharm/download/#section=windows

2.本地数据的采集与操作

2.1 常用的本地文件格式

1.TXT文件操作
2.JSON文件操作
3.CSV文件操作
4.Excel文件操作

2.2 TXT文件操作

1.打开文件
2.文件操作(读写)
3.关闭文件
示例代码：

'''
# 1.打开文件
file = open(filename,mode)
filename   文件名称
mode 模式（打开文件的模式）
r read 只读
w writer 写入（覆盖式的）
a append 追加
b byte 打开二进制

# 2.文件操作(读写)
2.1 读操作
read      读取全部文件
readline  逐行读取
readlines 返回列表，再遍历数据
2.2 写操作
write
append
# 3.关闭文件
'''
# file = open("1.txt",'r',encoding='utf-8')
#通过open打开文件的方式，当文件不存在时，程序会报错，抛出异常

# print(file.read())
# print(file.readline())
# print(file.readlines())
file = open("1.txt",'w',encoding='utf-8')
file.write('55555')
file.close()
exit()

2.3 with语句(上下文管理器)

包括了异常处理,自动调用文件关闭操作,推荐使用

with open(filename,mode) as f:
     文件操作

2.4 JSON文件操作

Json是一种轻量级的数据交换格式。Json源自JavaScript语言，易于人类的阅读和编写，同时也易于机器解析和生成，是目前应用最广泛的数据交换格式。
Json是跨语言，跨平台的，但只能对Python的基本数据类型做操作，对Python的类就无能为力。JSON格式和Python中的字典非常像。但是，json的数据要求用双引号将字符串引起来，并且不能有多余的逗号。

2.4.1 json 写操作

写入文件 json.dump()
写入字符串变量 json.dumps()

示例代码：

'''
JSON文件操作
写操作
json.dump 写入文件中
json.dumps 写入字符串变量
'''
import json
# s = 'json'
# json.dump(s,open('json.txt','w'))
s = json.dumps(["zjk",{'age':18}])
print(s)

2.4.2 json 读操作

从文件读取 json.load()
从字符串变量读取 json.loads()
代码示例：

'''
json 文件读操作
json.load() 从文件中读取
json.loads() 从字符串中读取
'''
import json
s=json.load(open("json1.txt",'r'))
print(s)

2.5 CSV文件操作

以纯文本形式存储的表格数据(以逗号作为分隔符),通常第一行为列名

2.5.1 CSV文件写操作

import csv
with open("demo.csv", "w", newline="") as datacsv:
#  不设置newline=“”的时候，写入会增加一个空白行
#默认打开的方式是excel表格
csvwriter = csv.writer(datacsv, dialect=("excel"))
csvwriter.writerow(["A", "B", "C", "D"])

2.5.2 CSV文件读操作

mport csv
rf = open('demo.csv','r')
reader = csv.reader(rf)
print(next(reader))
for i in reader:
print(i)

2.6 Excel文件操作

Excel和CSV区别：

1.都可以Excel程序打开
2.Excel除了文本,数据也可以包含图表、样式等
3.CSV每条记录都存储为一行文本文件,每一条新行都表示一个新的数据记录

2.6.1Excel文件读操作

import xlrd
book = xlrd.open_workbook('1.xls')
sheet = book.sheet_by_index(0) # 获取第一个sheet
print(sheet.nrows) # 获取行数
print(sheet.cell(1,1)) # 获取单元格的值，根据行列
print(sheet.row(1)) # 获取第一行
print(sheet.row_values(1,1)) # 获取第一行，跳过第一列

2.6.1Excel文件写操作

import xlwt
wbook = xlwt.Workbook()
wsheet = wbook.add_sheet('sheet1')
wsheet.write(0, 0, label = 'Row 0, Column 0')
wsheet.write(0, 1, label = 'Row 0, Column 1')
wbook.save('output.xls')