python数据清洗学习笔记–文件读写
前期准备：
#导入os模块
import os
#获得当前路径地址
os.getcwd()
# 更改文件路劲
os.chdir('F:\python\数据清洗\代码和数据')
#设置最大显示列数
pd.set_option('display.max_columns', 20)
#设置最大显示行数
pd.set_option('display.max_rows', 50)
csv文件读写
• pandas内置了10多种数据源读取函数,常见的就是CSV和EXCEL
• 使用read_csv方法读取，结果为dataframe格式
• 在读取csv文件时，文件名称尽量是英文
• 参数较多，可以自行控制，但很多时候用默认参数
• 读取csv时，注意编码，常用编码为utf-8、gbk 、gbk2312和gb18030等
• 使用to_csv方法快速保存
df = pd.read_csv(‘xxxxxxx.csv’,encoding= ‘gbk’)
df = pd.read_csv(‘xxxxx.csv’,encoding ='gbk’,nrows=10)
df.to_csv(‘df.csv’,index=False)
#读取csv文件信息
a = pd.read_csv('xxxx.csv', encoding='utf-8')
#查看表信息
a.info()
#数值类常用统计值
a.describe()
#查看表前10行信息
a.head(10)
#查看各列非空值数量
a.count()
#仅取读文件的前100行
b = pd.read_csv('xxxx.csv',nrows=100)
#保存数据
b.to_csv('b1.csv',encoding='utf-8',index=False)
excel文件读写
•使用read_excel读取,读取后的结果为dataframe格式
• 读取excel文件和csv文件参数大致一样, 但要考虑工作表sheet页
• 参数较多，可以自行控制，但很多时候用默认参数
• 读取excel时，注意编码，常用编码为utf-8、gbk 、gbk2312和gb18030等
• 使用to_excel快速保存为xlsx格式
df =pd.read_excel(‘meal_order_info.xlsx’, sheet_name = ‘sheet1’)
df = pd.read_excel(‘meal_order_info.xlsx’,encoding = ‘utf-8’,nrows=10)
df.to_excel(‘a1.xlsx’, sheet_name=‘sheet1’,index= False,encoding='utf-8)
#读取excel需要注明具体哪一个工作簿,否则就是第一个工作簿
df1 = pd.read_excel('xxxx.xlsx',encoding ='utf-8',sheet_name = 'detail1')
# sheet_name可以为数字，代表第几个工作簿
df1 = pd.read_excel('xxxx.xlsx',encoding ='utf-8',sheet_name=0)
#保存数据
df1.to_excel('a1.xlsx',sheet_name='one',index=False)
数据库文件的读写
创建连接，连接MySQL
• 使用sqlalchemy建立连接
• 需要知道数据库的相关参数，如数据库IP地址、用户名和密码等
• 通过pandas中read_sql 函数读入, 读取完以后是dataframe格式
• 通过dataframe的to_sql方法保存
sql = ‘select * from xxxxxx’ #选择数据库中表名称
df1 = pd.read_sql(sql,conn)
df.to_sql(‘testdf’,con = conn, index=False,if_exists= ‘replace’)
#导入相关数据库
import pymysql
from sqlalchemy import create_engine
数据库建立连接参数：
conn=create_engine(‘mysql+pymysql://user:passward@IP:3306/test01’)
• root: 用户名
• passward: 密码
• IP : 服务器IP，本地电脑用localhost
• 3306： 端口号
• test01 : 数据库名称
#建立连接
conn = create_engine('mysql+pymysql://root:******@localhost:3306/xxxxxx')
#取读数据
#选择数据库中的表名
sql = 'select * from xxxxxx'
df2 = pd.read_sql(sql,conn)
#df2是一个DataFrame格式
## 函数
def query(table):
host ='localhost'
user ='root'
password ='****' #这儿的*是指你的数据库连接密码
database ='xxxxxxx' #x为数据库的名称
port = 3306
conn =create_engine("mysql+pymysql://{}:{}@{}:{}/{}".format(user, password,host, port, database))
#SQL语句，可以定制，实现灵活查询
sql ='select * from ' + table #选择数据库中表名称
# 使用pandas的read_sql函数，可以直接将数据存放在dataframe中
results =pd.read_sql(sql,conn)
return results
## 函数
def query(database,table):
host ='localhost'
user ='root'
password = '******'
port = 3306
conn =create_engine("mysql+pymysql://{}:{}@{}:{}/{}".format(user, password,host, port, database))
#SQL语句，可以定制，实现灵活查询
sql ='select * from ' + table #选择数据库中表名称
#使用pandas的read_sql函数，可以直接将数据存放在dataframe中
results =pd.read_sql(sql,conn)
return results
数据保存
df.to_sql(name, con=engine, if_exists=‘replace/append/fail’,index=False)
• name是表名
• con是连接
• if_exists：表如果存在怎么处理。
三个选项 append代表追加, replace代表删除原表，建立新表，fail代表什么都不干
• index=False：不插入索引index
Python是否能将数据写入数据库，很多时候取决于数据库的权限
记录自：python数据清洗实战–Peter老师
