数据清洗之 数据库文件读写

数据库文件读写

• 使用sqlalchemy建立连接
• 需要知道数据库的相关参数，如数据库IP地址、用户名和密码等
• 通过pandas种read_sql 函数读入，读取完以后是dataframe格式
• 通过dataframe的to_sql方法保存

数据库连接

• conn = create_engine(‘mysql+pymysql://user:password@IP:3306/db’)
  • user: 用户名
  • password: 密码
  • IP: 服务器IP，本地电脑用localhost
  • 3306: 默认端口号
  • db: 数据库名称

import pandas as pd
import pymysql
from sqlalchemy import create_engine

conn = create_engine('mysql+pymysql://root:root@localhost:3306/data_test')

# 读取数据库内容
sql = 'select * from qidianreader'
df1 = pd.read_sql(sql, con=conn)

df1.head(5)

	id	title	href	author	infos
0	1	庆帝番外	https://book.qidian.com/info/1017372661	祝家大郎	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
1	2	宋北云	https://book.qidian.com/info/1018027097	伴读小牧童	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
2	3	美漫之超人	https://book.qidian.com/info/1018978566	白蘸糖	星海漫游，时空穿梭，机械科技，目标是未知的星辰大海！
3	4	李朝万古一逆贼	https://book.qidian.com/info/1015407245	秽多非人	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
4	5	废土修真的日常	https://book.qidian.com/info/1016234812	枯玄	热血的少年，为打破次元壁一往无前！

def query(table):
    host = 'localhost'
    user = 'root'
    password = 'root'
    database = 'db_qidian'
    port = 3306
    conn = create_engine('mysql+pymysql://{}:{}@{}:{}/{}'.format(user, password, host, port, database))
    sql = 'select * from ' + table
    result = pd.read_sql(sql, con=conn)
    return result

df2 = query('qidianreader')

df2.head(10)

	id	title	href	author	infos
0	1	庆帝番外	https://book.qidian.com/info/1017372661	祝家大郎	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
1	2	宋北云	https://book.qidian.com/info/1018027097	伴读小牧童	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
2	3	美漫之超人	https://book.qidian.com/info/1018978566	白蘸糖	星海漫游，时空穿梭，机械科技，目标是未知的星辰大海！
3	4	李朝万古一逆贼	https://book.qidian.com/info/1015407245	秽多非人	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
4	5	废土修真的日常	https://book.qidian.com/info/1016234812	枯玄	热血的少年，为打破次元壁一往无前！
5	6	重生写推理小说	https://book.qidian.com/info/1016350338	别人家的小猫咪	重生过去、畅想未来、梦幻现实，再塑传奇人生！
6	7	日本战国走一遭	https://book.qidian.com/info/1012757932	秽多非人	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！
7	8	西游里会穿越的猴	https://book.qidian.com/info/1018166616	妖怪的影子	修仙觅长生，热血任逍遥，踏莲曳波涤剑骨，凭虚御风塑圣魂！
8	9	我一不小心就僵了	https://book.qidian.com/info/1018205919	巫九	考古探险、鉴宝收藏，侦探推理、诡秘分析，戏说传承古今中外的民间悬疑文化！
9	10	我真是大昏君	https://book.qidian.com/info/1017587444	样样稀松	醒掌天下权，醉卧美人膝，五千年风华烟雨，是非成败转头空！

import os
os.getcwd()

'D:\\Jupyter\\notebook\\Python数据清洗实战\\数据清洗之文件读写'

os.chdir('D:\\Jupyter\\notebook\\Python数据清洗实战\\数据')

df = pd.read_csv('baby_trade_history.csv')

try:
    df.to_sql('testdf', con=conn, index=False, if_exists='replace')
except:
    print('error')