前言
数据分析中离不开数据,而数据来源包括自身平台的数据流、项目中的日志文件、必要的数据爬取、扫街摆展数据、当然还有一些第三方数据(如车险数据)。
平台数据和日志数据可在项目开发阶段严格按需同步至数据库,除此之外的数据都必须根据要求对数据进行清洗和预处理才能进一步分类同步至数据库中。
此博文举例介绍了SQLyog批量导入csv文件,并解决其中中文乱码问题。
准备工作
- 确保数据库中表的字段与字段类型与即将导入的数据字段相匹配
- 确定数据库字符集和导入文件的字符集,确保一致性才能解决乱码问题
- 此处新建了数据库和表与数据源相匹配(实际工作中首次试验请使用test数据库,确认无误后再同步至后台数据库)
- csv文件可用记事本打开后另存为utf8格式。再导入,以确保与数据库读取文件的字符集一致,见下图
连接数据库、选择数据库、创建表,导入csv文件
CREATE TABLE test1 (
id TINYINT UNSIGNED NOT NULL,
NAME VARCHAR(20),
score DECIMAL(3,1)NOT NULL,
phonenum VARCHAR(13),
class VARCHAR(7)
)CHARACTER SET utf8;
*csv文件路径根据自己存放位置而定*
LOAD DATA INFILE "D:\test_table.csv"
INTO TABLE test1 CHARACTER SET utf8
FIELDS TERMINATED BY ","
LINES TERMINATED BY "\n";