MySQL批量插入效率优化手记

版权声明:欢迎转载,请保留出处。 https://blog.csdn.net/shellching/article/details/84029711

在用C++写一段mysql入库代码时,用的connector/c++,使用了PreparedStatement方式单条insert,然后整个插入操作放在事务中,大致如下:

begintrans

PreparedStatement

for(要插入的数据集)

{

setInt、setString等填充参数

excute()

}

commit

结果发现效率太低,在一台破虚拟机上每秒不到200条

后来改成多值insert,一次插入1000条,性能提升立刻显现,达到2000多。继续寻找最佳条数,最后使用单次insert5000条,插入35万条耗时63秒。但是,多值insert不方便使用PreparedStatement,之前之所以没采用这种高效的方式,是考虑到参数中存在特殊字符会导致语句执行失败,另外还有二进制字段问题。

因为connector并没有提供相关函数,所以两种方案,一是自己实现,写两个函数,

一个处理字符串函数,将需要转义的进行转义,这个就需要考虑周全,不能存在漏网之鱼

一个将字节数组转为十六进制字符串,应该容易实现

后来查了mysqlAPI中其实已经有相关函数定义,在mysql.h中,方案二,使用mysqlAPI

https://dev.mysql.com/doc/dev/mysql-server/8.0.1/include_2mysql_8h.html

unsigned long STDCALL mysql_real_escape_string(MYSQL *mysql, char *to,const char *from,   unsigned long length);

unsigned long STDCALL mysql_hex_string(char *to,const char *from, unsigned long from_length);

具体可以参考官方文档,下面是转载一篇mysqlAPI的基本使用

下文转自:https://www.cnblogs.com/fnlingnzb-learner/p/5829556.html

C++使用Mysql的详细步骤及各个常用方法的代码演示:select,insert,update,delete

这几天一直在学习C++下使用Mysql的方法及其中各种的问题,也看了很多Mysql的API函数,当然自己看的还是很基础的。其实对于每种数据库的操作,基本的方法都是非常类似的,大多都是connect,select,update,delete以及insert这几个操作。接下来我就将这几个步骤以代码的方式展现给大家,相信应该能对大家对mysql的编程起到一个基础模板的作用,方便大家以后对mysql数据库的了解和学习。

1.mysql的初始化initConnection:

1)mysql_init():初始化数据库

2)mysql_real_connect()(不推荐用Mysql_connect()):连接数据库

详细代码如下:

复制代码

 1 bool dataBase::initConnection() {
 2     try {
 3         if (mysql_init(&m_sqlCon) == NULL) {
 4             std::cout << "初始化数据库失败" << std::endl;
 5             return false;
 6         }
 7         // localhost:服务器 root为账号密码 test为数据库名 3306为端口    
 8         if (!mysql_real_connect(&m_sqlCon, host, user, pass,databaseName, port, NULL, 0))
 9         {
10             std::cout << "数据库连接失败" << std::endl;
11             return false;
12         }
13         std::cout << "数据库连接成功" << std::endl;
14         return true;
15     }
16     catch (...)
17     {
18         std::cout << "出错啦" << std::endl;
19         return false;
20     }
21 }

复制代码

2.mysql的查询select:

1)mysql_query():进行查询语句

2)mysql_store_result():获得查询结果

3)mysql_fetch_field()以及mysql_fetch_row():获得结果集中的内容

4)mysql_free_result()

代码如下:

复制代码

 1 void dataBase::user_query() {
 2     if (mysql_query(&m_sqlCon, "select * from user")) {
 3         std::cout << "查询失败" << std::endl;
 4         return;
 5     }
 6     std::cout << "查询成功" << std::endl;
 7     MYSQL_RES *result;
 8     result = mysql_store_result(&m_sqlCon);
 9     if (result) {
10         int row_num,col_num;
11         row_num = mysql_num_rows(result);
12         col_num = mysql_num_fields(result);
13         std::cout << "共有" << row_num << "条数据,以下为其详细内容:" << std::endl;
14         MYSQL_FIELD *fd;
15         while (fd = mysql_fetch_field(result)) {
16             std::cout << fd->name << "\t";
17         }
18         std::cout << std::endl;
19         MYSQL_ROW sql_row;
20         while (sql_row = mysql_fetch_row(result)) {
21             for (int i = 0; i < col_num; i++) {
22                 if (sql_row[i] == NULL) std::cout << "NULL\t";
23                 else std::cout << sql_row[i] << "\t";
24             }
25             std::cout << std::endl;
26         }
27     }
28     if(result!=NULL)
29     mysql_free_result(result);
30 
31 }

复制代码

3.mysql的插入语句insert:

1)mysql_query()通过select判断是否已经存在(可以省略)

2)通过mysql_query()进行插入

代码如下:

复制代码

 1 void dataBase::user_insert(UserBody &body) {
 2     char select_user[255];
 3     char query[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", body.userName);
 6     if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "插入查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result)) {
11         std::cout << "用户已存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "insert into user(UserName,UserPass,ConnectionNum,UseFor) values('%s','%s',%d,%d)", body.userName, body.userPass, body.connection, body.type);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "插入数据失败" << std::endl;
19         return;
20     }
21     std::cout << "插入数据成功,共插入:" <<mysql_affected_rows(&m_sqlCon)<<"行" << std::endl;
22 }

复制代码

4.mysql的修改语句update

修改与添加的步骤类似,直接贴出代码就不做赘述了。

代码如下:

复制代码

 1 void dataBase::user_update(UserBody &body) {
 2     char query[255];
 3     char select_user[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", body.userName);
 6     if (mysql_query(&m_sqlCon, select_user) || !(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "修改查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result) == 0) {
11         std::cout << "要修改的用户不存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "update user set UserPass='%s',ConnectionNum=%d,UseFor=%d where UserName='%s'", body.userPass, body.connection, body.type, body.userName);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "修改失败" << std::endl;
19         return;
20     }
21     std::cout << "修改成功,共修改:" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }

复制代码

5.mysql的删除操作delete

其实删除、修改和插入操作都是类似的,会其中一个其他应该都差不多了,我也就直接贴出代码了。

代码如下:

复制代码

 1 void dataBase::user_delete(char *userName) {
 2     char query[255];
 3     char select_user[255];
 4     MYSQL_RES *result;
 5     sprintf(select_user, "select * from user where UserName='%s'", userName);
 6     if (mysql_query(&m_sqlCon, select_user)||!(result = mysql_store_result(&m_sqlCon))) {
 7         std::cout << "删除查询失败" << std::endl;
 8         return;
 9     }
10     if (mysql_num_rows(result)==0) {
11         std::cout << "要删除的用户不存在" << std::endl;
12         mysql_free_result(result);
13         return;
14     }
15     mysql_free_result(result);
16     sprintf(query, "delete from user where UserName='%s'", userName);
17     if (mysql_query(&m_sqlCon, query)) {
18         std::cout << "删除失败" << std::endl;
19         return;
20     }
21     std::cout << "删除成功,共删除:" << mysql_affected_rows(&m_sqlCon) << "行" << std::endl;
22 }

复制代码

以上算是对Mysql中常用的一些代码的总结,有什么不完善的希望大家能够提出来,也希望这个能在平时帮到大家,起到一个模板的作用,也能方便大家对mysql的学习。我也属于一个learner,也希望能和大家在平时中相互学习。

猜你喜欢

转载自blog.csdn.net/shellching/article/details/84029711