最近要完成一个从数据库里查询出很多结果的功能
一开始直接都select出来了
被说不大行 select这个操作时间太长了
然后换成了分批查分批插的方案
就涉及到了语句要怎么写
因为用了gorm框架 自带了一个id的主键
所以自然是要用id和step来select出相应结果
但是explain出语句的执行 发现rows很大
理想的状况下应该是和limit后面的数字一样
因为在只使用step限定的时候确实是这样
然后我就开始怀疑这条语句的执行速度
在查了一会之后
我决定用两种不同的语句做对比
一种是用offset限制
SELECT * FROM `task_file_result` WHERE (step = 5) LIMIT 100 OFFSET 100000;
一种是用where限制
SELECT * FROM `task_file_result` WHERE (id > 100000 and step = 5) LIMIT 100;
两种语句都可以做到一样的效果
我先建了一个1000w的表
RDS.CreateTable(TaskFileResult{}) insertList := make([]interface{}, 0) for i := 1; i <= 1000000; i++ { res := "" for j := 1; j <= 10; j++ { res += "x" insertList = append(insertList, TaskFileResult{ TaskID: 1, TaskFileID: uint(i), Step: uint(j), }) } } if err = run.Insert(RDS, insertList, 5000); err != nil { println(err) }
然后补充语句
offset := 100000 limit := 100 chooseStep := 5 RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList) RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList) offset = 500000 RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList) RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList) offset = 1000000 RDS.Table("task_file_result").Where("step = ?", chooseStep).Limit(limit).Offset(offset).Find(&resultList) RDS.Table("task_file_result").Where("id > ? and step = ?", offset, chooseStep).Limit(limit).Find(&resultList)
最后表示用where的结果更优
看来扫了很多row也可能速度很快 可能这个row是因为用了两个字段才增加的