mysql大数据使用limit分页查询优化

mysql大数据使用limit分页查询优化

优化前

我们一般是由limit做查询时的语句为：

SELECT 
  * 
FROM
  table a 
LIMIT 1000000, 10 ;

当数据库的数量越大，查询数据越往后时候SQL语句执行的数据将会变得越慢。

优化后

优化后的语句为：

SELECT 
  * 
FROM
  table t1 
  RIGHT JOIN 
    (SELECT 
      id 
    FROM
      table 
    LIMIT 1000000, 10) t2 
    ON t1.id = t2.id ;

通过优化后SQL语句查询速度得到大大提升

如果表为主键自增下面优化速度将会更高：

SELECT 
  * 
FROM
  table t1 
WHERE id > 1000000 
LIMIT 10

原理

根据高性能MySQL中关于limit的说明：
limit语句在偏移量巨大时，如select * from table where xxxx=‘xx’ limit 1000000,10;。
对效率的影响主要在于MySQL会查询1,000,010条数据，并取最后10条，抛弃掉前面的1,000,000条。
也就是说，MySQL耗时耗力找到的数据，绝大部分都得废弃！
MySQL查找索引xxxx的二级索引树，然后根据二级索引树上的主键值回表到聚簇索引树上进行扫描数据，为了limit而重复大量无用的IO操作