单表三千万数据分页优化方案

[Aluhao]

直接用变通的查询方式，查询时间高的吓人，因为有些数据查询是不连贯的，不能用大于多少或等于多少来查询；
[sql] => SELECT * FROM `article_comments` ORDER BY id DESC LIMIT 199980, 20;
[time] => 0.438656
[sql] => SELECT * FROM `article_comments` ORDER BY id DESC LIMIT 1999980, 20;
[time] => 26.835051
[sql] => SELECT * FROM `article_comments` ORDER BY id DESC LIMIT 19999980, 20;
[time] => 31.343988
[sql] => SELECT * FROM `article_comments` ORDER BY id DESC LIMIT 29999980, 20;
[time] => 32.138655

现在的做法是通过先查询取出 id
SELECT id FROM `article_comments` LIMIT 19999980, 20;

然后用 id 去取数据
SELECT * FROM `article_comments` WHERE id IN('1','2'....);
虽然这样优化了很多，但是也不是很理想，如果取的 ID 间隔大，也会进行全表扫描；
看 V2 能人很多，不知道还有没更优化的方法？

[af463419014]

数据库查询规范第一条 : 绝对不允许使用 select *

[yzongyue]

在实际的项目中会有这种需求么
> SELECT id FROM `article_comments` LIMIT 19999980, 20;
连个 where article_id = xxx 都没有

[Aluhao]

@yzongyue 上面只是一个显示所有留言的列表，等同于留言管理吧，加判断也是有需求的；

[cxh116]

改分页查询条件吧, limit offset 几十万,能不慢.
用当前页最大评价 id ,下一页查询大于此 id 即可.

https://juejin.im/entry/5865c81fac502e006d5e72de

[Aluhao]

@cxh116 这方法不适用有些场景的，如，需要查询用户回复的留言，这个留言 ID 非顺序的，很乱的，在几千万条数据中断断的出现几千条；

[w0000]

@Aluhao 这个 id 是建了索引的么，这么慢吗

[Aluhao]

@w0000 肯定建了索引了，因为数据太多了，单表三千多万，如果只是几十万就很快。

[XiaoFaye]

论一定时间后关闭评论的重要性

[nullcc]

采用 limit offset 这种方式，如果表数据量一大就会坑爹，如果索引没建好，一个很大的 offset 需要让数据库先扫描前面的很多数据，到后期效率和全表扫描也没什么区别了。
你可以考虑在 article_comments 的创建日期上创建聚集索引，文章评论满足“既不能绝大多数都相同，又不能只有极少数相同”的条件，比较适合在这种列上创建聚集索引。查询的时候可以根据日期先做筛选，然后再跟上你的其他查询条件。

[Aluhao]

@XiaoFaye 这个不太好吧

[nullcc]

补充下，文章评论的创建日期满足“既不能绝大多数都相同，又不能只有极少数相同”的条件，上面笔误。

[Sunshow]

把翻页都通过 id > 的条件转换成取第一页的请求

[sujin190]

大量数据要翻页一般不使用页码，而是使用游标，游标那么久可以包含很多信息了，当前页码，翻页方向，当前 id 值，每页条数等等，使用的方式 where id>last_id offset per_page_count，这样就可以充分使用索引来翻页了

[Immortal]

@Aluhao 上面说的根据 id 大于的方式查询 我想了下没问题吧 虽然是断断续续的 limit 后数量还是准确的吧?

[daimazha]

@Immortal #14 没问题， 而且这么多数据 可以考虑分表了。

[vipvideoshare]

试试给 id 加反向 index
```
CREATE INDEX id_desc_index ON article_comments (id DESC)
```

[Immortal]

@daimazha 是的 如果用户 id 顺序 可以直接取模分表 也简单的

[zhaopengme]

肯定是根据业务场景来优化了,单纯的用 sql 么有意义.
eg.
1. 比如把数据分为常用数据和历史数据
2. 比如做数据统计,增加中间表
3. 数据快速处理,使用数据库编程,游标很有效率
等等等,具体问题具体对象.

[gouchaoer]

select * 没有问题，limit 那种写法不可以，你需要这样给 article_comments 弄个自增的 int 健，然后 select * frome table where id_inc > 10000 and id_inc<10100;

[suconghou]

ID 加索引了吧,可以这样 分两次查询 select id from mytable order by id limit 13456901,1; 先查出分页的首页的 ID

得到 ID x

然后 select * from mytable order by id where id > x limit 10;
得到数据.

由于 ID 有索引,整体时间就在于第一条 SQL 的时间. 性能能提升 2-3 倍.