[es]数据分页方案

[Gorgine]

a 、b 两个 index 是两种类型消息的索引 一个是直播间老师发的 一个是直播间学员发的 现在合并在一起 取了一个别名 c 这样我在查询的时候可以通过 c 查到所有消息 但是 a 和 b 的_id 可能会存在重复。。

现在遇到的问题是：分页数据重复问题 因为消息发得比较快 所以当翻页到第二页的时候 可能会出现已经出现过在第一页的数据

首先想到的是通过_id 定位分页 就是拿上一页最大的_id 去查第二页的数据 但是：a 和 b 的_id 可能会重复（_id 不是自动生成的，mysql 表的 id 拉过来的），所以 pass ，，

第二种方案是：通过一个固定的消息时间去搜索总数据 这样不会出现第二页出现第一页的数据的情况了 但是不太符合前端的场景

类似于 APP 端的那种直播间 最新消息在最下面 要看历史消息要往上翻页 这种方案对于往上翻是满足的

但前端做了轮训的功能 相当于要提供一个接口 返回增量消息 这种方案传一个固定时间点的话 返回的将是比这个时间点新的累计的消息 这样不行 如果是传当前页的最大消息时间来获取增量消息 又会出现数据重复问题（可能会出现上一页的消息 时间点重复的话）

SO 如何解决 求助 V 友

[loveyu]

一次性把 id 全部查出来缓存，然后分页，第二页走缓存

[HackerJax]

搜索 es 游标查询

[Gorgine]

@HackerJax 这个看过 领导说 场景不适合 scroll 的话时间可能得设置很久 比较浪费资源吧

[Gorgine]

好不容易知道还有种分页叫 search after 可以解决翻页数据重复的问题 结果后来知道_id 可能是重的。。

[Gorgine]

反正要解决两个问题 一个是翻页消息不能重 另一个是方便拉取新 /增量消息

[crysislinux]

前端自己过滤掉重复的就好了，取的时候多取几条。像推荐之类的也是这样防止重复的

[reter]

search after 也可以啊.
确定一条消息的唯一性可用的属性有：发送时间，消息 ID ，消息来源。只要 "消息 ID"+"消息来源" 的组合你如果能保证唯一性就可以。

然后用 search after 搜索，排序用这三个字段，就能保证不重复获取

[Gorgine]

@reter 我试了好像不行 时间一样的话 search after 下一页的时候就跳过了时间一样的数据了

[Gorgine]

@Gorgine search after 加其他字段组合

[Gorgine]

@reter 好像可以

[Gorgine]

@reter 第一页传啥呀 dsl search after 里面

[THESDZ]

@Gorgine #11 排好序，传空就行

[Gorgine]

@THESDZ @reter 感谢