如何正确处理大批量数据的业务

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 652 天前的主题，其中的信息可能已经有所发展或是发生改变。

Hello, all!

数据库中有一大批待处理的数据，可能有百万量级，还会增长。希望定义一个接口，请求之后查询并处理好这些数据。处理的逻辑可能涉及 RPC 之类耗时较长的代码。因此，我使用异步代码处理。伪代码如下：

// 1.查询数据库
List<Biz> bizs = queryDB();
// 2.分批次
List<List<Biz>> bizLists = Lists.partition(bizs, 1000);
// 3.异步处理 list
bizLists.forEach(list -> listAsyncService.handle(list));
// 4.listAsyncService#handle 也是异步处理
list.forEach(biz -> asyncService.handle(biz));

请教一下，上述代码是否合理。在数据量很大的情况下，如何避免步骤 1 出现 OOM 。

11 条回复 • 2023-02-09 11:09:02 +08:00

tairan2006

2023-02-09 09:21:52 +08:00

你这个应该用 rabbitmq 之类的做异步，长时间运行的流程靠开线程异步不靠谱，除非调用方能容忍失败。

如果害怕第一步 OOM ，那你直接在第一步分页查数据库不就完了…

ak1ak

2023-02-09 09:25:09 +08:00

在主键为 id 的情况下，每次查询记录 min(id)，并针对 min(id) 分页只处理部份数据，如 10000 条。SQL 这样写:

```sql
select * from tb_biz where id > (select min(id) from tb_biz where 查询条件) and 查询条件 limit 10000
```

这样的话，就需要多请求几次接口。

ak1ak

2023-02-09 09:29:16 +08:00

@tairan2006 这个业务的场景是处理一些历史数据，接口是提供给内部人员调用的。希望尽可能一次性处理比较多的数据，调用者不乐意传分页参数，只希望分页逻辑在后台做掉。