大家都是怎么做批量查询的

2019-12-21 10:31:11 +08:00
 jie170601
最近做了个东西感觉很不舒服,特来取经。
数据库为 sqlserver,
要根据 3,4 千左右 id 批量查询数据库,
一开始用循环一个一个 id 查,效率慢的一逼,
后面用 in 查,速度提升肉眼可见,
但是遇到了 sqlserver 参数个数限制的问题,
一直没解决,后面只能每 2 千个分批 in 一次,
虽然能用但总感觉有更好的办法。
6332 次点击
所在节点    Java
24 条回复
orzorzorzorz
2019-12-21 11:03:13 +08:00
建张临时表,把 id 插进去查完丢?
w292614191
2019-12-21 11:28:46 +08:00
@orzorzorzorz 限制了参数个数啊,插到临时表 ???
arthas2234
2019-12-21 11:34:29 +08:00
@w292614191 #2 关联查询
w292614191
2019-12-21 11:36:17 +08:00
@arthas2234 先把 id 循环插入到临时表,然后在关联查询的意思吗?

那还不如直接循环查询数据,还要绕一圈。
yuanchao
2019-12-21 11:45:11 +08:00
看具体场景,如果读比写多,那么考虑预热到缓存,批量查询的时候直接从缓存取
sazima
2019-12-21 12:10:28 +08:00
select * from table where id in (....2000) or id in (.......) or id in (...)
sazima
2019-12-21 12:11:44 +08:00
随便想的, 没试过
eason1874
2019-12-21 12:11:59 +08:00
要么调大 SQL 限制,要么分批查询。


没有更好的方法,除非 ID 连续,那可以用比较条件。
QUIOA
2019-12-21 12:34:15 +08:00
你看看那些玩社工库的,,70E5 秒
Sor
2019-12-21 13:35:52 +08:00
@QUIOA 玩渗透社工的 脑回路是真的奇特,奇淫巧技学不来
love
2019-12-21 13:52:31 +08:00
你这个按 ID 分批来本身就是标准做法
uyhyygyug1234
2019-12-21 14:00:18 +08:00
@QUIOA
@Sor

这是啥技巧
ryuzaki113
2019-12-21 14:15:30 +08:00
根据 ID 来的话 不如 union all ?
h123123h
2019-12-21 14:17:45 +08:00
为什么不用缓存~
jugelizi
2019-12-21 14:21:49 +08:00
实时性要求不高进缓存了 sql 亚历山大
silentstorm
2019-12-21 14:42:48 +08:00
@w292614191
不一样的,多次查询大部分时间都消耗在数据库连接上面了
jie170601
2019-12-21 17:20:30 +08:00
@yuanchao
@jugelizi

内存够,实时性要求不高,缓存是个挺好的方法。
jie170601
2019-12-21 17:22:21 +08:00
@silentstorm
@orzorzorzorz

看到很多资料也说用临时表,可是没理解,插入数据也要循环连接数据库。
Takamine
2019-12-21 17:24:14 +08:00
@sazima 一个 select *估计 能让我绩效清零。:doge:
forgottencoast
2019-12-21 17:45:16 +08:00
你这个 id 从哪里来的呀?
临时表可以用表变量来代替。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/631003

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX