怎么高效地把几十万 mysql 数据一次性存入 redis？

[tinzing]

寻求最佳解决办法，

[Ministor]

lastid = first_num;
map = jdbc.query(select * from table where id >${lastId} limit 1000);
put2Redis(map)

[dilu]

几十万数据不算多吧 就不能批量导入嘛？一次一万，估计三四分钟就导完了

[tinzing]

@Ministor 你这个是 java 的吧

[tinzing]

@dilu 现在是一次导入几千条都要一分钟

[Ministor]

@tinzing 你又没说用啥啊

[smallyu]

redis 的吞吐量不是每秒 10 万吗？

[tinzing]

@Ministor 就是 php+mysql+redis

[tinzing]

@smallyu 我也奇怪，我是数据库一次查几千条然后循环存入的，还用了 redis 事务，但就是很慢，

[huntcool001]

开 100 个线程,每个线程读 2000 条数据. 这样来?

0-2000 , 2001-4000 , ...

[sss495088732]

0.0 我怎么记得 redis 是单线程的

[gantleman]

redis 虽然快但 mysql 慢呀
@smallyu

[siys]

数据是什么结构呢

[tinzing]

@siys 就是 key value

[tinzing]

@gantleman 查几千条不慢啊 0.0 几秒就出来了

[HolmLoh]

多线程？一边读一边写？

[siys]

@tinzing redis 有个 mset 批量存啊

[siys]

你循环用 set 插入，搞不好有网络的原因

[DavidNineRoc]

贴你的代码, 你是每一条 lpush 还是 set.
用 redis 管道

[Leigg]

可能是带宽上限了。

[coderwen]

https://redis.io/topics/mass-insert