Java 读取数据库里有 50w 条网络图片记录然后下载到本地

[qwer666df]

求效率最快的思路

[someonedeng]

按批次 select 出来塞线程池跑就好了

[lmshl]

1. 选一个 reactive stream 库（比如 akka-stream ）
2. 数据源（例如 jdbc ）包装为 stream source （一般 reactive stream 已经有包装好的）
3. 在 mapAsync(parallelism = <根据你的网络与综合性能设定的并行度>) 中实现你的 http download （推荐 akka-http ） 逻辑
4. 把它润起来

优点是不需要管理线程池，全程异步，如果网速不快的话，那 CPU 会很低。如果网速足够快，CPU 也不会浪费在无意义的上下文切换

[java253738191]

datax+udf

[qwer666df]

@lmshl 这个好像很高级的样子我=看看

@someonedeng 目前先这么弄了..感觉很低级就是说

[someonedeng]

@qwer666df 50 万行又不多，随便搞搞就好了

[letitbesqzr]

50 多万 就别折腾了... 那些复杂的流程写完以后.. 开多线程都已经下完了

[yuuyoo]

导入迅雷批量下载