现在使用了线程池创建, 不过速度还是很慢
This topic created in 3140 days ago, the information mentioned may be changed or developed.
Supplement 1 · Aug 12, 2018
这两天刚好需要删除这 300 万(其实我只生成了 200 万不到)文件, 发现 Windows 的删除太慢了, 不管是 bat 脚本, WSL 子系统, 删除保守估计需要几个小时(没统计, 开了一天的后台脚本), 所以最后的建议是 RAMDisk, 关机就删除.
 |
BQsummerMar 30, 2018 via Android
1
换电脑，cpu 核心不够，线程再多也没用，反而慢。
|
 |
zj299792458Mar 30, 2018 via iPhone
2
@BQsummer 这瓶颈在于 IO 了吧，CPU 过剩了
|
 |
rb6221Mar 30, 2018 via Android
3
无限平方 复制粘贴大法？
|
 |
liucudliucudMar 30, 2018 via Android
4
搭建一个 hadoop 集群
|
 |
lhx2008Mar 30, 2018 via Android
5
nodejs npm 几下就有几百万个文件了（滑稽）
|
 |
6
@lhx2008 #5 黑的漂亮
|
|
7
|
|
8
@zj299792458 #2 我感觉是, 但是找不到什么好办法
|
 |
dobeleeMar 30, 2018 via Android
9
touch 三百万应该很快吧。
你发帖的时间应该 touch 完了。😂 |
|
10
@dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
|
 |
v2gbaMar 30, 2018
11
dd & split
|
 |
bingodMar 31, 2018
12
创建一个 300 万条数据的文件，然后分成 100 个字典（或更多），再将每个字典里的文字保存成 30 万个包含单条数据的文件，可以用多线程。
|
|
bingodMar 31, 2018
13
写错了，应该是 3 万条，主要的问题是文件系统比较慢
|
 |
STRRLMar 31, 2018 via Android
14
估计是磁盘跟不上，试试 ramdisk
|
|
15
@STRRL #14 这个想法可以有, 谢谢
|
Select Language