使用 Java 如何快速创建三百万临时文件用于测试, 大小无所谓

2018-03-30 15:43:37 +08:00
 lihongjie0209

现在使用了线程池创建, 不过速度还是很慢

3258 次点击
所在节点    问与答
15 条回复
BQsummer
2018-03-30 18:35:38 +08:00
换电脑，cpu 核心不够，线程再多也没用，反而慢。
zj299792458
2018-03-30 20:39:05 +08:00
@BQsummer 这瓶颈在于 IO 了吧，CPU 过剩了
janus77
2018-03-30 20:41:34 +08:00
无限平方 复制粘贴大法？
liucudliucud
2018-03-30 21:00:09 +08:00
搭建一个 hadoop 集群
lhx2008
2018-03-30 21:05:18 +08:00
nodejs npm 几下就有几百万个文件了（滑稽）
lihongjie0209
2018-03-30 21:45:15 +08:00
@lhx2008 #5 黑的漂亮
lihongjie0209
2018-03-30 21:46:32 +08:00
![]( http://liimg.oss-cn-shenzhen.aliyuncs.com/18-3-30/51963362.jpg)
cpu 应该够了
lihongjie0209
2018-03-30 21:46:52 +08:00
@zj299792458 #2 我感觉是, 但是找不到什么好办法
dobelee
2018-03-30 21:49:15 +08:00
touch 三百万应该很快吧。
你发帖的时间应该 touch 完了。😂
lihongjie0209
2018-03-30 21:55:11 +08:00
@dobelee #9 光 for 循环 300 万次就需要很久了, 别说 io 操作了
MrGba2z
2018-03-30 22:59:33 +08:00
dd & split
bingod
2018-03-31 13:37:20 +08:00
创建一个 300 万条数据的文件，然后分成 100 个字典（或更多），再将每个字典里的文字保存成 30 万个包含单条数据的文件，可以用多线程。
bingod
2018-03-31 13:38:42 +08:00
写错了，应该是 3 万条，主要的问题是文件系统比较慢
STRRL
2018-03-31 13:49:11 +08:00
估计是磁盘跟不上，试试 ramdisk
lihongjie0209
2018-03-31 14:02:13 +08:00
@STRRL #14 这个想法可以有, 谢谢

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/442883

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX