安利一下 一个叫 gnu parallel 的神器

2016-07-31 13:54:24 +08:00
 uyhyygyug1234
搜了一下，发现分享的不多啊。安利一下。

先黑一下~~哈哈
两核的 cpu


四核的


16 核的


并行效果：

grep 一个大文件，速度提高了 20 倍

详细请看 ： http://www.jianshu.com/p/c5a2369fa613
2819 次点击
所在节点    分享发现
16 条回复
pathbox
2016-07-31 14:04:57 +08:00
运维 用这个还是挺好的
uyhyygyug1234
2016-07-31 14:07:44 +08:00
@pathbox 运维这种工具多，什么 fabric ， ansible 之类的。都并行的。
cuebyte
2016-07-31 14:09:30 +08:00
cool, despite it's a nagware. lol
ivmm
2016-07-31 14:17:43 +08:00
我还以为和 PD 有什么关联。
fcicq
2016-07-31 14:25:08 +08:00
time 的统计方法有问题, user cpu time 的计数不对. 另外这个 grep 应该换成 fgrep.
loading
2016-07-31 15:23:01 +08:00
四核…
h4lt
2016-07-31 15:37:15 +08:00
看了下楼主的这几篇文章，都挺不错呢。感谢。
uyhyygyug1234
2016-07-31 15:39:41 +08:00
@fcicq fgrep 的确在这个例子里要快点，因为就是找个子串
vibbow
2016-07-31 15:46:00 +08:00
四核的为什么会有 CPU4 混进来...
uyhyygyug1234
2016-07-31 15:59:55 +08:00
@vibbow 不要在意这些细节，哈哈。
@loading
pH
2016-07-31 16:11:48 +08:00
@vibbow 这个亮点确实 666 啊
9hills
2016-07-31 17:26:35 +08:00
parallel 确实是运维神器，而且参数爆多功能十分强大
dudesun
2016-08-01 11:10:12 +08:00
其实就是 perl 写的 map reduce
uyhyygyug1234
2016-08-01 12:22:42 +08:00
@dudesun 是啊
21grams
2016-08-01 13:02:37 +08:00
perl 写的？ 有 python 版吗？
uyhyygyug1234
2016-08-01 13:39:30 +08:00
@21grams 木有，就是个工具，其实用啥写的无所谓，感觉重写一遍工作量不小啊

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/296129

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX