pigz - Parallel Implementation of GZip

2020-10-29 01:59:21 +08:00
 Livid

一个可以利用多核心 CPU 来加速压缩的 gzip 实现:

https://zlib.net/pigz/

Ubuntu 下可以直接 apt install pigz 安装。

和原始单核 gzip 的性能对比:

https://rachaellappan.github.io/pigz/

2599 次点击
所在节点    Linux
6 条回复
lcdtyph
2020-10-29 02:18:58 +08:00
一直在用,还有其他格式的几个
pixz 并行版的 xz
pbzip2 并行版的 bzip2

和 tar 联动的话可以这样
tar -Ipigz -xf xxx.tar.gz
yyfearth
2020-10-29 06:40:38 +08:00
@lcdtyph xz 不支持 multi-core 吗?
我记得 xz 本来就有--thread 参数啊
AlohaV2
2020-10-29 08:45:55 +08:00
之前试过解压速度和压缩比,zstd 在性价比上是测过最高的,也有 pzstd 库支持并发。
https://github.com/facebook/zstd/tree/dev/contrib/pzstd
lcdtyph
2020-10-29 10:07:27 +08:00
@yyfearth
没,虽然提供了--threads 选项,但是 manpages 里有一句"Multithreaded compression and decompression are not implemented yet,
so this option has no effect for now."
AlohaV2
2020-10-29 14:09:42 +08:00
@lcdtyph @yyfearth
7-zip 的 LZMA SDK 支持 xz 多线程解压,不过好像只有 Windows 平台可以。我之前还改过,加了下 Linux 的支持
https://unique-ptr.com/archives/92.html
不过后来一顿搜索之后,还是决定转投 zstd 了
ericFork
2020-10-30 03:18:52 +08:00
两年前测了一大圈,考虑到很多场景下解压速度更重要,zstd 无出其右

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/719630

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX