对于大文本文件的压缩，bz2/lzma这些怎么用？太慢了

[andybest]

一个15G的dump log文件，压缩了半个小时后，我一看压缩文件才69m。。。立即kill换gzip压缩了。。。

大的文本文件压缩，有什么好办法没？

[phuslu]

snappy

[felix021]

试试lz4或者lzo，超快。

p.s. lzo是os x mavericks用来压缩内存的（减少对swap的需要）。

[andybest]

@felix021 @phuslu 非常感谢，我对比了一下：

lz4 - Extremely Fast Compression algorithm
snappy - A fast compressor/decompressor
LZO real-time data compression library

Name Ratio C.speed D.speed
MB/s MB/s
LZ4 (r101) 2.084 422 1820
LZO 2.06 2.106 414 600
QuickLZ 1.5.1b6 2.237 373 420
Snappy 1.1.0 2.091 323 1070
LZF 2.077 270 570
zlib 1.2.8 -1 2.730 65 280
LZ4 HC (r101) 2.720 25 2080
zlib 1.2.8 -6 3.099 21 300


lz4无论是在压缩比和读写速率上都完爆 snappy 与 lzo，这是不是说明lz4是最好的选择了？

[felix021]

@andybest 貌似lz4的压缩比是更小吧（我也不是非常确定）

[timonwong]

@andybest
lz4 主要靠牺牲内存换取高速，如果需要一个占用CPU、内存资源都不大的压缩算法，用lzo，否则可以考虑用lz4

[batfree]

楼主不应该Kill啊，输出结果是69M不等于压缩的慢， 这种LOG全是重复信息,15G全压缩甚至了不过几十M。 我这儿经常会出现几M的压缩包解压缩之后好几个G的。

[clino]

为什么不试试 7zip ?
要快的话可以调一下参数不要压缩得那么厉害.
7z 用来压大文件应该算是久经考验的了