tar 打包慢应该从那查问题

2022-01-10 12:13:21 +08:00
 cncmmdwl

电脑是 i9-10900k ssd 是 satassd 内存 128g 使用 7z 的 tar 打包 速度只有 24mb/s 打包的文件大多数在 50mb 左右 这里面是什么导致了压缩速度瓶颈?

2979 次点击
所在节点    程序员
18 条回复
momocraft
2022-01-10 12:17:10 +08:00
如果有压缩 大概率是压缩慢
可以试试 tar c ITEMS | pv > /dev/null 有多快
liuidetmks
2022-01-10 12:18:54 +08:00
是不是文件太小 太多?
2i2Re2PLMaDnghL
2022-01-10 12:19:05 +08:00
@momocraft tar 没有压缩的
villivateur
2022-01-10 12:47:15 +08:00
大概率是磁盘 io 瓶颈了,其他配置都不差
ReysC
2022-01-10 12:59:40 +08:00
检查 SSD 的状态,可能 SSD 本身出问题
zhangjinghua
2022-01-10 13:05:12 +08:00
肯定是先看一下资源管理器,那个东西占满了。如果还找不到,那就尝试用别的软件进行压缩测试排除软件问题,最后看一下压缩算法,或者核心数占用问题。检查硬盘 IO/内存带宽和速度。
2i2Re2PLMaDnghL
2022-01-10 13:08:09 +08:00
先过一个 CrystalDiskMark 吧
kidonng
2022-01-10 14:17:51 +08:00
试试换别的 tar 实现,比如 GNU 或者 BSD tar
nightwitch
2022-01-10 15:38:47 +08:00
检查下 7z 的 tar 实现是不是带有压缩
cncmmdwl
2022-01-10 15:41:20 +08:00
@2i2Re2PLMaDnghL cdm 没问题,是一块固态应该有的速度
cncmmdwl
2022-01-10 15:41:50 +08:00
@liuidetmks 文件很多,但是不小,都在 4m 以上
felixcode
2022-01-10 15:41:56 +08:00
做个 ramdisk ,在这里面试一下,反正你内存有富余
cncmmdwl
2022-01-10 15:42:22 +08:00
@villivateur satassd 再差应该也差不到哪里去吧
cncmmdwl
2022-01-10 15:44:05 +08:00
@zhangjinghua 资源管理器占用都很低, 我是 windows 系统 别的 2345 好压好像也一样,显示打包速度都在 30m 左右
dem0ns
2022-01-10 15:56:08 +08:00
是不是加了-v 参数? 屏幕输出会导致运行效率变低
2i2Re2PLMaDnghL
2022-01-10 16:07:44 +08:00
对了,7z 的性能基准测试过一下?(这个测试应该是不走硬盘的)
用 resmon 看一下 7z 的等待链?(是否在等待其他东西)
文件系统?
试试在 WSL 里跑个 tar (鉴于你文件在 Windows 里,应该用 WSL1 避免 9p 降速)

@nightwitch tar 文件类型本身不支持压缩
Felldeadbird
2022-01-10 17:26:27 +08:00
之前我服务器 tar 打包 一个 500M 文件,2 小时都没打包完毕。服务器是 SSD 。 后来我查了进程,原来是有一个别的进程占用了大量 IO 。

试下排除一下?
cncmmdwl
2022-01-10 17:27:37 +08:00
@2i2Re2PLMaDnghL
基准测试 32m 20c 66GIPS 57609kb\s 基准性能测试和 tar 应该无关吧?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/827277

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX