4000w 每个 10kb 左右的文件如何快速压缩部署到服务器上

[tigiyj]

文件是在本地的,现在打算压缩上传到服务器上,不知道是不是硬盘小文件太多,导致压缩的速度很慢(7z 压缩,仅存储模式),公司其他几台电脑压缩很快(700w 个文件,5000KB/S),但是我用来放数据的硬盘特别慢(碎片整理前 1000kb/s,整理后 300kb/s 更慢了).

[kokutou]

上固态。或者晚上下班挂着，下周上班再传。
机械盘小文件就是很慢。

[natforum]

sync

[pkookp8]

直接拷贝整个分区怎么样

[aksoft]

ghost~~

[tigiyj]

@kokutou 复制文件很慢(20 几 w 要 1 个多小时),测试过从数据硬盘复制到其他电脑,大概 20 几万的文件,压缩起来很快

[zn]

直接做硬盘镜像可能还快一些。

[tigiyj]

@aksoft
@zn
服务器是 linux 的,想问问如何操作?

[aksoft]

忽略我。。做硬盘镜像

[tees]

感觉你可以试试 tar -cvf
打包成一个文件先。

[msg7086]

分目录打包。有条件的，先 dd 到 SSD 再处理。

想起之前一个呆逼公司，用 36 块 4T 阵列硬盘硬钢 MySQL 升级，结果 5 个月完成了 20%的故事。
不要重蹈他们的覆辙，买一块 SSD，节约你宝贵的生命。

https://thoughts.t37.net/how-we-upgraded-a-22tb-mysql-cluster-from-5-6-to-5-7-in-9-months-cc41b391895d

[why1]

把文件存入数据库呢

[qinrui]

地图瓦片？

[7654]

@tigiyj #7 双硬盘直接 dd
云服务器 dd img

[tigiyj]

@msg7086 有分几个大目录,其中一个稍微小一点的文件夹,200w 数据 10G 内容,已经压缩了 5 小时多,才 65%进度.

@why1 我采集数据的时候是存数据库的,单表 300g= =,然后把他生成一个个文件了

@7654 数据是本地的,不知道该如何操作

[jemyzhang]

不知道这样会不会快一点

tar cf - . | (cd /path/to/new/disk && tar xf -)

[gleymonkey]

rsync 推过去

[goodryb]

linux 的话 直接 dd 出来，然后再 dd 进去 应该会快一些吧

[zn]

@tigiyj dd if=/dev/源磁盘 of=目标文件.img

[cst4you]

rsync

[akira]

打包 不要压缩