如何快速压缩 40T 的图片

[zuiluo]

40T 图片都在 aliyun OSS 上，想把这 40T 都压缩一遍，绝大部分图片都在少数几个文件夹内，目前方案相当龟速。。

有什么好的策略推荐的么

[shoaly]

直接将 oos 挂在一台主机上面 然后搞个命令行的多线程压缩软件就可以开撸了

[dtgxx]

压缩之后，未来 lz 还会发个帖子：如何快速解压被压缩的 40T 图片

[des]

aliyun 提工单 ✅
自己瞎搞 ❎

40T 不是个小数目了，光你下载下来就要很久了，就别说压缩了
如果是用 oss 提供的压缩 api 的话，估计也得花不少钱
最后还是建议提工单问问

[lower]

好奇楼主为啥要压缩?
是费用贵还是要 down 下来？

[weak]

提工单，叫阿里云拷贝一下，快递到你家，拿一台 128 线程的服务器，开机几天压缩一下，再快递回阿里云

[shakoon]

需求描述明显有歧义。是需要逐一对图片进行压缩以减少单个文件的大小并保证文件继续可用，还是将其使用压缩工具整体打包以进行归档或者迁移？

[undeflife]

oss 支持 url 加处理参数访问来节约流量 为啥还要自己压缩？本身 oss 的存储成本算低的
压缩质量不要求精确的话 可以类似 img@100w_100h_90Q.jpg 带处理参数的爬一边然后再上传

[nolo]

函数计算

[kangsheng9527]

没必要压缩啊，，，直接租用一台 50Tb 以上服务器备份即可。。。压缩浪费时间。。。省不了多少空间。

[em70]

@undeflife #7 +1 ,oss 自带图片处理服务,输出的时候可以压缩,剪裁,水印,旋转,速度极快,用户无感知,且几乎免费,没有任何必要压缩原始图片,除非想节约空间储存费用

[zuiluo]

为什么要弄这个需求，因为空间占用高，每个月花费大几千。上面有人说到了使用 OSS 的 api 压缩，这个图片处理也是花钱的，每个月也花大几千。所以。。。


再加上最近没什么事情吧，帮公司省点钱也是挺好的。


我目前的方案，使用一台服务器走内网下载（内网下载上传都是不花钱的 2333)，先统计到数据库，对图像数据集先做归类，宽高大小，方便后面调用（ OSS 自带的 API 查询真的是太简单了）

记录到库之后，再逐一对图片进行压缩，将原图备份，压缩图替换。

这里唯一难点就速度问题，目前备份统计已经开了几十个线程同时跑，内网带宽拉满的情况下，估计还要跑好几天才能跑完，不过对时间不是很紧急，批处理程序调试稳定之后让他挂着跑就好了