V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
asdasdqqq
V2EX  ›  Linux

脚本算法求解,备份轮替

  •  
  •   asdasdqqq · 170 天前 · 1420 次点击
    这是一个创建于 170 天前的主题,其中的信息可能已经有所发展或是发生改变。
    磁盘有 30Gb 的容量,有一份数据要进行备份,假设每天备份的容量是 1Gb,备份 30 天后磁盘空间满了,在后面每天都新增备份的情况下,要进行轮替,删除旧备份
    轮替规则是最近 10 份数据每天 1 份,最近的 11-20 份数据每 2 天 1 份,最近的 21-30 份的数据每 4 天 1 份
    如何编写脚本,python 或者 shell
    12 条回复    2021-06-18 02:42:49 +08:00
    asdasdqqq
        1
    asdasdqqq  
    OP
       170 天前
    也就是大概要保留 7 多天的历史数据
    asdasdqqq
        2
    asdasdqqq  
    OP
       170 天前
    也就是大概要保留 70 多天的历史数据
    eason1874
        3
    eason1874  
       170 天前   ❤️ 1
    把备份日期放到备份文件名里,比如 backup-20210617.gz ,然后循环一把梭:

    先取当天时间戳 time 减去 10 天秒数,然后循环 20 次,每次减 1 天秒数,就是从 11 天前循环到 30 天前。

    循环的代码,判断当前时间的日期有没有备份文件,没有就直接 next,如果有就指定后续间隔次数,在前 10 次是 next+1,就是间隔一次,在后 10 次是 next+3,就是间隔三次,间隔期间的日期如果有对应文件就删除。
    Ariver
        4
    Ariver  
       170 天前 via iPhone
    压缩一下
    可以保存大概 10 倍
    junksheng
        5
    junksheng  
       170 天前 via Android
    轮询删除加压缩,可以存很多
    snownarrow
        6
    snownarrow  
       170 天前
    @Ariver 文档压缩才有这么高的压缩比吧,要是其他格式就难说,二进制的就直接压缩后几乎没变化
    watcher
        7
    watcher  
       170 天前
    为啥不直接用系统的 logrotate 呢
    Ariver
        8
    Ariver  
       170 天前
    @snownarrow sorry, 我默认他说的是日志......
    视频音频应该远大于 30g 吧
    asdasdqqq
        9
    asdasdqqq  
    OP
       170 天前
    @watcher logrotate 只能设置每天保存或者每几天保存,不能设置近的每天保存远的每周保存这样的
    julyclyde
        10
    julyclyde  
       169 天前
    @asdasdqqq 是吗?
    autoxbc
        11
    autoxbc  
       169 天前   ❤️ 1
    因为刚好是 1-2-4,所有有个简单的解法;
    设 A,B,C 三个数据集,每个容量为 10 ;
    前一个溢出的,逢单抛掉,逢双压入下一级;
    asdasdqqq
        12
    asdasdqqq  
    OP
       169 天前
    我的解法:
    1 、计算出要保留的天数 1*10+2*20+3*10 =70,如果备份日期在 70 天前的删除
    2 、从最早循环每个文件名
    如果在 30 至 70 天前的,计算出总数,大于 11 份的,循环删掉相差小于 4 天最早的;(删除后 break,每天只删除 1 份)
    如果在 10 至 30 天前的,计算出总数,大于 11 份的,循环删掉相差小于 2 天最早的;(删除后 break,每天只删除 1 份)

    一个大循环(循环文件)+3 个小循环(判断相差天数)+若干判断(备份数,大于 11 份等)
    关于   ·   帮助文档   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2248 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 05:35 · PVG 13:35 · LAX 21:35 · JFK 00:35
    ♥ Do have faith in what you're doing.