V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
allanpk716
V2EX  ›  问与答

有人用 syncthing 同步过 10W+ 文件吗?还有其他替代方案吗?

  •  
  •   allanpk716 · 2022-06-21 12:59:45 +08:00 · 2351 次点击
    这是一个创建于 647 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,少量文件之前用了,可以正常。最近同步 10W+ 文件(都是 100kb 左右的东西),几天了文件夹结构的同步了,文件都没得同步上。

    两台机器都有外网 IP ,也开启了 22000 端口外网访问的权限。

    两台机器都是 Linux 服务器,还有其他的替代方案吗?不用实时性很高的同步,就是要数据的完整性有要求。(不太想自己再写一个玩意来做同步)

    14 条回复    2022-06-22 15:13:35 +08:00
    kokutou
        1
    kokutou  
       2022-06-21 13:04:27 +08:00
    rsync 一句话...
    Buges
        2
    Buges  
       2022-06-21 13:07:10 +08:00 via Android
    可以先用其他方式复制到目标机器再开始同步。ayncthing 同步海量小文件是没问题的,就是速度有点慢。
    jacyl4
        3
    jacyl4  
       2022-06-21 13:14:02 +08:00
    5w 大大小小的文件同步。没遇到什么问题。跨境同步的话,我是给 syncthing 套上代理同步的。
    initd
        4
    initd  
       2022-06-21 13:17:59 +08:00
    tgz, 先 tar 存储所有文件, 再 gzip 压缩刚才的 .tar 单文件
    k9982874
        5
    k9982874  
       2022-06-21 13:48:40 +08:00 via Android
    传 s3 再拖回来
    leavic
        6
    leavic  
       2022-06-21 18:17:19 +08:00
    我觉得,但凡动点脑子都应该考虑#4 的建议。文件检索浪费的时间可能比网络传输还多。
    v2tudnew
        7
    v2tudnew  
       2022-06-21 20:39:54 +08:00
    没看明白,你特意说端口是没有连上还是文件无法同步?
    allanpk716
        8
    allanpk716  
    OP
       2022-06-22 08:44:40 +08:00
    @leavic 时机情况是这 10W+ 文件大概有 12GB ,服务器没有多余空间压缩存储
    allanpk716
        9
    allanpk716  
    OP
       2022-06-22 08:45:08 +08:00
    @v2tudnew 为了避免讨论使用这个软件的配置问题
    allanpk716
        10
    allanpk716  
    OP
       2022-06-22 08:48:01 +08:00
    @k9982874 也想过,最后选择了 resilio-sync
    allanpk716
        11
    allanpk716  
    OP
       2022-06-22 08:50:15 +08:00
    最后选择了 resilio-sync 一个晚上同步搞定。在删除 syncthing 同步文件的时候发现,其实它有同步一点文件( 1GB 多),但是 UI 界面的数据呈现是有问题的(一直显示同步的文件个数是 0 ,文件夹个数同步是完整的),但是它实在太慢,挂机几天了也搞不定。
    v2tudnew
        12
    v2tudnew  
       2022-06-22 10:46:13 +08:00
    @allanpk716 #11 你这个数量级的我也用 syncthing 测试过了,15.6W 文件 6.3GB ,超过 7W 文件不到 10KB 。
    同步倒是能同步,一个文件不差,而且都是完整的,但是太慢了,同步 4-5 小时,还不如压缩打包传。
    allanpk716
        13
    allanpk716  
    OP
       2022-06-22 15:06:36 +08:00
    @v2tudnew 你当时看了 WebUI 的传输进度正确嘛?我昨天就是看起来不正确,流量统计和数量统计都没有更新,才以为是失败的。resilio-sync 这个的资源暂用挺大的,400 MB 内存打底,syncthing 只需要一半内存。
    v2tudnew
        14
    v2tudnew  
       2022-06-22 15:13:35 +08:00
    @allanpk716 #13 进度这个没法看,它这个好像是根据文件数量百分比来的,我只是发现传输还剩 2-3GB 的时候都是小文件,几十 KB 的传。你这个应该是卡住了,边传输边读写文件它确实有一定几率异常。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3710 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 05:04 · PVG 13:04 · LAX 22:04 · JFK 01:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.