V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
NGINX
NGINX Trac
3rd Party Modules
Security Advisories
CHANGES
OpenResty
ngx_lua
Tengine
在线学习资源
NGINX 开发从入门到精通
NGINX Modules
ngx_echo
vloony
V2EX  ›  NGINX

有没有大屌遇到过 NGINX 缓存下来的文件是残缺的问题

  •  
  •   vloony · 2019-08-06 16:32:42 +08:00 · 3496 次点击
    这是一个创建于 1696 天前的主题,其中的信息可能已经有所发展或是发生改变。
    RT 有没有大屌遇到过 NGINX 缓存下来的文件是残缺的问题,几百 M 的文件有时候缓存下来的是一百多 M 或者几十 M,好像是随机找不到任何共同点 有没有大佬遇到过
    23 条回复    2020-06-10 16:48:38 +08:00
    lihongjie0209
        1
    lihongjie0209  
       2019-08-06 16:43:21 +08:00   ❤️ 1
    第一感觉 timeout, 导致文件传输中断

    或者是 max_size 之类的配置项没配对吧
    guokeke
        2
    guokeke  
       2019-08-06 16:45:09 +08:00 via Android
    你屌大你先说。
    arrow8899
        3
    arrow8899  
       2019-08-06 16:57:27 +08:00   ❤️ 1
    应该是 buffer 问题
    vloony
        4
    vloony  
    OP
       2019-08-06 17:00:44 +08:00
    @lihongjie0209
    @arrow8899
    感谢两位大佬相关数值我都调高点试下。
    lowman
        5
    lowman  
       2019-08-06 19:15:05 +08:00
    我举报, 这里有人在炫耀大屌, 屌大的人, 发帖都不会有人禁, 管理员在哪里, 这里有个大屌鸟人
    vloony
        6
    vloony  
    OP
       2019-08-06 19:19:49 +08:00
    @lowman 哈哈哈 大佬别别别 真心求解问题 看有没有大佬了解的
    vloony
        7
    vloony  
    OP
       2019-08-06 20:19:50 +08:00
    @lihongjie0209 实测应该不是超时如果是超时 503 不应该缓存下来 max_size 也不可能有文件是正常的
    vloony
        8
    vloony  
    OP
       2019-08-06 20:20:36 +08:00
    @arrow8899
    proxy_buffer_size 128k;
    proxy_buffers 4 128k;
    proxy_busy_buffers_size 256k;
    依然出现问题
    aqqwiyth
        9
    aqqwiyth  
       2019-08-06 20:23:44 +08:00   ❤️ 1
    缓存文件拆分成多个 加速 IO 读取?
    ninjachen
        10
    ninjachen  
       2019-08-07 01:08:51 +08:00 via Android
    我遇到过缓存文件夹权限不够,不能读写。。。
    残缺的问题到没遇到过
    vloony
        11
    vloony  
    OP
       2019-08-07 14:49:44 +08:00
    @aqqwiyth 好像老哥这种方法比较稳 分片了后暂时没出现问题
    vloony
        12
    vloony  
    OP
       2019-08-07 14:52:13 +08:00
    @aqqwiyth 不对好像还是不稳 分片缓存下来的文件 大小也有问题真的尴尬。。。。
    vloony
        13
    vloony  
    OP
       2019-08-07 14:57:09 +08:00
    @aqqwiyth 抱歉好像我的问题 看出了 有问题的是没分片的节点。。。。
    vloony
        14
    vloony  
    OP
       2019-08-08 14:10:04 +08:00
    实测跑了一天分片还是没有用。。。。。。还是残缺
    vloony
        15
    vloony  
    OP
       2019-08-09 01:49:39 +08:00
    解决问题中 第三天 目前查看错误日志 更偏向 @arrow8899 大佬说的 错误日志大量提示 has too long header 看下要怎么解决
    vloony
        16
    vloony  
    OP
       2019-08-09 01:50:28 +08:00
    cache file has too long header
    vloony
        17
    vloony  
    OP
       2019-08-09 02:45:01 +08:00
    增加 proxy_buffer_size 到 4096k 这回应该能解决了吧 坐等明天
    vloony
        18
    vloony  
    OP
       2019-08-10 14:59:00 +08:00
    yanglihui
        19
    yanglihui  
       2020-06-09 06:33:29 +08:00
    @vloony
    我就是你要找的有缘人
    yanglihui
        20
    yanglihui  
       2020-06-09 06:35:34 +08:00
    @vloony
    所以,我是需要重新编译 nginx ?
    vloony
        21
    vloony  
    OP
       2020-06-09 18:22:47 +08:00
    @yanglihui 目前无解,我们的解决方案是小文件一套缓存系统 大文件一套缓存系统
    yanglihui
        22
    yanglihui  
       2020-06-09 20:39:54 +08:00
    @vloony 还没懂,求详细告知。我的都是小文件,几十 k ~ 几兆
    vloony
        23
    vloony  
    OP
       2020-06-10 16:48:38 +08:00
    @yanglihui 大文件缓存弃用 nginx
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   959 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 21:38 · PVG 05:38 · LAX 14:38 · JFK 17:38
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.