V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
pinews
V2EX  ›  问与答

小白请教抓取网页,预期 404 或者 2M 内的网页,但是突然遇到 300M 的文件,怎么在全部下载完之前识别到?

  •  
  •   pinews · 2020-12-19 22:39:50 +08:00 · 1294 次点击
    这是一个创建于 1195 天前的主题,其中的信息可能已经有所发展或是发生改变。
    curl 试了好像暂时没找到办法!
    4 条回复    2020-12-19 23:28:20 +08:00
    ysc3839
        1
    ysc3839  
       2020-12-19 22:43:57 +08:00
    你是用 shell 脚本调用 curl 吗?用 --max-filesize 参数。
    pinews
        2
    pinews  
    OP
       2020-12-19 22:52:37 +08:00
    php_curl

    谢谢,我试试!
    ClericPy
        3
    ClericPy  
       2020-12-19 22:53:35 +08:00
    流式读写? 开始读之前先像楼上说的 Headers 里面看看 content-length

    具体什么场景没描述, 就随便回复了下
    napsterwu
        4
    napsterwu  
       2020-12-19 23:28:20 +08:00 via iPhone
    curl -X HEAD
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   943 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 21:32 · PVG 05:32 · LAX 14:32 · JFK 17:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.