V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
pinews
V2EX  ›  问与答

小白请教抓取网页,预期 404 或者 2M 内的网页,但是突然遇到 300M 的文件,怎么在全部下载完之前识别到?

  •  
  •   pinews · 227 天前 · 798 次点击
    这是一个创建于 227 天前的主题,其中的信息可能已经有所发展或是发生改变。
    curl 试了好像暂时没找到办法!
    4 条回复    2020-12-19 23:28:20 +08:00
    ysc3839
        1
    ysc3839   227 天前
    你是用 shell 脚本调用 curl 吗?用 --max-filesize 参数。
    pinews
        2
    pinews   227 天前
    php_curl

    谢谢,我试试!
    ClericPy
        3
    ClericPy   227 天前
    流式读写? 开始读之前先像楼上说的 Headers 里面看看 content-length

    具体什么场景没描述, 就随便回复了下
    napsterwu
        4
    napsterwu   227 天前 via iPhone
    curl -X HEAD
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   990 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 121ms · UTC 22:00 · PVG 06:00 · LAX 15:00 · JFK 18:00
    ♥ Do have faith in what you're doing.