Linux 多线程下载, 设定了 user-agent 依然被 403.

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

Distributions

› Ubuntu

› Fedora

› CentOS

中文资源站

› 网易开源镜像站

这是一个创建于 108 天前的主题，其中的信息可能已经有所发展或是发生改变。

在下载 miuirom (一个线程限制了 50KBps 左右).
尝试了 windows 的 idm,最大只支持 32 线程下载.

于是尝试用 linux 下的 axel .
调节了线程数, 调节了 --no-proxy, 从浏览器里 copy 了一个 user-agent.
全都立刻被告知 403 forbidden.

我是哪里做的不对了?

 axel -a -n 128 \
--user-agent="Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko" --no-proxy \
"https://bigota.d.miui.com/V14.0.8.0.TKXEUXM/miui_NABUEEAGlobal_V14.0.8.0.TKXEUXM_13889f8121_13.0.zip"

线程

user-agent

axel

no-proxy

21 条回复 • 2024-01-13 11:55:09 +08:00

LLaMA2

108 天前

缺少必要的 header

具体你得看你可以下载的时候

有哪些 header ，统统补上

busier

108 天前 via Android

万一人家验了 cookies 呢

chackchackGO

108 天前

@busier 我都用 idm 了, 还有可能验证 cookie 吗?

busier

108 天前 via Android

集成到浏览器的下载工具，是会带上浏览器 cookies 进行请求的。

chackchackGO

108 天前

@LLaMA2 请问怎么捕获下载时的 http request 方便?
dev tools 似乎没有捕获到.

bluehr

108 天前

@chackchackGO 为啥不可能，很早之前的百度云用 IDM 下载就得设置 cookie

chackchackGO

108 天前

@bluehr 学习了谢谢.
@busier

busier

108 天前 via Android

还有 referer 有的要验

LLaMA2

108 天前

curl 'https://bigota.d.miui.com/V14.0.8.0.TKXEUXM/miui_NABUEEAGlobal_V14.0.8.0.TKXEUXM_13889f8121_13.0.zip' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7' \
-H 'Accept-Language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' \
-H 'Connection: keep-alive' \
-H 'DNT: 1' \
-H 'Referer: https://mirom.ezbox.idv.tw/en/phone/nabu/' \
-H 'Sec-Fetch-Dest: document' \
-H 'Sec-Fetch-Mode: navigate' \
-H 'Sec-Fetch-Site: cross-site' \
-H 'Sec-Fetch-User: ?1' \
-H 'Upgrade-Insecure-Requests: 1' \
-H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0' \
-H 'sec-ch-ua: "Not_A Brand";v="8", "Chromium";v="120", "Microsoft Edge";v="120"' \
-H 'sec-ch-ua-mobile: ?0' \
-H 'sec-ch-ua-platform: "Linux"' \
--compressed \
-o 123.zip

chackchackGO

108 天前

@LLaMA2
@bluehr
@busier
为了捕获下载时的 http request, 我走了个 burp suite 的代理.
然后在浏览器上被弹 403 forbidden 了.

怎么只是经过了个本地代理还会被 forbidden 呢, burp 改了 request 内容吗?

下载个国内资源好难.

chackchackGO

108 天前

@LLaMA2 感谢.
axel 不知道为什么限制 9 个 header.
我去掉了一些感觉可能不需要的 header 勉强能下载了
```
axel -a -n 256 --no-proxy 'https://bigota.d.miui.com/V14.0.8.0.TKXEUXM/miui_NABUEEAGlobal_V14.0.8.0.TKXEUXM_13889f8121_13.0.zip' \
-H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7' \
-H 'Connection: keep-alive' \
-H 'Referer: https://mirom.ezbox.idv.tw/en/phone/nabu/' \
-H 'Sec-Fetch-Dest: document' \
-H 'Sec-Fetch-Site: cross-site' \
-H 'Sec-Fetch-User: ?1' \
-H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36 Edg/120.0.0.0' \
-H 'sec-ch-ua: "Not_A Brand";v="8", "Chromium";v="120", "Microsoft Edge";v="120"' \
-H 'sec-ch-ua-platform: "Linux"'
```