Python aiohttp 异步 需要同时请求同域名下 8000 个 URL（对方网站无并发限制）把结果拼接返回，要求总耗时最短， 8000 个同时发还是先发 1000 个，不等待结果，间隔 0.1 秒再发下一批快？

[drymonfidelia]

爬虫，所有同行爬的都比我们快，不知道为什么
别人 1 秒更新，我们上了 10 台服务器还是慢别人 3 秒

[drymonfidelia]

@lesismal 任务随机下发到一个节点，在同一个 aiohttp session 里面发，每个 URL 拿到结果马上发同 URL 的下一个请求，没有关注是 http 1.x 还是 2.0
有订阅机制，但是订阅延迟不止 3 秒，用不了

[laminux29]

笑死了，

不方便告诉你们到底是什么网站；

不方便告诉你们到底怎么去爬；

反正你们一定要浪费你们的时间，去不断地猜测，直到解决我的问题；

什么 NTR 问题。

[drymonfidelia]

@laminux29 全告诉了 是你自己不翻回帖