V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lbfeng
V2EX  ›  问与答

scrapy 登陆后被 ban 的解决方法。

  •  
  •   lbfeng · 2018-08-16 09:28:49 +08:00 · 931 次点击
    这是一个创建于 2295 天前的主题,其中的信息可能已经有所发展或是发生改变。

    从某网站上抓,主观上是不想的,但任务分配给我了。必须登陆才能抓,抓一会儿后被 ban(账号被 ban,ip 没事)。现在脑子里有 2 个方案

    1.慢速抓,效率低,不好交差

    2.有 N 个账号,打个比方,500 个 requests 之后,spider 暂停,换一个账号登陆,接着抓,重复。。

    大家还有什么别的艾地饿吗?

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5547 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 08:00 · PVG 16:00 · LAX 00:00 · JFK 03:00
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.