我有一个 cookie 池,以集合的形式存在 redis 里。在爬虫的过程中,每一次请求 url 都会从 redis 里拿 cookie 并且带上它访问。大多数是可以设置成功的,但是中间会出现设置失败的情况。找来找去都找不到是啥原因。 附上我设置 cookie 的方式: settings.py
COOKIES_ENABLED = True
cookies2 = json.loads(self.red.srandmember('red_cookies', 1)[0])
yield scrapy.Request(url=url, cookies=cookies2, meta=metas, callback=self.parse)
求解,有没有遇到类似情况的前辈啊,实在是困扰我很久啦!