如何让 scrapy_redis 对起始 url 不去重

[luanguang]

多个起始 url 的时候，跑着突然 ip 被 ban 了，然后重新尝试该 url，因为爬取过会被记录，所以要设置dont_filter=true让起始 url 默认不去重。
但是 scrapy_redis 起始就是我推到 redis 队列里面的 url，怎么对这些 url 设置不去重呢？

[15399905591]

你再 start_requests 方法里面推送不就好了么。

[xiushenbuhuihui]

@luanguang 您好，我把我的问题给你详细描述一下，请您帮我解决一下。

[xiushenbuhuihui]

@luanguang 用的是 crawlspider 爬取乐融商城全部的网站源代码

[xiushenbuhuihui]

@luanguang 但是爬取到 这一页面时，