scrapy 在爬虫的时候有的网址 偶尔出现 404 如何解决？

[Ewig]

2019-01-05 10:34:15 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340245.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)
3916 2019-01-05 10:34:15 [csrc][scrapy.spidermiddlewares.httperror] INFO: Ignoring response <404 http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340245.htm>: HTTP status code is not handled or not allowed
3917 2019-01-05 10:34:21 [csrc][scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340247.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)
3918 2019-01-05 10:34:28 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340246.htm> (referer: http://www.csrc.gov.cn/pub/newsite/ xxpl/yxpl/index_9.html)


网址： http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html

有的页面偶尔出现 404 这种如何解决 参数都加上了

[dreasky]

用 scrapy 的 retry 中间件， 改配置文件 retry 错误码和 retry 次数就行

[Ewig]

@dreasky 我单独写了一个 py 需要继承吗

[Ewig]

@dreasky 我本来自己写了一个中间件把自带的给 over 了，但是现在还是先用原生的，我想问一下这个 retry 的间隔可以设置吗？