scrapy 抓取信息， time.sleep()问题

[appleaa]

使用 scrapy 抓取 http://www.cnbeta.com/topics/9.htm ，先抓取文章标题， yield Item 存储，再根据 link 抓内容， yield content, 然后 time.sleep(1200)。但是 yield content 处理时间比较长， time.sleep 会是全局停止，导致好长时间抓取不到 content ，请教大家怎么做？

[pango]

为什么要 sleep ？ scrapy 不是可以自己控制并发数吗？

[appleaa]

@pango 我是循环抓取， sleep 20 分钟后看这个页面有没有新内容，不是并发问题

[rockivy]

@appleaa 为什么不定时 20 分钟后重新跑一次抓取程序?

[appleaa]

@rockivy 程序框架都是这样定的，以前没发现这个问题

[ahxxm]

"*/20 * * * * timeout=600 scrapy crawl cnbeta"加进 crontab 就行了， 20 分钟来一发， 10 分钟没跑完自动干掉进程

[lev]

可以设置全局参数 DOWNLOAD_DELAY http://doc.scrapy.org/en/latest/topics/settings.html

[kmz]

找到了比较靠谱的答案 https://stackoverflow.com/questions/36984696/scrapy-non-blocking-pause