为什么 scrapy 爬虫没有一次性爬完 Rule 所需要的所有数据呢？

[Jessss]

我用 scrapy 和代理池爬拉勾网，中间没有报错，但是每次运行代码都只是爬一两万条数据就结束，下次运行又有新的数据，为什么不会一次性爬完所有数据呢？

望大神们指点，谢谢！

[littleylv]

是不是限制了深度了呢？

[Jessss]

@littleylv 没有设置深度或者广度之类的

[dsg001]

深层的模板有变化导致规则抓取不到，检查下最终页的模板是否匹配规则

[Jessss]

@dsg001 其他页面也符合匹配规则的。中间尝试修改了 rule，多试几次居然被禁了，现在感觉是我的代理中间件有问题，好像没用到

[dsg001]

@Jessss 返回脏数据吗？只能加日志，一步步调试检查

[Jessss]

@dsg001 数据是正常的，我试试加日志看看先