pyspider 和 scrapy 对比

[xiaoyanbot]

用过两者的朋友吗？ 说说具体咋样

要做选型

[ldbC5uTBj11yaeh5]

现在还有用 pysipder 的吗？

[wolffn]

lz 爬虫规模大吗，不大的话，说真心话，上 node 吧

[Yc1992]

@binux

[EricCartman]

@wolffn 不大 Python 更方便吧

[golmic]

感觉 pyspider 在任务调度方面比 scrapy 做的好一些，但是个人还是喜欢可控的 scrapy.像 pyspider 出错不容易查问题并且一旦进入 pause 状态就 10 分钟不能动这是不能忍的。

[zealinux]

@wolffn node 用什么库来爬？

[xrlin]

两者都用过，但只是做自己的小项目，都是很好的框架，但比较喜欢 scrapy，目录结构好，做图片等资源采集不错，pyspider 编辑起来不太方便，但任务调度比 scrapy 方便很多，可以很方便进行定时、增量爬取。

[binux]

谢邀 :P
pyspider 本来就是为了解决 scrapy 不好解决的问题设计的。但是作为框架本身的成熟度来说，和 scrapy 比还是有差距的。
https://stackoverflow.com/questions/27243246/can-scrapy-be-replaced-by-pyspider
https://www.quora.com/How-does-pyspider-compare-to-scrapy

[bfbd]

scrapy 好用，调度方面有 scrapyd。

https://scrapyd.readthedocs.io/en/latest/

[ila]

@bfbd scrapyd 能否暂停和恢复任务？