为什么诸位老哥的爬虫的都是自己写的，不用 scrapy 呢？

2019-09-18 08:23:23 +08:00
 wellhome

我研究了半天 scrapy 发现搞的太复杂了。 除非大规模的爬， 一般 爬个几个站 不若自己写的方便。 不知是不是我打开 scrapy 的方式有问题。 我看到大家都在推崇 scrapy。

5437 次点击
所在节点    问与答
26 条回复
chengxiao
2019-09-18 10:52:01 +08:00
小规模用 scrapy 才快吧......几句业务 就 ok 了
BooksE
2019-09-18 10:59:09 +08:00
我十几个站都用 scrapy 爬的。。scrapy 很好用
WuMingyu
2019-09-18 11:07:50 +08:00
可以写个 scrapy 的模版，用的时候 copy 下，再改改一些业务代码
ClericPy
2019-09-18 11:22:35 +08:00
自己的 async await, 为什么要折腾 twisted, 后者作者倒是挺厉害... 能把 guido 老爹气出门去
d5
2019-09-18 12:15:06 +08:00
小折腾用 requests + pyquery 梭哈
niknik
2019-09-18 17:11:26 +08:00
emmm，就我目前的站点数据，都用不上 scrapy。。。。直接脚本了

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/601693

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX