为什么诸位老哥的爬虫的都是自己写的，不用 scrapy 呢？

[wellhome]

我研究了半天 scrapy 发现搞的太复杂了。 除非大规模的爬， 一般 爬个几个站 不若自己写的方便。 不知是不是我打开 scrapy 的方式有问题。 我看到大家都在推崇 scrapy。

[forgottencoast]

标题和内容冲突啊？

[sanjusss]

我用的.net core 写爬虫，和你差不多。总感觉 dotnetspider 框架太复杂，写个简单的功能要绕弯好远，有的功能直接不能实现。最后自己写，部分功能直接 copy 框架。

[gimp]

设问句？

[nevin47]

我也觉得 scrapy 太复杂了，但是工程化开发肯定 scrapy 好，自己写点小东西随便用用 urllib 就完事儿了，但是大规模爬的时候吃力感就出来了

[sadfQED2]

你自己都说了，大规模爬虫用，另外你用熟了小项目用其实也很方便

[php01]

先问是不是，再问为什么。

[yinjy]

小项目也是 scrapy 方便啊，基础代码不用自己写

[qsnow6]

如何定义小规模

[patx]

nodejs 写爬虫

[killerv]

简单的用 requests，
稍微上点规模的就用框架了，自己造轮子多麻烦

[keith1126]

因为直接用 requests 已经可以满足大部分需求了，而且简单快捷

[ljspython]

requests 已满足基本小需求了

[bonfy]

requests 就可以了，为什么要去学个重量级的框架呢，学习不要成本的么？

[tozp]

我只用 Go

[wellhome]

@gimp 好多人推崇， 但是老哥们开的项目都是自己写的， 所以矛盾， 不知道是不是自己的打开方式不对。

[ClarkAbe]

@tozp #14 同 go...设置好重复踢出然后一记狗肉挺，CPU 全核心多线程工作，简直不要太恐怖

[fank99]

写到最后。。你会发现你写的东西越来越像“scrapy”
这时候，你会问自己，我当时咋想的，为啥不直接用 scrapy 呢

[coolair]

看文档的时间已经写好了。

[alphardex]

自己写了个小型框架 looter，比 scrapy 轻便多了，地址： https://github.com/alphardex/looter

[zqjilove]

如果考虑到后期分布式的便携性。scrapy 是很好的选择，如果只是单机跑跑，其实上不上 scrapy 都可以