Python3 爬虫框架-推荐一个自己写的爬虫框架，不知道大家觉得怎么样，初次写，大家来喷

2018-07-10 00:58:07 +08:00
 samaria

Python3 爬虫框架，技术使用在 readme 里面都写好了，大家伙看看 https://github.com/BlingBlingdevelopers/bluff，觉得哪里不好的随便喷

3409 次点击
所在节点    Python
6 条回复
chengxiao
2018-07-10 05:42:36 +08:00
python 感觉是最不缺爬虫框架的语言了....
不过支持楼主 ，现有两座大山 scrapy 和 pyspider 在分布式和集群调度上不是很出彩
期待楼主实现一个
cheesea
2018-07-10 09:52:22 +08:00
造轮子大体有两个原因，一是学习，二是现有轮子用的不爽。不知道楼主是哪一种。
RicardoScofileld
2018-07-10 11:26:59 +08:00
fuck 404 喷个求
jhsunnyshine
2018-07-10 16:29:51 +08:00
楼上说的对啊，404 没法喷啊，手动滑稽
NobodyVe2x
2018-07-10 21:08:32 +08:00
地址作者写错了，是这个
https://github.com/BlingBlingdevelopers/bluff
xiaozizayang
2018-07-11 20:38:10 +08:00
我看源码 忽然感觉好熟悉 依稀记得很多地方和我以前看的一个框架爬虫框架 gain 里面代码实现极其类似
最后，放下我自己写的一个爬虫框架哈哈 https://github.com/howie6879/aspider

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/469440

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX