做了一个动态可配置化的 Python 爬虫工具网站

2017-12-04 12:09:40 +08:00
 facert

这段时间开发了一个动态可配置的爬虫网站 http://www.anycrawl.info,基于 scrapy,提供一些配置项,5 分钟就可生成一个通用爬虫,并可直接下载代码使用。

上 demo 和 截图

爬取豆瓣害羞组的帖子和图片: https://www.douban.com/group/haixiuzu/discussion

项目地址: http://www.anycrawl.info/project/15/

配置上图的选项后,即可下载爬虫源码使用

更多教程可参考这篇文章: https://zhuanlan.zhihu.com/p/31659456

4680 次点击
所在节点    分享创造
10 条回复
Lax
2017-12-04 12:31:52 +08:00
宣传的例子直接 17+ 啦
还有好多小学生,建议换个别的组 [正义脸
zqjilove
2017-12-04 14:38:48 +08:00
今天见到最亮的产品了 。
hwwh1999
2017-12-04 14:55:01 +08:00
收藏一个!
mon3
2017-12-04 15:08:52 +08:00
看了这个小组之后对你的爬虫没兴趣了。
zirconium
2017-12-04 15:09:57 +08:00
mark
facert
2017-12-04 15:21:14 +08:00
@Lax
@mon3 看来我得换个正经的小组 ;-)
fhefh
2017-12-04 19:43:30 +08:00
今天看到另外一个帖子 也准备这么搞的 跟楼主想到一块去了
哈哈哈
feifan00x
2017-12-06 15:04:36 +08:00
看了这个小组之后对你的爬虫没兴趣了+1
feiniu
2017-12-06 17:03:23 +08:00
豆瓣还能这么玩,长见识了。看来是我太单纯啊
bao3
2017-12-06 19:01:32 +08:00
我是很认真看楼主的产品,可是点开的那一刻,我一直在看豆瓣了。。。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/411783

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX