这段时间开发了一个动态可配置的爬虫网站 http://www.anycrawl.info,基于 scrapy,提供一些配置项,5 分钟就可生成一个通用爬虫,并可直接下载代码使用。
上 demo 和 截图
爬取豆瓣害羞组的帖子和图片: https://www.douban.com/group/haixiuzu/discussion
项目地址: http://www.anycrawl.info/project/15/
配置上图的选项后,即可下载爬虫源码使用
更多教程可参考这篇文章: https://zhuanlan.zhihu.com/p/31659456
1
Lax 2017-12-04 12:31:52 +08:00
宣传的例子直接 17+ 啦
还有好多小学生,建议换个别的组 [正义脸 |
2
zqjilove 2017-12-04 14:38:48 +08:00
今天见到最亮的产品了 。
|
3
hwwh1999 2017-12-04 14:55:01 +08:00
收藏一个!
|
4
mon3 2017-12-04 15:08:52 +08:00
看了这个小组之后对你的爬虫没兴趣了。
|
5
zirconium 2017-12-04 15:09:57 +08:00 via iPhone
mark
|
7
fhefh 2017-12-04 19:43:30 +08:00
今天看到另外一个帖子 也准备这么搞的 跟楼主想到一块去了
哈哈哈 |
8
feifan00x 2017-12-06 15:04:36 +08:00
看了这个小组之后对你的爬虫没兴趣了+1
|
9
feiniu 2017-12-06 17:03:23 +08:00
豆瓣还能这么玩,长见识了。看来是我太单纯啊
|
10
bao3 2017-12-06 19:01:32 +08:00
我是很认真看楼主的产品,可是点开的那一刻,我一直在看豆瓣了。。。。。
|