V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
facert
V2EX  ›  分享创造

做了一个动态可配置化的 Python 爬虫工具网站

  •  1
     
  •   facert · 2017-12-04 12:09:40 +08:00 · 4639 次点击
    这是一个创建于 2545 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这段时间开发了一个动态可配置的爬虫网站 http://www.anycrawl.info,基于 scrapy,提供一些配置项,5 分钟就可生成一个通用爬虫,并可直接下载代码使用。

    上 demo 和 截图

    爬取豆瓣害羞组的帖子和图片: https://www.douban.com/group/haixiuzu/discussion

    项目地址: http://www.anycrawl.info/project/15/

    配置上图的选项后,即可下载爬虫源码使用

    更多教程可参考这篇文章: https://zhuanlan.zhihu.com/p/31659456

    10 条回复    2017-12-06 19:01:32 +08:00
    Lax
        1
    Lax  
       2017-12-04 12:31:52 +08:00
    宣传的例子直接 17+ 啦
    还有好多小学生,建议换个别的组 [正义脸
    zqjilove
        2
    zqjilove  
       2017-12-04 14:38:48 +08:00
    今天见到最亮的产品了 。
    hwwh1999
        3
    hwwh1999  
       2017-12-04 14:55:01 +08:00
    收藏一个!
    mon3
        4
    mon3  
       2017-12-04 15:08:52 +08:00
    看了这个小组之后对你的爬虫没兴趣了。
    zirconium
        5
    zirconium  
       2017-12-04 15:09:57 +08:00 via iPhone
    mark
    facert
        6
    facert  
    OP
       2017-12-04 15:21:14 +08:00
    @Lax
    @mon3 看来我得换个正经的小组 ;-)
    fhefh
        7
    fhefh  
       2017-12-04 19:43:30 +08:00
    今天看到另外一个帖子 也准备这么搞的 跟楼主想到一块去了
    哈哈哈
    feifan00x
        8
    feifan00x  
       2017-12-06 15:04:36 +08:00
    看了这个小组之后对你的爬虫没兴趣了+1
    feiniu
        9
    feiniu  
       2017-12-06 17:03:23 +08:00
    豆瓣还能这么玩,长见识了。看来是我太单纯啊
    bao3
        10
    bao3  
       2017-12-06 19:01:32 +08:00
    我是很认真看楼主的产品,可是点开的那一刻,我一直在看豆瓣了。。。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1248 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 17:58 · PVG 01:58 · LAX 09:58 · JFK 12:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.