首页   注册   登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
V2EX  ›  分享创造

[简单找房] 自动爬取豆瓣房源,时隔半年大幅更新

  •  3
     
  •   tomxin7 · 100 天前 · 2391 次点击
    这是一个创建于 100 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网站地址

    去年 12 月份,准备换一套离公司更近的房间,突发奇想写了“简单找房”这个网站,得到了很多同学的支持,期间也没有怎么宣传,断断续续服务了几千位同学,用户不算多。
    之前无论是用邮件还是第三方微信推送服务,稳定性和体验都不是很好,没有完全的达到简单的称号。索性自己申请了一个服务号,现在只需要简单 4 步就可以添加一个找房任务。豆瓣租房还有一个问题是中介和虚假信息实在太多了,所以近期还加上了过滤规则,可以有效的过滤大部分的无效信息。

    运行原理(开局一张图,其他全靠编)

    image.png

    更新内容:

    1. 独立微信推送服务号,使用起来更便捷
    2. 新增房源过滤规则,过滤大部分虚假房源
    3. 优化爬虫服务

    过滤规则:

    1. 同一 ID 大量刷帖会被过滤
    2. 同一帖子回复过多,目前过滤回应数大于 5 的帖子
    3. 不同 ID 发布相同内容的帖子会被过滤
    4. 人工维护房源 /ID 黑名单会被过滤
    5. 用户投诉达到一定次数的帖子和 ID 会被过滤

    技术选型:

    • 前端:Amaze UI
    • 后端:Java8、SpringBoot、SpringData
    • 爬虫:Python 3.6

    后话:

    等有时间想把微博给适配一下
    如果需要添加城市或者想交流的朋友,欢迎添加我的微信。
    image.png

    20 回复  |  直到 2019-11-13 09:16:10 +08:00
        1
    herozzm   100 天前 via iPhone
    你等着查水表吧
        2
    tomxin7   100 天前
    @herozzm #1 哈哈,其实没有存豆瓣的数据,推送出来的只是豆瓣地址,还是需要跳到豆瓣的。
        3
    waler   100 天前 via Android
    表哥加个郑州吧
        4
    LevineChen   100 天前 via iPhone
    快知 app 里引用豆瓣小组机器人加关键词过滤就可以实现你的需求
        5
    tomxin7   100 天前
    @LevineChen #4 嗯嗯,快知很棒,期待安卓版
        6
    tomxin7   100 天前
    @waler #3 已添加,要强制刷新一下前端
        7
    williamherry   99 天前
    微信登录扫描完空白页啥都没有
        8
    tomxin7   99 天前
    @williamherry #7 扫描登录后应该网页会自动跳转的,方便留个联系方式吗?
        9
    yl666   99 天前
    已 star
        10
    547674115   99 天前
    还挺不错,加油楼主。
        11
    Naive1   99 天前
    @LevineChen 请问可以给个邀请码吗?
        12
    LevineChen   99 天前 via iPhone
    @Naive1 我没了 关注他们公众号就能获取
        13
    zhangchao12cn   99 天前 via iPhone
    @herozzm 豆瓣用户发贴著作权及使用权归用户还是豆瓣
        14
    hcy1996   98 天前
    接口 500 了
        15
    tomxin7   98 天前
    @hcy1996 #14 哪个接口呢
        16
    qwertqwert12345   96 天前
    既然只是提醒,提供一个非微信登录的入口会比较好,比如邮箱
        17
    tomxin7   96 天前
    @qwertqwert12345 #16 之前有邮箱的,但是基本会把豆瓣内部的链接判断为垃圾邮件,不加白名单很难收到提醒消息。
        18
    gogo88   95 天前 via iPhone
    @Naive1 17J8RQT5
        19
    tikazyq   95 天前
    可以把你的爬虫放到爬虫管理平台 Crawlab 上,方便管理爬虫、监控任务

    https://github.com/tikazyq/crawlab
        20
    williamherry   2 天前
    @tomxin7 不好意思没看到 V2EX 的消息
    关于   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3974 人在线   最高记录 5043   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.3 · 30ms · UTC 07:33 · PVG 15:33 · LAX 23:33 · JFK 02:33
    ♥ Do have faith in what you're doing.