[简单找房] 自动爬取豆瓣房源，时隔半年大幅更新

[tomxin7]

网站地址

• http://house.jiandan.live

去年 12 月份，准备换一套离公司更近的房间，突发奇想写了“简单找房”这个网站，得到了很多同学的支持，期间也没有怎么宣传，断断续续服务了几千位同学，用户不算多。
之前无论是用邮件还是第三方微信推送服务，稳定性和体验都不是很好，没有完全的达到简单的称号。索性自己申请了一个服务号，现在只需要简单 4 步就可以添加一个找房任务。豆瓣租房还有一个问题是中介和虚假信息实在太多了，所以近期还加上了过滤规则，可以有效的过滤大部分的无效信息。

运行原理（开局一张图，其他全靠编）

更新内容：

1. 独立微信推送服务号，使用起来更便捷
2. 新增房源过滤规则，过滤大部分虚假房源
3. 优化爬虫服务

过滤规则：

1. 同一 ID 大量刷帖会被过滤
   
2. 同一帖子回复过多，目前过滤回应数大于 5 的帖子
   
3. 不同 ID 发布相同内容的帖子会被过滤
   
4. 人工维护房源 /ID 黑名单会被过滤
   
5. 用户投诉达到一定次数的帖子和 ID 会被过滤
   

技术选型：

• 前端：Amaze UI
• 后端：Java8、SpringBoot、SpringData
• 爬虫：Python 3.6

后话：

等有时间想把微博给适配一下
如果需要添加城市或者想交流的朋友，欢迎添加我的微信。

[herozzm]

你等着查水表吧

[tomxin7]

@herozzm #1 哈哈，其实没有存豆瓣的数据，推送出来的只是豆瓣地址，还是需要跳到豆瓣的。

[waler]

表哥加个郑州吧

[LevineChen]

快知 app 里引用豆瓣小组机器人加关键词过滤就可以实现你的需求

[tomxin7]

@LevineChen #4 嗯嗯，快知很棒，期待安卓版

[tomxin7]

@waler #3 已添加，要强制刷新一下前端

[williamherry]

微信登录扫描完空白页啥都没有

[tomxin7]

@williamherry #7 扫描登录后应该网页会自动跳转的，方便留个联系方式吗？

[yl666]

已 star

[547674115]

还挺不错，加油楼主。

[Naive1]

@LevineChen 请问可以给个邀请码吗？

[LevineChen]

@Naive1 我没了 关注他们公众号就能获取

[zhangchao12cn]

@herozzm 豆瓣用户发贴著作权及使用权归用户还是豆瓣

[hcy1996]

接口 500 了

[tomxin7]

@hcy1996 #14 哪个接口呢

[qwertqwert12345]

既然只是提醒，提供一个非微信登录的入口会比较好，比如邮箱

[tomxin7]

@qwertqwert12345 #16 之前有邮箱的，但是基本会把豆瓣内部的链接判断为垃圾邮件，不加白名单很难收到提醒消息。

[gogo88]

@Naive1 17J8RQT5

[tikazyq]

可以把你的爬虫放到爬虫管理平台 Crawlab 上，方便管理爬虫、监控任务

https://github.com/tikazyq/crawlab

[williamherry]

@tomxin7 不好意思没看到 V2EX 的消息