58 同城全国城市房屋信息爬虫

[Northxw]

  虽然大家都说 58 同城的假数据较多，可我还是按耐不住抓取的热情。代码已实现 Scrapyd 部署，反反爬措施，Mysql 异步存储，UA、Retry 中间件等主要功能。但代码存在某处 Bug, 欢迎提交 issue。也欢迎您来 pull, 希望自己能长期维护更新下去。

  Github 地址： https://github.com/Northxw/City58。欢迎 star。

[lavenderkissyou]

404 了

[lulinux]

搞这个东西是不可怕的

[rawidn]

律师函警告

[Northxw]

@lavenderkissyou emmm... 去浏览器访问, 应该可以进去的。

[Northxw]

@rawidn 额, 已添加公告, 若涉及侵权麻烦邮箱联系, 第一时间处理。

[Northxw]

@lulinux 额 比较隐晦的话题

[ccoming]

加链接最好后面多留一个空格，免得： https://github.com/Northxw/City58%E3%80%82%E6%AC%A2%E8%BF%8E

[Northxw]

@ccoming 抱歉抱歉<(_ _)>

[stop9125]

提几个建议
1.上传代码的时候去除多余的东西，类似于 _py* 和 *.pyc
2.密码不要暴露
3.那个 BUG 和邮箱服务关系不大，你可以再看一下

[Northxw]

@stop9125 嗯嗯，比如我在.git 设置了忽略.idea，但是我之前已经上传了；然后关于密码，都已经作过更改或者失效了，哈哈；然后，那个 Bug, 慢慢研究吧

[guyeu]

如果要 ignore 已经被 track 的文件，可以`git rm --cached ***`

[Northxw]

@guyeu 感谢感谢(❁´ω`❁)

[BB0923]

好东西，小白怎样使用？

[mokeyjay]

58 的假数据不是较多，而是基本全都是= =

[Northxw]

@BB0923 要不你先去快速入门爬虫？挺简单的。

@mokeyjay 额，小姐姐，这个我真的就不知道了。。。

[li02]

去年搞了个跑在 Console 里的爬虫,爬自己的城市足够了

[Northxw]

@li02 部署到远端 server 了吧

[li02]

@Northxw 记不清了,记得只是输出 CSV 文件,优点就是方便

[Northxw]

@li02 都行的, 部署完后, 数据处理方式看自己啦

[luoleng]

楼主研究过那个手势验证码嘛？