抓取拉勾网的招聘信息并用图表进行展示，欢迎各路大神提出意见

[ioiogoo]

前段时间一直也没什么事，所以做了这么一个小项目，爬取了拉勾网八万多的招聘信息(2016.8.16 号左右)，并将其按照城市、职业、薪资水平分类展示，并可以点击查看任意小分类下具体职位信息，网站还有很多东西需要完善，所以还请大家提点意见。在线 demo ： 互联网行业招聘需求分析，图表信息是可以点击的哦。

招聘信息来源

• 用 scrapy 爬取拉勾网的招聘信息，涉及 226 座城市、 152 种职业类型的共 87161 个招聘信息
• 数据存储在 mysql 数据库
• 项目地址：Lagou_spider

部署方式

网站搭建在小水管上，所以打开速度不是很快，见谅

• 采用 nginx + gunicorn + flask 的方式

前端展示

由于本人渣渣前端，所以展示效果已经尽力。点击具体图表可以进入具体模块的详细信息

• 前端采用 Boostrap 框架
• 图表生成用的 C3.js
• 项目地址：internet_job_analysis

TODO

• 专门针对 Python 做一份详细的分析图表
• About Me 页面

希望各路大神走过路过看一看，提点意见，谢谢

[CoSpLi]

话说我之前也爬过。。然后因为某些原因项目搁置就 GG 了= =

[li24361]

支持一个，拉钩有个接口直接返回 json ，很是良心，省去了解析 html 的工作，但是我还是忍不住说一点，拉钩的工资，太特么虚了，跟实际对不上

[wangtuyi]

https://imgur.com/a/ZAyjM

[sunyaxiongnn]

正在学习爬虫，观摩下代码，更要学习楼主的动手精神

[ioiogoo]

@wangtuyi 感谢指正，因为之前调整了下排版，有些细节地方忘了修改

[ioiogoo]

@li24361 对的，我也是直接返回 json 的，具体可以看我的爬虫代码，但是基本上很快的时间就能封掉一个 ip ，所以我还写了一个免费代理的爬虫项目。另外拉勾上的工资一般都是取下限的，虚高很正常，互联网行业本身就有很多泡沫

[katos]

赞一个

[Tom008]

java 工作量是 c++的 5 倍左右 ！这尼玛

[tntC4stl3]

@li24361 所以我觉得一般先问，给不给得到 xx ，不然不用继续了。

[luofei23]

很厉害！因为最近我也想用拉勾网练习爬虫技术。没想到您已经做的这么完善了。请问一下如果做成这一个项目，爬虫，数据处理，前端页面，然后以这个项目去求职可行吗？？最近转行中，感觉没有能拿出手的项目。谢谢。

[ioiogoo]

@luofei23 应该是可以拿去求职的吧，我不太清楚，但是这个说实话也没太多的技术含量，自己玩玩还可以。如果你要做一个求职的项目的话，专注一个方向，前端就前端，后端就后端，一个方向深入下去可能好点

[ioiogoo]

@katos 感谢

[gzxultra]

看文件结构一点都没看出来是 flask...话说 pyc 不要加到版本控制里啊....

[ioiogoo]

@gzxultra flask 用 blueprint ，结构不就是这样的吗？还有，额，版本控制里本来就没有 pyc 啊，看错了？

[gzxultra]

@ioiogoo 抱歉看的 Lagou_spider

[tikazyq]

https://zhuanlan.zhihu.com/p/20217862