用机器学习预测薪水

[wh0syourda66y]

互联网薪水预测

先保证安装了必要的软件库

git clone https://github.com/origingod/salary-prediction-with-machine-learning
pip install -r requirements.txt

首先，先抓取数据，目前我的记录是抓取了10w条，大概有100w~500w条记录

前置性能优化：

• 1.启动redis

$ redis-server

• 2.启动celery

$ celery -A Tasks worker --loglevel=info

运行

python DataCrawer.py

会在目录下面生成一个带时间标识的csv文件

接下来，生成数据训练集

运行

python DataAnalyser.py

上一步会自动处理数据并生成一个预测子名为clf.pkl存放于当前目录，看到clf知道怎么用的都不用说了吧，接下来主要调准精度。

训练模式 输入：

• 数据1: Job Description
• 数据2: 薪水数量

最后

预测模式 输入：

• 数据1: Job Description

输出：

• 数据1: 薪水数量

链接： https://github.com/origingod/salary-prediction-with-machine-learning 可以友情加Star~

[hitmanx]

数据是从哪里抓取的？

[wh0syourda66y]

@hitmanx 爬了拉勾的数据，不好直接贴出来哈

[scream7]

找了好久发现是逻辑斯蒂回归，可以试试SVM等其他的比较下

[wh0syourda66y]

@scream7 是RBM+Logistic 回归

[julyclyde]

看到Celery觉得好亲切。最近正在玩Sentry呐

[wh0syourda66y]

@julyclyde 然而跟Celery没什么关系，只是拿来当任务队列而已

[wudikua]

能分享一下预测完的结论么

[mahone3297]

拉钩的数据，会不会不准？不是都说是偏高的么？

[TakanashiAzusa]

拉勾的普遍偏高。。。

[pp3182429]

用机器学习聚类萌妹纸
https://github.com/albin3/black-and-white-photo
==#

[wh0syourda66y]

@pp3182429 乱入了。。

[bbking]

lz可以说一下思路不?

[wh0syourda66y]

@bbking 数据获取——数据整理——持久化——数据分割——（建模&调优的循环）——出成果

[pp3182429]

@wh0syourda66y 哈哈~

[pp3182429]

@wh0syourda66y 楼主建模用的是函数拟合么？

[wh0syourda66y]

@pp3182429 恩，比较粗糙，你有兴趣的话，把参数调少一点跑一跑。

[yhxx]

不管输入什么都是15K？

[freezhan]

@yhxx 真输入自己的简历只有 11K (比实际的高...) 乱输入的都是 15k, 哭瞎~

[wh0syourda66y]

@freezhan 摸头，不哭不哭

[wh0syourda66y]

@freezhan 对了可以跳槽了。哈哈