喜欢写爬虫,感觉好难找工作

2016-07-06 21:07:44 +08:00
 liangmishi
学了很长一段时间 web ,自己用 tornado 做过博客,但是更喜欢爬虫

可是工作感觉很难找,纠结要不要重新拿起 web
20972 次点击
所在节点    Python
75 条回复
jasonlz
2016-07-07 11:00:15 +08:00
爬虫只是手段,爬了之后做的事情才是关键,没有爬虫工程师,只有数据工程师。
zhengkai
2016-07-07 11:19:06 +08:00
只喜欢踢点球,哪个球队都不收我
gouwudang
2016-07-07 11:39:37 +08:00
楼主考虑南京么?我们有爬虫和日志分析岗位的需求,欢迎勾搭: job@gwdang.com
chesterwang
2016-07-07 11:40:17 +08:00
@jasonlz
sweb
2016-07-07 11:46:37 +08:00
@notgod Google 一个站 1Kip/天还真不太好搞, 10 个站 1Wip/天 更不好搞了。
Reign
2016-07-07 12:01:10 +08:00
如果你能把爬虫验证码写个算法破解了,找工作就简单了
chenkun0128
2016-07-07 12:49:35 +08:00
最终还是要分析挖掘数据的价值,不然只是爬没有实质意义
notgod
2016-07-07 12:54:17 +08:00
@clearbug 侵权的问题很容易解决
2 个方案
1 直接使用俄罗斯 罗马尼亚服务器 没 dmca 问题
2 内容放美国,
真实内容放美国,
俄罗斯 vps 安装一个 nginx 做反向代理美国内容

为访问速度快,全部使用 cloudflare cdn 加速
投诉都投诉到俄罗斯 罗马尼亚的 IP 。没 dmca

这些都是我的积累。只是作为参考 让你少走弯路
这样算不算解决了投诉问题? 为什么我这么聪明?而你还没想到?

我又膨胀了 不说了 老板让搬砖去了 不然今天馒头都没了
notgod
2016-07-07 12:57:11 +08:00
@sweb 不难
所以说你前期会先走些弯路 找到正确姿势 就不难了
谷歌的 一般不太稳来源 流量一会高一会低
我不会告诉你我每天谷歌来源多少流量的
notgod
2016-07-07 13:06:20 +08:00
好 我举个例子省的说我放卫星
我以 jav 这个被越南人承包了谷歌排名前 n 页的例子来说

卫道士免入

搜索
挂 ss 的 谷歌加 ncr 以后
搜索 jav +图书馆 的英文

得到一个网站
数据来源 日本 dmm 。每天流量看 alexa

其他的 搜索 jav
排名前的 me 域名的 那些站 每个月收入不低于$5 万
网站流量推测可以使用
https://www.similarweb.com/
这个工具计算网站真实流量相对精准
注意 web 和 mobile 是分开的
看看他们流量占比国家 根本和中国没什么事 全日本 美国 欧洲。这样的流量价格是中国的 3-5 倍


这些站都不是我的 都越南团伙做的

学无止境 抱着学习的态度 接受所有信息 提取对自己有用的
保持学习的精神 善良些 友善些
notgod
2016-07-07 13:07:58 +08:00
@pyengwoei 见上贴
其他不方便说太多 可以加我微信 私下交流
见主页 博客 头像 扫码加我
pypy
2016-07-07 13:09:15 +08:00
@liangmishi 真想找这样的工作,请留下联系方式。立刻可以有面试机会。地点魔都。
h4x3rotab
2016-07-07 13:22:32 +08:00
国内为什么对爬虫需求这么大
peter999
2016-07-07 13:23:33 +08:00
去金融公司应聘,需要抓各种网站数据来增信,需求量很大
liangmishi
2016-07-07 13:42:41 +08:00
@pypy jtwmyddsgx 163.com
liaa
2016-07-07 14:03:30 +08:00
@liangmishi
楼主我就帮你 @一下这个写爬虫的人: @binux ,他都在楼上回你贴了~居然不抱下大腿
liangmishi
2016-07-07 14:37:56 +08:00
@binux 蹲了很多天 v2 的招聘帖,基本上都是 web ,这才会纠结,大腿,让我抱抱你可好,不然总有孤身奋战的感觉
liangmishi
2016-07-07 14:40:39 +08:00
@suber 没找很长时间,长期潜水在 v2 上,感觉都是 web
pypy
2016-07-07 14:45:29 +08:00
@liangmishi 已经给您发了邮件,请查收。期待您的加入。
pyengwoei
2016-07-07 15:26:59 +08:00
@notgod 帖子里面看到有你的联系方式

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/290722

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX