Python 爬虫工程师如何规划职业发展路径？

[Aleph]

一直做爬虫会不会路越走越窄？转方向的话有什么好的建议吗？想听听各位大佬看法。

[zbwu]

建议定位是软件工程师

[airqj]

爬虫写得好 牢饭吃到饱

[wujieyuan]

Python 爬虫工程师是啥个职位? 写个爬虫应该是个程序员顺便的事情吧, 就这么点小事情还专门分类工程师?

[zhangslob669]

转 JAVA

[malusama]

爬虫工程师和别的工程师路径不一样么, 会点亮什么不一样的技能

[w568w]

建议转型去搞 Data Analysis。
话说爬虫工程师是什么职务？

[SpencerCJH]

写爬虫就不是写后端了???别把自己路走窄了啊

[nightwitch]

初级爬虫工程师->中级爬虫工程师->监狱车间标兵

[andylsr]

当然是做一个搜索引擎

[qixiangyangrm]

有爬虫工程师这个职位。

个人认为转的方向有两个：

1. 后端开发工程师

2. 数据挖掘 /大数据工程师

可以根据个人爱好及自身能力选择。

PS 我是从爬虫转到后端开发

[locoz]

我一前同事：爬虫工程师-逆向工程师-Android 开发工程师-律师

[neoblackcap]

@locoz 司法那么难考都过了啊！是个人才

[ericgui]

其实没有爬虫工程师这个职位的

你本来做数据分析的，没数据咋办，爬啊，
这样的思维方式才合理

你就一个天天爬数据的，这有什么前途和发展？

[ksedz]

前面有些人好逗，是不是觉得爬虫工程师就是发个 http 请求等响应啊

建议：换个技术方向

爬虫方向主要问题：
1. 不友好的法律环境
2. 跟随他人的脚步走，被动，耗精力
3. 工程方面的共同问题，老板认为你积攒的经验匹配不上期望的薪资，更倾向经验较少但便宜聪明的员工

可以考虑
1. 趁着工资低喜欢哪个换哪个
2. 上面有人提到的逆向
3. 另外有人提的往数据分析上靠，其实这个能继续细分，包括商业的分析能力、大数据开发、机器学习等
4. 直接切到 web 开发上，这个最简单，但发展也很看机遇

[locoz]

@ksedz #14 毕竟是个后端都能做爬虫，不就是个 HTTP 请求而已嘛🐶

[gimp]

有没有这个职位用招聘软件搜一下不就知道了 😀

合格的爬虫工程师，CSS / XPATH 选择器应该比前端工程师用的更 6，维护代理池，验证码识别，网站反爬机制研究，爬虫异常告警，针对 js 渲染的网站先渲染再解析

引入业务的场景下，爬虫不仅是抓数据，还会提交数据，比如海淘代购类，可能需要维护几十乃至上百个国外购物网站的抓取与自动化下单程序，异常处理的情况会多到怀疑人生，还是比较吃经验的

---

下面回答楼主问题

1，是的，大多数情况下爬虫工程师的路越走越窄。

2，建议别给自己贴个爬虫工程师的标签，统称为 “软件工程师”

[cz5424]

换工作

[DeWhite]

要么深入网页逆向，要么做大数据。
爬虫只是个技能呀 //

[different]

@locoz 你那叫做会发送 HTTP 请求，跟爬虫真正要做的事差远了。
你这个定义跟这个定义没差别："后端谁都会，不就是增删改查数据库吗？"

建议你参考 16 楼。

举例子，你要是想模拟登陆某些页面（如腾讯，阿里等），你得搞懂前端的 js 加密流程。如果你得爬一下 app 的数据，也可能需要逆向查看一些加密项（抖音了解一下）。再不济，你可以去爬爬淘宝的商品试试，有个反爬虫机制，遇到验证码，你得想办法绕过去或者识别。

这是一个是个后端都会的事情吗？🐶

[different]

@different 补充一点，爬虫应该不仅只用到 http 协议吧。