在苏州已经裸辞快两个月了，发现爬虫岗位真的约不到什么面试

[19091730135]

本人大专，毕业一年了，心态真的有点爆炸，感觉失业了

[bookbox]

名硕欢迎你

[mumuy]

爬虫门槛太低了。。。

[zpd2009]

大部分人对爬虫的印象还停留在 web 阶段。
现在的爬虫要求 app 逆向，脱壳，ollvm ，vmp ，风控，是一个技术要求非常高的岗位。
另一方面，能搞定逆向，脱壳，ollvm ，vmp 以后很多人也不愿意做爬虫了。因为再往后就涉及到风控了，现在的风控对抗都是机器学习在高，风控对抗这个东西对技术的提升就没有了，还特别花时间。

[mxT52CRuqR6o5]

@westoy 怪不得 chatgpt 替代不了程序员

[xiangagou]

之前做过几个公司的爬虫项目,都是大项目空了顺手学了做的,法律风险很大,挺担惊受怕的.你这全职估计要精通 tcp,socket 二进制数据逆向才行吧.

[tpxcer]

@zpd2009 学习了

[luzihang]

如何设计可配置低代码的数据采集平台；
如何上千万上亿的数据如何更新、调度；
如何监控爬取的异常；
任务调度系统如何设计；
如何对很多杂的项目，任务进行管理；
数据常用组件的使用 es kafka hive mongo 等；
如何设计反爬策略，攻防思维

现在这个大环境，要求高，才能抓到符合需求的高质量数据。