怎么面试高级 Python 爬虫工程师

[MarsOnly]

我是做 java 的，好多年前用 java 做过爬虫。最近朋友让帮忙面试几个高级 Python 爬虫工程师，主要是从 0 搭建数据采集系统，主要是抓取一些新闻时事、自媒体网站的数据。

关于 Python ，我的水平仅限于能写一些简单的脚本和 flask 服务。了解了下现在 Python 爬虫这块儿主要是 scrapy ，打算趁着周末写几个小 demo 熟悉一下。

针对面试点，我自己结合自己的经验，打算围绕分布式爬虫系统的搭建、核心模块、反爬机制的策略、监控和预警这些。Python 这块儿朋友这边负责面试。

请教一下大家，除了我准备的这些点，还有哪些地方需要问一下的。或者说我准备的内容有不合适的地方也请大家指正一下。

[vitovan]

给他出个题，让他先爬个知乎看看。

/t/1067570

[Cooky]

爬虫就是个糟心的活，专门干这个职位不划算

[lucasj]

问计算机基础、编程修养、软件开发流程之类的就可以。你 java 问什么 python 啊，现学现用，怕不是给人看笑话。

[lasuar]

你一个 python 初级+爬虫初级，你说怎么面 python 高级爬虫？高级爬虫爬的也是 app 了，这些你也不懂，没法面。。

[naythefirst01]

现在爬虫重点先是反爬吧 然后是分布式这些正向开发能力，基本上都是先问有没有 XX 厂的商业产品逆向分析经验，如果不是大厂的话可以直接问他们的业务方向，有电商、社交平台、金融、AI ，“投其所好”就差不多了

[yoyo12]

爬了哪些网站，用了什么技术，能不能自动化。

[chi1st]

主要看岗位是主工程能力还是主逆向能力，工程能力就正常后端那些东西，逆向的话估计你也不太懂。。。

[ik]

没进去过的都不行，让对方在简历中附上改造经历🐶

[zcybupt2016]

爬虫主要问逆向吧，都高级了其它基础内容随便问问就好

[brianinzz]

说实话有点难而且你如果不懂很容易忽悠你
核心需要问的就是逆向能力 基本包括 加密算法逆向+过验证码
根据目标网站不同 加密算法也都不一样 验证码主流的也很多 顶象 极验 阿里 每个都有自己的特点
你没有上手做过你很难知道他是真的做过还是看一些文章忽悠你。
我觉得如果没有利益相关还是不要“帮”朋友做 找专业的人来吧
或者 业务很确定的情况下 你自己取爬一下这几个目标网站 看看有什么问题 跟面试问题结合结合

[aisk]

问问有什么对抗反爬虫的经验