爬虫面试，让面试者手写一段简单并发请求和解析数据的伪代码过分不？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1950 天前的主题，其中的信息可能已经有所发展或是发生改变。

因为要直接上手工作，不过分我就打算这样搞了，都觉得过分那我就还是老老实实的问点别的

过分

面试

并发

老老实实

12 条回复

lanpong

2019-08-26 16:26:14 +08:00

伪代码不过分。写不出来也可以问思路什么的。

lihongjie0209

2019-08-26 16:29:19 +08:00

List<Data> = doParse(doRequest())

FantasyPupil

2019-08-26 17:05:26 +08:00

伪代码不过分，之前面试让我手写真实代码。差点就直接爆炸了。

wersonliu9527

2019-08-26 17:18:25 +08:00

'CONCURRENT_REQUESTS': 100,
'CONCURRENT_REQUESTS_PER_IP': 100,
'REACTOR_THREADPOOL_MAXSIZE': 20,
response.xpath()
万一只会这个呢 0.0

iPhoneXI

2019-08-26 17:21:12 +08:00 via Android

这个好啊，写不出来可以可以淘汰了，写出来后可以可以继续问并发编程的实现，进程线程协程事件循环锁进程池线程池

jss

2019-08-26 23:36:32 +08:00 via iPhone

很正常，以前面试我都手写 SQL

Leigg

2019-08-27 07:59:55 +08:00 via Android

没问题

locoz

2019-08-27 14:27:39 +08:00

不过分，但没必要，因为这问题看不出来啥水平...如果贵司有自己内部的爬虫框架的话，并发请求应该是一个框架最基础的功能；而解析数据的话就是苦力活，有需要的话图形化之后鼠标点几下都能生成。

个人认为问这种东西不如问问“搞过哪些网站”、“碰到过什么样的问题”、“碰到过最难搞的网站是什么”之类的问题，然后再让面试者细化描述，从浅入深了解一下对方，就能大概知道是什么水平了。

aieike

2019-08-27 17:33:45 +08:00

我觉得爬虫, 一是经验, 见多识广, 二是灵活变通, 可以见招拆招

aieike

2019-08-27 17:34:48 +08:00

当然, 量大简单的, 就是另一种了, 爬虫稳健和性能提升

lic2zac

2019-08-30 19:11:50 +08:00

@locoz 我就是想搞点花的，老问这些感觉都腻了>_>!

locoz

2019-08-31 07:58:08 +08:00 via Android

@lic2zac #11 😂搞点花的但是看不出水平的话，招进去个坑比不是更难受吗？