[爱奇艺] 招聘分布式爬虫负责人

[kenwell]

爱奇艺福利： 14 薪、 12 天年假，超一流的行政团队，日常活动多多 团队介绍：我们是一个信仰技术的团队，在这里，我们用技术说话，相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理，是视频行业最成功的爬虫之一，目前支撑的数据量是 YouTube 的一半左右，大大超过中国同类网站，我们热衷于吸纳流行的技术如 docker 、 grails 、 hbase ，通过技术革命提高生产力。

薪资： 30k+，能力优秀者不受限

##工作职责：

• 负责爱奇艺分布式爬虫设计、代码审查以及项目难点攻关
• 负责爬虫智能化算法设计和开发
• 破解主流网站和 app 的反爬机制
• 搭建团队和规划团队发展

职位要求：

• 熟练掌握 JAVA 开发，熟悉掌握分布式应用开发原理，熟练掌握多线程开发，熟练掌握设计模式
• 掌握 jvm 调优，有线上调优经验
• 良好的计算机素养
• 掌握常用的数据库如 redis 、 hbase 、 mongodb 等
• 熟悉常用的 mq
• 熟练掌握 http 协议，以及 NIO ， apache http client
• 了解网站开发、 HTML 、 css 、 js 以及 ajax ，都熟悉加分
• 有反爬机制研发经验加分，有破解主流网站抓取接口经验加分
• 以上框架深入原理加分

爱好技术的你，简历准备好了么？发送到 shuaiweiliang##qiyi.com ##替换成 @

[golmic]

为什么用 java 而不是 python 呢

[yidinghe]

可能团队其他人也用的 java 吧

[vus520]

为什么用 java 而不是 go 呢

[awolfly9]

为什么用 java 而不是 python 呢

[gouchaoer]

作为一个用 php 搞爬虫的码农来说，这个技术栈很靠谱…… py 和 go 论性能、生态、靠谱的第三方库和稳定性都不如 java

[gouchaoer]

最搞笑的是 go 语言拿来搞爬虫，你第三方库都不够成熟怎么搞，内容处理很琐碎的， go 除了 goroutine 和可以直接编译成无依赖二进制别的乏善可陈。爬虫高并发根本就不是问题，我 php 直接 guzzle 也可以异步并发在小 cpu 消耗+小内存消耗下跑满带宽，协程只是把异步以同步方式来写，性能上不会有本质区别。。。。论异步 http ， php 都可以打 go ：

韩天峰-Rango
11 月 7 日 10:17 来自 微博 weibo.com
PHP7+Swoole 的 http 服务器和 Go 的 Http 服务器，在我的电脑上进行基准测试， Swoole 的性能总是 Go 的 2 倍。
https://github.com/swoole/swoole-src/blob/master/benchmark/http.php
https://github.com/swoole/swoole-src/blob/master/benchmark/http.go

[eoo]

@gouchaoer PHP 是世界上最好的语言

[kenwell]

@golmic 主要是现有的同学都主要使用 Java

[kenwell]

@gouchaoer 有懂行的。