[爱奇艺] 招聘分布式爬虫负责人

2016-11-08 22:58:10 +08:00
 kenwell

爱奇艺福利: 14 薪、 12 天年假,超一流的行政团队,日常活动多多 团队介绍:我们是一个信仰技术的团队,在这里,我们用技术说话,相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理,是视频行业最成功的爬虫之一,目前支撑的数据量是 YouTube 的一半左右,大大超过中国同类网站,我们热衷于吸纳流行的技术如 docker 、 grails 、 hbase ,通过技术革命提高生产力。

薪资: 30k+,能力优秀者不受限

##工作职责:

职位要求:

爱好技术的你,简历准备好了么?发送到 shuaiweiliang##qiyi.com ##替换成 @

2444 次点击
所在节点    酷工作
9 条回复
golmic
2016-11-09 00:39:07 +08:00
为什么用 java 而不是 python 呢
yidinghe
2016-11-09 08:34:02 +08:00
可能团队其他人也用的 java 吧
vus520
2016-11-09 10:40:18 +08:00
为什么用 java 而不是 go 呢
awolfly9
2016-11-09 11:56:07 +08:00
为什么用 java 而不是 python 呢
gouchaoer
2016-11-09 12:18:16 +08:00
作为一个用 php 搞爬虫的码农来说,这个技术栈很靠谱…… py 和 go 论性能、生态、靠谱的第三方库和稳定性都不如 java
gouchaoer
2016-11-09 12:24:37 +08:00
最搞笑的是 go 语言拿来搞爬虫,你第三方库都不够成熟怎么搞,内容处理很琐碎的, go 除了 goroutine 和可以直接编译成无依赖二进制别的乏善可陈。爬虫高并发根本就不是问题,我 php 直接 guzzle 也可以异步并发在小 cpu 消耗+小内存消耗下跑满带宽,协程只是把异步以同步方式来写,性能上不会有本质区别。。。。论异步 http , php 都可以打 go :

韩天峰-Rango
11 月 7 日 10:17 来自 微博 weibo.com
PHP7+Swoole 的 http 服务器和 Go 的 Http 服务器,在我的电脑上进行基准测试, Swoole 的性能总是 Go 的 2 倍。
https://github.com/swoole/swoole-src/blob/master/benchmark/http.php
https://github.com/swoole/swoole-src/blob/master/benchmark/http.go
eoo
2016-11-10 08:45:16 +08:00
@gouchaoer PHP 是世界上最好的语言
kenwell
2016-11-28 14:59:15 +08:00
@golmic 主要是现有的同学都主要使用 Java
kenwell
2016-11-28 14:59:43 +08:00
@gouchaoer 有懂行的。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/319119

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX