爱奇艺招聘分布式爬虫工程师

[kenwell]

• 爱奇艺福利： 14 薪、 12 天年假，超一流的行政团队，日常活动多多
• 团队介绍：我们是一个信仰技术的团队，在这里，我们用技术说话，相信技术改变生活。目前团队负责全网视频、全网娱乐、资讯等新闻内容的抓取、分析和处理，是视频行业最成功的爬虫之一，目前支撑的数据量是 YouTube 的一半左右，大大超过中国同类网站，我们热衷于吸纳流行的技术如 docker 、 grails 、 hbase ，通过技术革命提高生产力。

薪资： 20k+，能力优秀者不受限

工作职责：

• 负责爱奇艺分布式爬虫设计和开发
• 负责网页数据抽取、数据清洗和数据挖掘
• 核心调度算法的开发和研究，最大效率提高爬虫下载速度
• 破解主流网站和 app 的反爬机制

职位要求：

• 熟练掌握 JAVA 开发，熟悉分布式应用开发原理，熟练掌握多线程开发
• 掌握常用的数据如 redis 、 hbase 、 mongodb 等
• 熟悉常用的 mq
• 熟练掌握 http 协议，以及 NIO ， apache http client
• 了解网站开发、 HTML 、 css 、 js 以及 ajax ，都熟悉加分
• 有反爬机制研发经验加分，有破解主流网站抓取接口经验加分
• 以上框架深入原理加分

工作地点：北京

联系方式： shuaiweiliang#qiyi.com

[gjbmxy]

应届生能投吗？

[kenwell]

@gjbmxy 应届生欢迎参加我们的校园招聘，近期就可以开始，你可以把简历发到我邮箱： [e-mail], 内推下。

[tkpc]

结果每个视频加 20 秒广告?
还赶上 YB 了...

[gjbmxy]

@kenwell 好的，麻烦您了。邮件已发送~~

[billion]

如果你们需要 Python 爬虫工程师的话，我可以试一试。我有破解爱奇异反爬虫机制的经验。

[Coder0]

应该是类似 webMagic 的 Java 爬虫

[22too]

哈哈哈，你们就在我们公司隔壁，要不要去你们那边喝个水？

[Reach]

“破解主流网站和 app 的反爬机制”，很好奇用来做什么

[llopppp]

@Reach 应该是爱奇艺大全这种聚合索引，要爬到地址上的标题 /视频长度 /视频截图 /视频简介等

[kenwell]

@billion 谢谢，我们目前开发语音是 Java 。

[kenwell]

随时欢迎过来聊聊