这是一个创建于 1025 天前的主题,其中的信息可能已经有所发展或是发生改变。
岗位职责:
1 、负责米哈游舆情系统、竞品分析等项目的数据爬取、解析、清洗、入库等日常工作;
2 、维护好日常爬取脚本的正常运作与规则的有效性;
3 、与大数据工程师对接,完成实时数据与离线数据的爬取与入库;
4 、持续优化系统提高系统的稳定性。
岗位要求:
1 、2 年及以上爬虫、反爬虫研发经验;
2 、精通 python 开发,熟悉使用 scrapy 、selenuim 等常用开源爬虫框架;
3 、熟悉 HTTP 协议、HTML 、DOM,并有一定的 JavaScript 能力;
4 、熟练使用 Xpath 、正则表达式或 Beautiful Soup 任一种解析框架;
5 、熟练使用 splash 、浏览器内核等工具解析动态页面;
6 、熟悉多线程、网络编程以及分布式爬虫架构开发场景;
7 、熟悉使用 Redis 和任意一种常见的分布式消息队列;
8 、熟练使用模拟登陆、UA 池、动态代理、IP 池等常规伪装手段;
9 、熟悉常规反爬虫手段以及常见的解决方案,有一定的逆向工程能力;
10 、有过爬取主流社区网站经验;
11 、熟悉解决去重、分类、垃圾过滤等问题更佳;
12 、熟练使用 Mysql,熟悉 Nosql 数据库等,有大数据开发相关经验更佳;
13 、本科或以上学历,计算机相关专业。
联系微信 base64: enk0NjAxNjAyMzE=
|
|
1
RLinux 2021-06-08 10:35:49 +08:00
现在都这么直接的吗~~
|
|
|
2
paopjian 2021-06-08 10:36:55 +08:00
这是友商还是故意自黑的?这么直接
|
|
|
4
luoqeng 2021-06-08 11:39:40 +08:00
出了事就是临时工干的
|
|
|
5
feiniu 2021-06-08 13:02:42 +08:00
薪资都没?
|