招聘-远程<爬虫工程师>

9 小时 29 分钟前
 nini0804
岗位职责:
1.负责爬虫系统的核心技术研究、架构设计、系统规划
2.负责爬虫核心算法的策略优化,提升网页抓取的效率和质量
3.研究各种网页、微信、app 接口,实现多通道抓取
4.反爬策略的设计及优化
5.负责业务需求分析、系统设计、开发计划的制定与跟进
6.负责爬虫系统研发过程跟进、代码 review 、质量控制
任职要求:
7.根据项目需求攻破网站 APP 端防御系统后并爬取数据
1.负责开发网页数据的自动化爬取脚本程序及自动化解析脚本程序,清洗、分类已解析的互联网数据
2.负责自动化数据解析系统的部分模块开发,参与核心爬虫系统架构设计、数据库设计
分析爬虫系统的技术缺陷,对策略架构作出合理地调整和改进
3.2 年以上相关工作经验且精通 Python 语言,熟悉网路架构、爬虫程式原理,有开发爬虫框架及自动上传的经验优先
4.熟悉多线程、网路编成,精通网页抓取原理及技术,能从结构化和非结构化的数据中获取信息
5.熟练使用 MySQL 数据库,掌握 Redis 、MongoDB 、Hive 等常用 NoSQL"

联系方式:telegram:@bobi608
236 次点击
所在节点    酷工作
0 条回复

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1099709

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX