有没有做爬虫的 V 友看工作的啊,急需 5 个伙伴, base 深圳

2021-03-10 18:00:34 +08:00
 derekxu18
公司介绍:
东信成立于 2004 年,专注于移动互联网的研究,以移动技术为驱动,集移动技术研发、移动媒体运营、移动公关和整合营销服务于一体,致力于中国区域市场和移动受众的定向研究,为商业客户提供移动跨媒体整合营销传播服务,是中国内优秀的本地移动营销服务提供商。截至目前,公司总共有 600 名左右的员工,且东信已在国内 20 多个重点城市设立本地化营销分支机构。
职责描述:
1 、负责设计、开发、维护、重构分布式爬虫系统;
2 、参与数据层建设,专注于垂直领域数据爬取,进行多平台信息的抓取和分析;
3 、设计爬虫反屏蔽规则,提升网页抓取的效率和质量;
4 、负责大规模爬虫系统的核心技术研究和开发;
5 、实现数据提取、清洗、结构化、入库、统计分析等需求。
任职要求:
1 、本科学历,计算机相关专业,3 年以上爬虫开发经验;
2 、Pyhton 语言基础扎实,有良好的编程功底和编码习惯;熟悉 java 优先;
3 、熟悉 HTTP 、HTTPS 等网络协议及数据抓包、分析;
4 、掌握相关的数据存储工作,掌握 mysql 、redis 、mongodb 、es 、hbase 等相关技术,有数据库调优的经验;
5 、必须熟悉 app 数据爬虫,熟悉 pc 端数据采集;
6 、熟悉反爬机制,处理账号限制、复杂验证码、模拟登陆等疑难问题;
7 、熟悉 js 逆向、app 逆向优先;
8 、具备大规模爬虫系统设计能力,熟悉评论采集等常见数据采集任务。
我的 wechat ID 是 dereckxu,感谢了。。
1484 次点击
所在节点    酷工作
4 条回复
jatai
2021-03-10 19:01:10 +08:00
牢友记
BlackZhu
2021-03-10 20:19:14 +08:00
爬虫写得好 下一句!
ErwinCheung
2021-03-10 21:00:48 +08:00
爬虫还一次性要五个小伙伴吗
zeromake
2021-03-11 12:07:20 +08:00
@ErwinCheung 这样可以背 5 次锅啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/760426

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX