爬虫架构师 岗位职责： 1.负责反反爬虫技术难点攻坚 2.参与分布式爬虫和数据采集系统的架构设计和开发 岗位要求： 1.五年以上爬虫工作经验，精通 Linux python 后端开发，熟悉 java 开发 2.丰富的电商数据爬取经验 3.熟悉大数据基础组件的使用，如 spark，hbase，hive，kafka 4.熟悉各类反爬虫策略，并有丰富的反反爬虫实战经验 5.加分项：大规模分布式爬虫开发经验、数据分析、机器学习建模能力
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.