熟悉 scrapy+scrapy-redis 组件来实现增量式及分布式爬虫，对目标网站进行大规模爬取后存入 Mysql 数据库；
实现异步多任务爬取，单次爬取全站，更新周期为月度或者季度
熟悉处理网站的各种反爬（验证码、代理池等）；
有 3 年以上大量数据的爬取开发经验
熟悉 xpath 、RE 、str 方法对数据进行抽取与清洗
熟悉 redis 及 Mysql 数据的存入
良好的编码能力（代码架构/注释）、良好的学习能力（业务沟通及理解）、分析问题解决问题的能力（突破反爬）；
vx(base64):ODUwNzc5NDk1IA==
这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.