[有偿] 征大型爬虫的技术指导

[professorz]

我第一次接手一个比较大型的爬虫任务，要爬取一个千万级别的网站，所以要用到scrapy+redis多线程，分布式抓取，服务器配置等等，想找一个有这种经验的人讨教。我明白时间宝贵，所以愿意出钱作为学费，而且只需您辅助我的工作过程，给予一些指导。

[lonelygo]

我是来看3楼歪楼的

[flyingkid]

3L如果是写DHT爬虫的话我还是相信的。

[professorz]

@inter 你们不是用的python?用的啥？

[laotaitai]

@flyingkid 哈哈, 总算遇到懂行的了, 就是DHT爬虫. 这下子我没吹牛逼吧.

[linkupmylife]

我也玩过爬虫，爬完全是HTML，再用HTM转TXT之后放到EXCEL里筛选，非常麻烦。