[有偿] 征大型爬虫的技术指导

[professorz]

我第一次接手一个比较大型的爬虫任务，要爬取一个千万级别的网站，所以要用到scrapy+redis多线程，分布式抓取，服务器配置等等，想找一个有这种经验的人讨教。我明白时间宝贵，所以愿意出钱作为学费，而且只需您辅助我的工作过程，给予一些指导。

[jason52]

@gouwudang 哇，楼上在北邮人上发帖，最让我印象深刻的就是睡觉睡到自然醒。。。哈哈哈

[Anybfans]

突然感觉3L在360上班。。。

[gouwudang]

@jason52 谢谢关注，还在招人呢

[mengskysama]

之前我用了一台快到期的独服，24G内存，开了15台，特意申请了255个IP。
爬的是last.XX，用了近二十多天爬了将近1忆的专辑信息（几亿歌曲信息。

自己写的主从架构，只用了mysql，好像也没遇到什么瓶颈。
个人感觉爬其实挺好爬的。如果源没有限制特别死或者太坑爹反爬虫策略的话

[nine]

pyspider吧，很好用。。

[2dog]

@laotaitai 同学有兴趣挑战一下BAT的一家反抓取策略么？可外包，一天上亿条

[laotaitai]

@2dog 先简单给说说是个啥玩意呢. 爬什么? 拿来干什么?

[sohoer]

@2dog 有挑战才好玩，详细说说

[2dog]

@laotaitai 抓淘宝的价格数据，我们用了20台服务器 + 1万代理IP 依然被封的半身不遂

[2dog]

@sohoer 抓淘宝的价格数据，我们用了20台服务器 + 1万代理IP 依然被封的半身不遂

[professorz]

我是lz，我回来了。

@lucn pysipder稳定性，效率各方面怎么样呢？
@binux 我在byr上问有人@你了
@gouwudang 真的吗，我开学要做毕设，暑假去你们公司实习三个月吧？
@2dog 我的毕设就是跟电商网站数据抓取有关的，我对你们的工作很感兴趣，让我打个杂学学习吧^_^

[laotaitai]

@2dog 有点意思, 价钱大概多少?

[2dog]

@laotaitai 邮件沟通吧 [e-mail]

[inter]

千万算个球大型。我们这一台服务器上的一个爬虫实例，一天就是上千万的请求。
其实还能更高，但是现在提不上去的原因是一个实例就把对方一台服务器的下行吃满了。我们还得想着怎么帮对方提高吞吐量，对方cdn配置有问题的时候还得帮他们做同步.
python真是弱啊，上亿的就几十台服务器了。我们这一台单核1g机器，跑两个实例。
1亿请求，200多个站点，这就是台好点的服务器的事情

[Yannis1990]

一直想知道 “千万级” 的网站是什么意思？

千万个页面？

[cxl008]

@2dog 求 哪里找这么多代理 ip 的？

[professorz]

@Yannis1990 嗯 千万个条目

[mengskysama]

@cxl008 www.66ip.cn/zz.html 估计都是扫出来的，无辜的网民

[mikangchan]

想求教下怎么精确控制内容...
数据量不大，不过图片较多，而且要精确控制一部分文字内容

[sandideas]

@cxl008 淘宝有卖。。便宜的狠