如何优化一个爬虫，提升两个档次？

[wenyu1001]

入职笔试时基于 python 撸了个爬虫，闲来无事准备去改改。

那么问题来了，如何优化去提升两个档次？

• framework
• performance
• code style
• ...

https://github.com/wenyu1001/spider.git

[sunchen]

入职笔试写爬虫，一猜就是创宇。

[wenyu1001]

@sunchen 不用猜 :)

是否先从稳定性，准确性入手优化？

[helloworldwt]

爬虫需要使用代理，这样你 ip 被封时，减少对程序的影响

[flamhaze5946]

好吧。。是爬美女网站吗。。。当初被拒了(ฅ>ω<*ฅ)

[wenyu1001]

@helloworldwt
是，可以加入 httpproxy, socks 代理

@flamhaze5946
想法真丰富

[CrazySpiderMan]

是我的话, 我直接换 Node.js 了. Python 搞爬虫, 麻烦的很.

[CrazySpiderMan]

@CrazySpiderMan 这里有个我用 Node.js 写个 P2P 网络的爬虫. https://github.com/Fuck-You-GFW/p2pspider

[l6751902]

黑 V2EX 后台，上传爬虫远程管理工具，然后把爬虫实际执行的逻辑嵌入前端.........

[sampeng]

加 2 倍机器。。绝对提升两个档次

[wenyu1001]

@sampeng nice!

[penjianfeng]

这还不简单,先把性能降 2 倍,然后在切换回来,绝对提升两个档次,哈哈哈

[wenyu1001]

@penjianfeng
这要是被领导知道，还不等着去财务处领工资？