mee

V2EX 第 151128 号会员，加入于 2015-12-13 18:53:10 +08:00

mee 提问技术话题好玩工作信息交易信息城市相关

要去北京掌众金融面试了，有了解的么

问与答 • mee • 2016-09-05 18:35:34 PM

» mee 创建的更多主题

mee 最近回复了

2015-12-15 15:23:28 +08:00

回复了 JhOOOn 创建的主题 › Python › 如何验证一个代理的好坏呢？

我之前做爬虫的时候使用代理,也遇到了这个问题,用爬虫得到的大部分代理,统统将页面重定向到了百度,只有一小部分是可以直接用的,因此我就需要去验证哪一部分不可用将其剔除,我采用的方法是这样的.
1.使用代理取请求一个普通的网页(不要是百度这样的,最好具体的网页),判断得到的状态码是否 OK
2.判断请求得到的网页内容是否跟你通过浏览器得到的网页内容相同(可以通过判断里面的一些特殊字符串判断)

» mee 创建的更多回复