如何验证一个代理的好坏呢?

2015-12-15 12:54:13 +08:00
 JhOOOn

比如获取到一个代理后,通过 get 百度是 OK , 但通过该代理访问其它网站就是 500 ,
甚至是在同一个网站首页验证 OK , 但访问该网站其它页面就 500 错误了。

1 ,那么验证一个代理的好坏的比较好的方法是什么呢?
2 ,如何维护一个代理池(长久保留的, 坏的踢出去,好的拿进来,),有相关资源可以推荐下么?
先谢谢了。

(我验证代理的好坏的方法就是 , get 一个网站,如果能找到其中的内容,就认为是一个好代理。)

2833 次点击
所在节点    Python
6 条回复
skywatcher
2015-12-15 13:01:27 +08:00
tkisme
2015-12-15 13:15:42 +08:00
mtr 掉包率
JhOOOn
2015-12-15 14:33:31 +08:00
@skywatcher 打不开。。
zingl
2015-12-15 14:47:15 +08:00
proxyhunter 在很多年前就给出了示例
mee
2015-12-15 15:23:28 +08:00
我之前做爬虫的时候使用代理,也遇到了这个问题,用爬虫得到的大部分代理,统统将页面重定向到了百度,只有一小部分是可以直接用的,因此我就需要去验证哪一部分不可用将其剔除,我采用的方法是这样的.
1.使用代理取请求一个普通的网页(不要是百度这样的,最好具体的网页),判断得到的状态码是否 OK
2.判断请求得到的网页内容是否跟你通过浏览器得到的网页内容相同(可以通过判断里面的一些特殊字符串判断)
wikinee
2015-12-15 17:37:30 +08:00
天下武功,唯快不破!
--火云邪神

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/243665

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX