写了一个可自动切换上游代理的 HTTP 代理服务器

2016-09-08 20:45:05 +08:00
 laurent

pproxies

代理之代理。

https://github.com/xlaurent/pproxies

之前写豆瓣爬虫时,需要用到代理,就用 Go 写了这么个东西,帮助管理代理池,有兴趣的可以看看。但目前有个问题,并发过高的话,会导致连接不能及时关闭,性能下降,以后可能会修复。

这是什么?

这是一个 HTTP 代理,支持 CONNECT 方法。可以帮助管理代理池,自动更换出口代理 IP 。

与其他 HTTP 代理,它有何不同之处?

pproxies 还有一个上游代理。上游代理从 pproxies 所维护的代理池中获取。一旦目前的上游代理不可用,便会自动切换上游代理,从而与目的网站保持连接畅通。

一般 HTTP 代理: HTTP 请求 -> 代理所在主机 -> 目的主机

pproxies : HTTP 请求 -> 代理所在主机 -> 上游代理主机 -> 目的主机

代理池中的代理是从哪里来的?

  1. 使用者提供能获取代理 IP 的 API 。
  2. 使用内置的代理 IP (从某网站获取的免费代理)。

当代理池为空时,会自动调用 API 获取新的代理。

3522 次点击
所在节点    分享创造
1 条回复
bearqq
2016-09-08 22:23:29 +08:00
赞一个,本来打算用 python 写一个的,没遇到需求一直没动工

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/304921

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX