求推荐一个用于爬虫,正向代理的软件

2020-06-01 16:20:39 +08:00
 wz497345846

最近在弄一个爬虫,一个 ip 不够,然后手下有几个配置低的服务器,想在服务器上装一个正向代理的软件。有没有什么好的推荐,看了有一个叫 Squid 的,配置给我整晕了,有没有更好的推荐。。

2560 次点击
所在节点    问与答
19 条回复
love
2020-06-01 16:36:14 +08:00
gost
zoharSoul
2020-06-01 16:55:17 +08:00
同求观察一下
wz497345846
2020-06-01 20:02:44 +08:00
@love 还有吗
wz497345846
2020-06-01 20:12:16 +08:00
@love 的确简便 感谢
winnerczwx
2020-06-01 20:44:21 +08:00
商业代理 ip 不香吗,价格也很便宜
Soar360
2020-06-01 22:14:49 +08:00
推荐商业代理吧。
WildCat
2020-06-01 22:19:45 +08:00
wenerme
2020-06-02 00:29:24 +08:00
1. 先确定好用什么协议 - 一般代理协议不涉及鉴权 - 通过组网可以避免安全问题
2. 确定怎么组网
3. 怎么控制出口
4. 需要那些功能
5. 是否使用别人的服务

privoxy 代理 - http
haproxy 代理选择 - 负载实现 ip 轮训
squid 缓存
dante 代理 - socks
tinc 组网
wireguard 组网
nordvpn 服务 - 提供 http/socks, 提供非常多 ip - 配合 privoxy 能够很好的实现 ip 选择

更多参考
https://github.com/wenerme/wener/tree/master/tricks/ops/network/private
njshiyanhz
2020-06-02 11:09:34 +08:00
如果能装 window,那就 CCProxy
(ps:squid 配置不算复杂吧,我这里有 centos 最简单的安装记录,安装--设置开机启动--修改 6 行配置--启动,完事)
wz497345846
2020-06-02 11:40:15 +08:00
@winnerczwx 便宜吗?我怎么看的都挺贵的
wz497345846
2020-06-02 11:40:31 +08:00
@Soar360 能推荐几个吗
wz497345846
2020-06-02 11:41:12 +08:00
@wenerme 很有帮助,感谢
wz497345846
2020-06-02 11:47:50 +08:00
@njshiyanhz 是 linux 服务器,squid 配置搜出来很多都是老的很多参数都废弃了,自带的配置文件几千行晕了,哈哈
tiiis
2020-06-02 14:28:31 +08:00
gost
winnerczwx
2020-06-02 14:37:34 +08:00
@wz497345846 百度一搜一大把,我自己用的是小象代理
gxlonline
2020-06-02 17:08:02 +08:00
自己用的 酷鱼代理
有很多种,http,私密,隧道
lxk11153
2020-06-04 16:41:22 +08:00
@WildCat #7 Python 3.6.8 确定 python3.6 -m pip install scylla 之后可运行吗?
1. https://github.com/imWildCat/scylla/issues/116#issuecomment-638686368
2. 执行几行,日志输出后就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
lxk11153
2020-06-04 16:42:17 +08:00
fix #17
2. 执行一会,日志输出那就没动静了,然后 /api/v1/stats 就 scylla.database.ProxyIPDoesNotExist
wz497345846
2020-06-10 15:16:00 +08:00
@winnerczwx
@gxlonline 用买的 ss 连多个节点,凑合用了。。。。哈哈哈哈

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/677532

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX