迫于代理 ip 池太贵,在家拉了 3 条宽带做代理 ip,求最佳方式

2020-09-01 12:02:17 +08:00
 herozzm

爬虫是放在电信机房,只有一个固定 ip (后期也无法更换 ip ),但业务是爬虫,遇到 IP 被封得换,目前思路是在家里拉 3 条宽带(最好有公网 ip ),然后机房那边先到家宽,然后取爬数据。

我的想法是在家宽路由器上定时上报 3 个宽带 ip,然后安装 socks5 代理给机房服务器使用,机房那边遇到 ip 被封禁,就下发指令给家宽路由器重新拨号获取新的 IP 。

还有更好的实现方式吗?

3655 次点击
所在节点    宽带症候群
35 条回复
shoaly
2020-09-01 12:05:03 +08:00
3 条宽带的预算报下来, 然后跟同事商量一下, 他们每个人家里面的宽带装一个你说的 socks5, 这样 ip 数量就多了... , 同事每天中午的饭也能加个鸡腿
herozzm
2020-09-01 12:12:15 +08:00
@shoaly 个人项目,没同事
supermoonie
2020-09-01 12:34:03 +08:00
云立方 定时拨号 之前在公司搞过,顺便问下缺人手不🌚
Lax
2020-09-01 12:49:36 +08:00
家里的机器拨号之后自动 ssh tunnel 回机房的机器,在机房机器上监听固定端口。这样爬虫程序直接练本地端口就可以,甚至不需要知道远端机器的 ip 。
herozzm
2020-09-01 13:12:17 +08:00
@Lax #4 看着很香
moln
2020-09-01 13:16:13 +08:00
所以为啥不直接在家里爬呢
herozzm
2020-09-01 13:17:49 +08:00
@moln 家里原来放了服务器,噪音大再后来房子重新装修,就丢机房省心了
macy
2020-09-01 15:15:38 +08:00
咸鱼买一个,80 块钱一个月,几千个 ip 随便换
herozzm
2020-09-01 15:31:59 +08:00
@macy 以前也试过那种所谓便宜的 ip 池,ip 可用率极低,稳定性也极差
dorothyREN
2020-09-01 16:35:11 +08:00
有个东西叫拨号 VPS,20 块钱一个月。。。你需要的可能是这个
herozzm
2020-09-01 16:39:12 +08:00
@dorothyREN #10 我知道这货,也考察了,带宽太小,比不上普通家庭的动则百兆且独占
dorothyREN
2020-09-01 17:01:23 +08:00
@herozzm #11 讲真,爬虫用得到这么大带宽? 5M 都用不了吧
locoz
2020-09-01 17:49:41 +08:00
三条宽带建议不同运营商,增大 IP 池的容量。
组网可以用 ZeroTier,代理服务器搭好之后机房服务器直接调内网 IP 就行,其他不用管,也不需要写脚本连 ssh 啥的。
IP 如果没有保持的需求的话,可以直接就定时重拨,省时省力,而且路由器通常也自带这种功能。
moln
2020-09-01 17:54:37 +08:00
@herozzm 机房托管便宜么?
optional
2020-09-01 17:55:40 +08:00
@herozzm 买贵的,IP 成本在 16 块钱一个月左右,不共享的那种
herozzm
2020-09-01 17:57:18 +08:00
@dorothyREN #12 一台服务器同时并发爬几千个网站
herozzm
2020-09-01 17:58:01 +08:00
@optional #15 给个购买链接
ik
2020-09-01 18:05:32 +08:00
4 楼的方案通过, frp 也可以实现,不用上报 ip
ik
2020-09-01 18:06:02 +08:00
4 楼的方案,通过 frp 也可以实现,不用上报 ip
herozzm
2020-09-01 19:01:11 +08:00
@ik #19 只是省去上报 ip 的过程,本地 socks5,重拨命令还得搞

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/703086

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX