迫于代理 ip 池太贵，在家拉了 3 条宽带做代理 ip，求最佳方式

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1579 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫是放在电信机房，只有一个固定 ip （后期也无法更换 ip ），但业务是爬虫，遇到 IP 被封得换，目前思路是在家里拉 3 条宽带（最好有公网 ip ），然后机房那边先到家宽，然后取爬数据。

我的想法是在家宽路由器上定时上报 3 个宽带 ip，然后安装 socks5 代理给机房服务器使用，机房那边遇到 ip 被封禁，就下发指令给家宽路由器重新拨号获取新的 IP 。

还有更好的实现方式吗？

机房

家宽路

宽带

代理

35 条回复 • 2023-11-02 21:26:07 +08:00

shoaly

2020-09-01 12:05:03 +08:00

3 条宽带的预算报下来, 然后跟同事商量一下, 他们每个人家里面的宽带装一个你说的 socks5, 这样 ip 数量就多了... , 同事每天中午的饭也能加个鸡腿

herozzm

2020-09-01 12:12:15 +08:00

@shoaly 个人项目，没同事

supermoonie

2020-09-01 12:34:03 +08:00 via iPhone

云立方定时拨号之前在公司搞过，顺便问下缺人手不🌚

Lax

2020-09-01 12:49:36 +08:00

家里的机器拨号之后自动 ssh tunnel 回机房的机器，在机房机器上监听固定端口。这样爬虫程序直接练本地端口就可以，甚至不需要知道远端机器的 ip 。

herozzm

2020-09-01 13:12:17 +08:00 via Android

@Lax #4 看着很香

moln

2020-09-01 13:16:13 +08:00

所以为啥不直接在家里爬呢

herozzm

2020-09-01 13:17:49 +08:00

@moln 家里原来放了服务器，噪音大再后来房子重新装修，就丢机房省心了

macy

2020-09-01 15:15:38 +08:00

咸鱼买一个，80 块钱一个月，几千个 ip 随便换

herozzm

2020-09-01 15:31:59 +08:00

@macy 以前也试过那种所谓便宜的 ip 池，ip 可用率极低，稳定性也极差

dorothyREN

2020-09-01 16:35:11 +08:00

有个东西叫拨号 VPS，20 块钱一个月。。。你需要的可能是这个

herozzm

2020-09-01 16:39:12 +08:00 via Android

@dorothyREN #10 我知道这货，也考察了，带宽太小，比不上普通家庭的动则百兆且独占

dorothyREN

2020-09-01 17:01:23 +08:00

@herozzm #11 讲真，爬虫用得到这么大带宽？ 5M 都用不了吧

locoz

2020-09-01 17:49:41 +08:00 via Android

三条宽带建议不同运营商，增大 IP 池的容量。
组网可以用 ZeroTier，代理服务器搭好之后机房服务器直接调内网 IP 就行，其他不用管，也不需要写脚本连 ssh 啥的。
IP 如果没有保持的需求的话，可以直接就定时重拨，省时省力，而且路由器通常也自带这种功能。

moln

2020-09-01 17:54:37 +08:00

@herozzm 机房托管便宜么？

optional

2020-09-01 17:55:40 +08:00 via iPhone

@herozzm 买贵的，IP 成本在 16 块钱一个月左右，不共享的那种

herozzm

2020-09-01 17:57:18 +08:00 via Android

@dorothyREN #12 一台服务器同时并发爬几千个网站

herozzm

2020-09-01 17:58:01 +08:00 via Android

@optional #15 给个购买链接

2020-09-01 18:05:32 +08:00 via iPhone

4 楼的方案通过, frp 也可以实现，不用上报 ip

2020-09-01 18:06:02 +08:00 via iPhone

4 楼的方案，通过 frp 也可以实现，不用上报 ip

herozzm

2020-09-01 19:01:11 +08:00 via Android

@ik #19 只是省去上报 ip 的过程，本地 socks5，重拨命令还得搞

2020-09-01 21:58:50 +08:00 via iPhone

@herozzm 可以定时重拨🐶

lysS

2020-09-01 22:15:22 +08:00

你不是移民去越南了吗？

rekulas

2020-09-01 22:23:35 +08:00

8 楼的方案可行的当然自己还要开发搭建起代理池 qps 几十是没有问题的

herozzm

2020-09-01 22:26:09 +08:00

@lysS 需要准备的，你以为搬家这么快

herozzm

2020-09-01 22:34:21 +08:00

@rekulas 要试试，你试过了吗？有合适的卖家推荐吗？

shenfu1991

2020-09-01 22:56:49 +08:00 via iPhone

只要国内 ip ？如果国外 IP 也可以的话机场不就是最佳选择？

herozzm

2020-09-01 22:59:29 +08:00

@shenfu1991 抓的是国内网站，用国外 ip 就是自残

tlxxzj

2020-09-02 09:44:25 +08:00

你可以在网上买带拨号功能的 vps, 各个地区都有，然后自己写个程序，定时拨号换 ip，这是我之前公司的做法。

tlxxzj

2020-09-02 09:46:14 +08:00

你自己拉宽带，到最后你会发现，换来换去，就那麽几个 IP，很快就不能用了

rekulas

2020-09-02 09:49:12 +08:00

@herozzm 旗云代理快代理之类的在用

huaes

2020-09-02 11:18:19 +08:00

@tlxxzj 我这电信只有一个 /24 段，但是联通我发现已经有不止 5 个了，还是联通更富裕啊

herozzm

2020-09-02 14:36:13 +08:00 via Android

@tlxxzj #28 敢问用的哪一家，体验如何

optional

2020-09-02 16:11:04 +08:00 via iPhone

@herozzm 去问了下，涨价了现在 25 一个了

limetw

2020-09-04 16:43:01 +08:00 via Android

Baidu Proxy IP location / Inlet / Outlet

112.80.255.21 Nanjing CU CT
180.97.104.45 Nanjing CT CT
163.177.151.162 Guangzhou CU CM
14.215.177.73 Guangzhou CT CM
123.125.142.40 Beijing CU CM
220.181.43.12 Beijing CT CM

kayv

2023-11-02 21:26:07 +08:00

@dorothyREN 推荐一个拨号 vps 吧。。