爬虫某网站最近禁止了国外 IP,想请问下有什么好的办法

2020-08-10 10:49:46 +08:00
livc  livc

我在 vultr 上有个 VPS 专门爬虫一个网站保存成文件,然后提供 web 访问服务。最近发现这个网站的一个接口把境外 IP 都 ban 了,使用国内 IP 访问就没问题。

目前我的思路是:买一个国内的服务器,专门用来爬虫,爬完保存下来的文件 scp 到 vultr 服务器上。

这样就是增加了国内服务器的成本,国内服务器又比较贵,不知道大佬有没有更好的解决方案?

或者买个树莓派?

7061 次点击
所在节点   程序员  程序员
40 条回复
wangyzj
wangyzj
2020-08-10 13:29:33 +08:00
我之前的做法是去淘宝上买一个可以随意换 IP 的机器
pagxir
pagxir
2020-08-10 13:58:40 +08:00
可以用阿里云或者其他云的函数计算的,支持 web 请求,选择国内的节点即可
newee
newee
2020-08-10 14:09:35 +08:00
哪里的海外 ip 比较便宜靠谱,最近抓一个海外站点,访问几百次就会被禁。有啥供应商比较实惠的
BillowSky
BillowSky
2020-08-10 14:16:53 +08:00
人家禁你可能你对人家造成了干扰,要不然也不会费力气禁你。
abersheeran
abersheeran
2020-08-10 14:21:06 +08:00
原来就是你小子在搞事情。
sunziren
sunziren
2020-08-10 14:33:26 +08:00
原来就是你小子在爬我的站
suuuch
suuuch
2020-08-10 14:34:31 +08:00
这个感觉像是你的爬虫对别人照成影响了,换 IP 之后应该会升级反爬,
wunonglin
wunonglin
2020-08-10 14:37:41 +08:00
原来就是你小子在爬我的站
jones2000
jones2000
2020-08-10 16:45:00 +08:00
直接买云抓取的服务不就可以了。 还自己爬多麻烦。
adoula
adoula
2020-08-10 17:59:40 +08:00
一般不是国外服务器比较贵吗
smplesugar
smplesugar
2020-08-10 18:58:47 +08:00
原来就是你小子在爬我的站
zhiiker
zhiiker
2020-08-10 19:37:12 +08:00
用爬虫 IP 代理池服务
https://www.abuyun.com/
https://www.zdaye.com/ShortProxy.html
量大的化,平均下很便宜
unclemcz
unclemcz
2020-08-10 20:14:19 +08:00
淘宝买个玩客云,50 包邮,刷成 armbian 然后跑爬虫,功耗 6-10 瓦吧。
不多说了,再说又止不住手打开淘宝买一个了。
g079708
g079708
2020-08-10 21:35:26 +08:00
可以试试这个,独享拨号代理 IP 池;
http://www.kuainiaoip.com/store/exclusive-adsl.html
h4de5
h4de5
2020-08-10 22:27:01 +08:00
github 上面大把的免费的国内的机器。你不拿来用。很多大佬都拿来挖矿了。
ClericPy
ClericPy
2020-08-10 23:45:57 +08:00
这么在乎价格成本的话... 白瓢免费代理吧, 选普匿和高匿的, 然后走生产者消费者模式, 慢慢抓慢慢跑
HYisen
HYisen
2020-08-11 15:38:43 +08:00
买个树莓派吧,蹭家用网络是真的便宜。
woodnaonly
woodnaonly
2020-09-21 15:08:52 +08:00
@h4de5 关键字是什么
woodnaonly
woodnaonly
2020-09-21 15:10:05 +08:00
@wangyzj 老哥来个关键字
wangyzj
wangyzj
2020-09-21 17:00:46 +08:00
@woodnaonly #39 vps

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/696994

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX