腾讯云香港机器是否有一些网络上的限制?

2022-01-13 18:36:20 +08:00
 Removable
为造福群里的兄弟,我写了个 E 站爬虫,爬取部分热门画廊的漫画,下载并打包后供群里的兄弟们下载(他们都不会爬梯,通过我的服务器中转一下就可以直接下载了)。

整个项目在我本地调试时,不管是爬图片链接还是下载图片都挺快的(已爬梯),但是部署到腾讯云香港轻量服务器以后,发现爬图片链接速度很慢,下载图片也有很大概率失败。刚开始以为是我代码问题,后来我在其他 vps 供应商的国外机器上同样部署以后,爬取和下载速度都飞快,这机器配置甚至还不如我腾讯云的。

难道腾讯云境外的机器也有墙吗?
2502 次点击
所在节点    问与答
15 条回复
VagrantZ
2022-01-13 19:28:56 +08:00
我也是写爬虫,放在 HK 的 Lighthouse 上非常慢,但是换到兄弟位于其它地区的 Lighthouse 上就很快。
另外从 GitHub 下载东西,HK 和硅谷两个节点试了一下,速率存在计量单位级别的差距……
VagrantZ
2022-01-13 19:35:04 +08:00
/t/827707 大概都是这个问题吧
cssk
2022-01-13 20:19:24 +08:00
暂时无墙,不过几年内就会有了
Removable
2022-01-13 21:10:15 +08:00
@VagrantZ 我去,早知道买其他节点的机器了
Removable
2022-01-13 21:13:45 +08:00
@VagrantZ 不知道这个国际出口的故障好了以后,爬虫会不会好点
putaosi
2022-01-14 09:14:27 +08:00
@Removable 只是没有优化路由,谷歌云和微软云好些
Removable
2022-01-14 09:20:03 +08:00
@putaosi #6 原来是这样吗?看来唯一的方案只能是换云厂商了?
wsly47
2022-01-14 09:51:35 +08:00
加个 Cloudflare WARP client 试试,走 cf 的网络
https://developers.cloudflare.com/warp-client/
Removable
2022-01-14 10:30:34 +08:00
@wsly47 #8 这是啥?我来研究一下哈,谢谢!
Removable
2022-01-14 11:31:22 +08:00
@wsly47 #8 我按官方教程装好以后,一旦执行“warp-cli connect”,服务器就连不上了是什么情况😭
wsly47
2022-01-14 14:28:02 +08:00
去控制台远程登陆 root 执行 warp-cli disconnect ,就可以恢复了。

直接执行 warp-cli connect 会接管服务器网络,导致服务器断网。

需要先执行 warp-cli set-mode proxy 设置为本地代理模式,
再执行 warp-cli connect ,这样就会创建一个端口 40000 的 socks5 本地代理。

如果需要更改 socks5 端口执行 warp-cli set-proxy-port 1080
Removable
2022-01-14 14:30:48 +08:00
@wsly47 #11 开启本地代理以后,再让我的爬虫走这个代理就行了吗?
wsly47
2022-01-14 14:36:27 +08:00
@Removable 是的
Removable
2022-01-14 14:41:23 +08:00
@wsly47 #13 感谢,我来试试
bookbox
2022-01-14 15:34:13 +08:00
这个问题我也遇到过,腾讯云的机器肯定不会做限制,就是国际出口带宽压力大,各大运营商扩容困难,国内的云厂商共同面临和共存的问题,兄弟访问国外的业务的话,还是建议用国外的服务器比较好些,望采纳

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/828094

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX