请问如何排查是域名解析问题还是服务器连接的问题

2020-04-22 12:01:34 +08:00
 Phishion

我有一个爬虫,大概每 1 个小时就往服务器提交一次数据(少量数据),近期发现少数情况下竟然会出现长达一分钟以上无法连接的报错(每隔几秒钟重试):

HTTPConnectionPool(host='xxx.xxx.com', port=80): Read timed out. (read timeout=10)

我服务器是腾讯云 HK 机房,爬虫在内地的廉价华为云,大概 ping 一次 50 多 ms,目前 ping 了十几分钟没有出现丢包,服务器域名托管在 Godaddy,默认配置,域名 TTL 1 小时

请问有何良策排查这个问题?

1180 次点击
所在节点    程序员
6 条回复
ohao
2020-04-22 12:12:52 +08:00
这个很大可能是网络问题

就是 华为 <=> 腾讯 服务器之间出现网络通信的问题

和解析关系不大 解析一般都会被 cache 的
ieric
2020-04-22 12:21:19 +08:00
域名哪里解析都差不多
服务固定 IP 更不担心

国内 Vps 限制 Out 带宽
上传就是 out
几 M 都慢
再大陆外服务器
想稳定真难
superrichman
2020-04-22 12:21:51 +08:00
直接把请求域名改 ip 来测不就行了。
Phishion
2020-04-22 12:27:52 +08:00
@ohao 如果是网络问题,那这个是我自己能修的范围么?或者我有什么方法能进一步缩减范围好提交工单?
ohao
2020-04-22 12:48:39 +08:00
@Phishion 没用
这个问题无解,你只能做 retry 的规则 网络异常加入队列通知,待恢复在重新 POST data

因为这个不一定是华为或者腾讯能控制的 涉及上游 ISP

你可以在华为机器 运行 mtr 腾讯 IP
看路由走向 其中的任意一个切换或者维护 都会出现间歇性问题

所以网络保证 大部分 都是 99.99%稳定性 大部分 SLA 非 100%
Phishion
2020-04-22 13:32:40 +08:00
@ohao 感谢您专业的回复,谢谢

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/664940

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX