凉心云又一大坑, COS CDN 回源流量无故暴增至 5 倍

2022-07-24 17:12:40 +08:00
 eason1874

背景:

一网站使用腾讯云 COS 对象存储放静态文件,通过 CDN 提供访问,内容长期没有变化。近几年 COS 平均每日回源流量稳定在 200MB 以内,一直在使用 10GB 资源包(月包),每月都用不完

问题:

这个月破天荒早早用完 10GB 回源流量,并且开始每日扣费。我排查,发现这个月日均回源流量近 1GB

好家伙,我直呼好家伙,在内容没有变化,流量也没有增加的清空下,回源流量暴增至 5 倍

按需求付费,原来不是按用户的需求,而是按厂商的需求

6892 次点击
所在节点    云计算
23 条回复
billzhuang
2022-07-24 17:39:10 +08:00
提工单看看,另外看看 cos 的日志
Mitt
2022-07-24 18:45:25 +08:00
我觉得大概率是你设置有问题,可能有人在刷参数导致回源
learningman
2022-07-24 18:46:10 +08:00
ignore get 参数了吗,感觉被刷了
eason1874
2022-07-24 19:00:13 +08:00
@billzhuang
@Mitt
@learningman

都是静态文件,查询参数一直是忽略的,重复请求不会重复回源

CDN 请求数和流量比上个月少一点,比例也没有异常,不像是刷流量
iwdmb
2022-07-24 20:19:51 +08:00
Cloudflare
pastor
2022-07-24 21:41:24 +08:00
如果是良心云增加了很多 CDN 节点导致回源流量暴增,那说明它的服务质量是提升了。。
但是我不太相信是这个原因。
Macv1994
2022-07-24 21:57:28 +08:00
这就是我一直不敢用 CDN 的原因
eason1874
2022-07-24 23:13:57 +08:00
@iwdmb # 5 服务国内用户,用 Cloudflare 访问不了

@pastor #6 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

内容 200MB ,以前每天全国各地流量 50GB ,每天回源也只有 200MB 。这样就是一个节点回源,然后自动同步到其他节点,内容没变,配置没变,流量少了,回源却增加到 1GB ,我猜是他们最近降本增效把缓存策略改了。适当降低缓存可用时间,每用户每月多花几块,每百万用户每月就增加几百万了

@Macv1994 # 有些场景还是得 CDN ,别的问题只能靠自己多注意了
pastor
2022-07-25 00:13:49 +08:00
@eason1874 #8
印象里我公司用过的 CDN ,回源流量峰值大于资源总量,比如资源总量 500M ,回源流量峰值可能 1G+,回源时间间隔远大于 1 天。

我是开发,运维相关懂得不多,只是猜测:
可能各个厂商实现策略不同,比如跟在线量有关?如果 CDN 都是单点回源然后 CDN 厂内部同步的话,尤其大厂、用户多,很容易赶上大量用户回源高峰期,这样如果大量节点之间同时迅速同步就也可能会有 CDN 厂内部网络风暴的问题,所以调度策略应该不是这种简单的方式,说不定是默认单节点回源后慢慢同步给其他节点,但是节点越多时间越久,这时候如果某些节点收到了请求、但自己节点还没收到回源节点同步来的数据,可能就直接源站了,然后也作为同步节点给其他节点发散?
eason1874
2022-07-25 00:25:44 +08:00
@pastor #9 各家策略是不同的,如果我是才换过来腾讯云,我不会觉得有问题,顶多觉得腾讯云节点缓存时间短。主要是我这套内容在腾讯云 COS + CDN 好几年了,最近配置没改过,流量也没有增加,只有回源突然增加了,那唯一的变量就是腾讯云策略变了

你说得对,热点内容回源时间间隔远超 1 天的,腾讯云这回源本身就算频繁的。我在百度云 CDN 上的同样内容,同样缓存一个月,百度云每月才回源几百 MB ,比腾讯云少 10 倍。现在腾讯云居然又增加回源流量,要说不是故意的,我不信
nicoljiang
2022-07-25 03:48:51 +08:00
@eason1874
> 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

你怕是对 CDN 有误解。你说的这种策略各家都有相应的特性(或单独的产品),都是另外单独计费的。
mytsing520
2022-07-25 04:29:51 +08:00
@eason1874
> 正经 CDN ,回源多少次跟节点有多少是没关系的。就近回源,节点间自动同步,这样才能有分布式加速的效果,不同区域节点都单独访问源服务器拿数据就太慢了

一般 CDN 缓存都是各个节点各自为政,当然指的是那些配置了缓存策略后,被动缓存的场景。
即便是用户主动预热,也是触发各 CDN 节点去访问一遍源站,这期间,会造成源站的访问压力。
eason1874
2022-07-25 04:57:49 +08:00
@nicoljiang #11 你说的那个是动态加速,针对实时连接的链路优化,跟静态分发是两码事

@mytsing520 #12

CDN 技术架构中至少两层缓存,有的三层,中间源才是真正按用户要求去缓存内容的,边缘节点只会从中间源要内容,不会越过它去访问源站。只要边缘节点共用的中间源有缓存,无论你从其中哪一个节点去访问,都不会触发回源

所以我说 CDN 回源多少次跟有多少节点是没关系的,这只跟中间源数量有关

像我这 200MB 内容,在百度智能云 CDN 每月 1TB+流量,用户访问了上百个 CDN 节点,如果全部 CDN 节点都回源的话,回源流量至少 20GB 了。但实际回源流量还不到 500MB ,也就是说真正回源的中间源顶多也就 2 个,甚至可能只有 1 个

同样 200MB 内容,在腾讯云每月 1.5TB 流量的时候,也是全国各地都有访问,上百节点,以前回源 6GB ,说明也不是每个节点都会回源,也是有中间源的。现在每天 1GB ,总数算起来倒像是每个节点都分别回源了,但这做法可不是正经 CDN 架构的做法
mytsing520
2022-07-25 05:05:22 +08:00
@eason1874
给他们发工单问问看呗
eason1874
2022-07-25 05:25:25 +08:00
@mytsing520 听说他们最近在清理低消费用户,我有点怂啊,为了每月几块钱去烦他们,我怕也会被莫须有封号。不太敢对线,吐槽一下算了 😂
mytsing520
2022-07-25 05:43:06 +08:00
@eason1874
你这种算不上低消用户啊
yuzo555
2022-07-25 07:09:41 +08:00
可以考虑下我们多吉云 DogeCloud ,底层同样是 COS / OSS ,稳定性一致,但回源流量不收费,价格还更便宜,如果你现在在用 COS 的话,几乎可以无缝切换 😊
picone
2022-07-25 09:21:18 +08:00
@eason1874 #13 既然这样为什么还用凉心云不用百度云。。
cco
2022-07-25 09:58:52 +08:00
CDN 这东西,我从来只用 CloudFlare 这种的服务,不然搞不好房子都给你刷没了。
eason1874
2022-07-25 16:47:50 +08:00
@yuzo555 #17 好的。我观察一段时间,还是离谱回源就去试试你们家的

@picone #18 百度智能云也有在用,我们是几家同时在用。每家优惠流量包都是限购的,只用一家没有同时用几家优惠 🤣

@cco #19 可惜的是国内很多地方访问不了 CloudFlare ,要能用我肯定用

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/868380

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX