关于今天的 503

2010-12-16 18:36:23 +08:00
 Livid
taskqueue 中有一个昂贵的任务在不停 retry,于是就变成了 GAE 自己 DDoS 自己,然后就杯具了。

刚刚把 taskqueue 中清空了。

站点到了一定规模之后,就会开始遇到新的挑战了。

这也是很好的学习过程,两天损失了 3.2 美元。
4598 次点击
所在节点    V2EX
9 条回复
yoyicue
2010-12-16 18:43:19 +08:00
有梦想去完成 是件幸福的事情, 特别看到进展的时候.
jeeson
2010-12-16 19:12:25 +08:00
GAE的流量计算似乎有问题,比如,一个 a.zip文件1M,只要对方发请求,不论是否完全下载了,都按照1M流量计算,对于多线程下载,居然也会产生多个流量。越是第三世界,下载用的线程越多,有的能一下子50个线程以上。后来只好写了一个filter,对大文件拦截不合理的下载请求

不知道现在版本计费有没改进,有时间没用了
keakon
2010-12-16 19:46:01 +08:00
不要用静态文件来做下载,自己动态处理range就行了,至于blobstore我没去试,此外使用自己的域名可以做到只对第一次访问产生流量

扯淡的是不能正确处理HEAD方法的流量,有天我测试了一下,只是用浏览器刷新,5秒用掉160M流量。
darasion
2010-12-16 19:54:31 +08:00
不是有 task_retry_limit 吗?

以前没注意这个taskqueue。
最近看了文档,觉得挺好用,已经开始用上了。
jeeson
2010-12-16 19:58:56 +08:00
>> 此外使用自己的域名可以做到只对第一次访问产生流量?
求教.

我当时是用来做Freeware下载的,大规模的多线程毕竟是少数,所以我用Java实现Filter对大的静态文件做检查,发现同个地址短时间太多请求就拒绝
darasion
2010-12-16 20:02:16 +08:00
@jeeson 我认为最好是不做任何下载, GAE 不适合干这个。
jeeson
2010-12-16 20:10:19 +08:00
@darasion 这个我同意。当时那个软件只有400多K,通常都是走下载网站的流量。现在也基本不关心了
keakon
2010-12-16 20:22:07 +08:00
@jeeson http://www.keakon.net/article/37200
用来做下载的话,把max-age设成10年就行了…
jeeson
2010-12-16 20:44:52 +08:00
@keakon 收藏,晚点看。谢谢 :)

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/5928

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX