EC2 网络输出速度逐渐变慢？

[nicktogo]

写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的

[gamexg]

api 是哪国的？
考虑过网络问题吗？

[nicktogo]

@gamexg 这个真没想到， EC2 是日本区， api 是美国的，组合有点奇怪。。可能还真是这个问题，不过我本机没翻墙

[oott123]

感觉楼主的信用卡要爆

[nicktogo]

@oott123 担心过，所以一直看着账单呢，本月至今 0.1 刀，还好

[aabbccli]

你不会是在 EC2 上爬 AMAZON 产品吧

[nicktogo]

@aabbccli 本来是这样打算的-。-

[initialdp]

不一定是 ec2 的问题，也可能是对端限制了抓取。

[semicircle21]

关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.

[itopidea]

我也发现了，现在打开越来越慢啊 http://freebt.org/