V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 3795 days ago, the information mentioned may be changed or developed.
写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的
 |
1
gamexg Dec 13, 2015
api 是哪国的？
考虑过网络问题吗？ |
 |
3
oott123 Dec 13, 2015
感觉楼主的信用卡要爆
|
 |
5
aabbccli Dec 13, 2015
你不会是在 EC2 上爬 AMAZON 产品吧
|
 |
7
initialdp Dec 13, 2015 via Android
不一定是 ec2 的问题，也可能是对端限制了抓取。
|
 |
8
semicircle21 Dec 13, 2015
关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.
|
 |
9
itopidea Jan 6, 2016
我也发现了，现在打开越来越慢啊 http://freebt.org/
|
Select Language