分布式采集系统如何设计呢？使用python语言

[fdsfsdfsdf3334]

比如，我要采集淘宝商品购买的用户id，同一个ip访问频率太多，会被封ip，会被限制，
那么 如果我有10个vps，我该如何让程序能协作呢，如何分配任务呢，我该补充哪方面的知识呢

请大家指点一二

[Wy4q3489O1z996QO]

gearman

[fdsfsdfsdf3334]

@romotc 谢谢 我了解下

[pubby]

搞啥分布式，

每个vps上装个http或者socks5代理，挨个轮换代理不就行了

[Lax]

如楼上说法，http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。