python 能不能干这种工作

[cevincheung]

一个http请求队列。写个daemon。 一个http rest的api调用。

push一个url进去。 push-> url,callbackurl,post|get,postdata(optional),timeout(optional)
然后执行完毕后回调callbackurl（一般是在同一台服务器或内网服务器）

然后队列数量可能会有点大。N台服务器跑这个脚本。服务端随机把队列请求push到这些服务器上。


或者把队列内容push到redis里。N台服务器上的脚本不停的拿redis（用redis做m/s好做容灾）

python干这个能扛得住咩？



---
或者现在有木有类似的已经成型的产品能用的@.@

补充一下，是这样的。



比如：
post http://127.0.0.1:py_port/create
url=http(s)://www.domain.com
method=post
timeout=30s
postdata=xxxxx
callbackurl=http://127.0.0.1:internal_system_port/some_id

python收到，入队列，python请求上面传递的url，根据method选择get还是post请求。然后把该服务器的输出post到callbackurl。

或者
redis.add:
{url:http, method:post, timeout:30, postdata:[], callbackurl=http }
python去读redis。

[towser]

有点像消息队列异步调用

[lch21]

httpsqs 似乎能干这个

[lch21]

httpsqs 有各种语言的客户端

[xiaozi]

beanstalkd

[gotounix]

celery?

[ygmpkk]

@gotounix celery +1 这个情况就使用这工具来完成。

[cevincheung]

@lch21 要的是一个队列+执行器（暂时这么叫他吧）。sqs只是一个队列存储，并没有“执行者”

[cevincheung]

@gotounix
@ygmpkk
已补充

[gotounix]

@cevincheung celery+redis

[cevincheung]

@gotounix 就是说python是ok的，能扛得住？

[gotounix]

@cevincheung 能不能扛住，不知道！但是，提供了可以实现你需求的方法，你可以自己尝试、测试。除了你自己，没有人能帮你测试，大家的业务需求都不一样，应用环境也不一样，不能一概而论，下结论。

[mantianyu]

这种功能大部分语言都能实现啊

[mantianyu]

@mantianyu 当然, 包括python

[jyz19880823]

功能不难啊,不过要是数据量大的话,还是用静态语言吧,试试go

[lch21]

python 的优势在于编程效率高
至于能不能扛得住，就要根据软硬件环境测试了
我个人感觉没什么问题
可以先做个模型测试，实在不行再改静态语言

[NCE]

这和python有关系么？用php也可以。

[NCE]

谈性能之前，先给个范围，N多服务器，请求数量有点大，先量化一下，同时请求数，再说吞吐量。

[cevincheung]

@NCE 不需要多高的性能。只要能保证daemon不死就行- -#

[NCE]

没问题的，这才到哪啊

[lookhi]

可以 我们队列就是py做的
里面有大约1000多万的任务在 普通请求也没问题。

[janxin]

celery

[janxin]

+supervisor

[cevincheung]

@lookhi 你们怎么做的

[lookhi]

@cevincheung 基于tornado的 tornado做一个Server很方便的.

[guotie]

nsq