有没有什么好用的分布式 Task Runner

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 2769 天前的主题，其中的信息可能已经有所发展或是发生改变。

需求是这样的

有 10w 张图片，存在一台机器上。需要用 waifu2x 对图片进行高质量放大。

另外有 5 台机器，想要通过一个核心的机器发命令，剩下几台机器就会根据命令自动去目标机器上获取图片，进行 waifu2x 放大，传回原来机器。

有什么开源的软件可以实现这样的分布式任务执行功能？

5 条回复 • 2016-10-14 12:45:19 +08:00

SevenJ

2016-10-08 07:57:16 +08:00 via iPhone

celery

wayslog

2016-10-08 09:29:30 +08:00 via Android

要不您试试 qiniu 的图片处理功能……

aritionkb

2016-10-08 09:34:47 +08:00 via Android

@SevenJ 看了一下，基本符合我的需求，谢谢

zungmou

2016-10-14 11:56:26 +08:00 via iPhone

这个软件是不是只能针对二次元图片？

aritionkb

2016-10-14 12:45:19 +08:00 via Android

@zungmou 看你用的模型。作者一开始发布的模型是拿二次元图片训练出来的。别人好像有训练过三次元图片的模型，你找找看。