分布式 py 程序案例？求助。

[x14oL]

由于题主需要，准备开发一套基于分布式原理的程序，一个主控端下达指令给agent，agent自动获取任务进行调度。
其中还需要包含可扩展的插件形式执行一些附加的脚本或者过滤代码。
大家可以理解成是一只分布式的爬虫。

不知道描述的是不是有问题？
只是没有写过这样的东西，github上有没有这样的案例？（自己没发现）
或者有没有人大概有一些类似的案例可以分享的。
想了解一下具体的技术细节，并不是来要代码的。

[zhicheng]

这不是分布式，你这是一个队列。

[x14oL]

@zhicheng
是我表达不清，我要是的可以通过添加主机的情况，去完成任务。
我要的不是队列。

[mengzhuo]

不上数据中心的算个啥分布式
随便一个Github上的爬虫项目都可以搞定

[x14oL]

@mengzhuo 对这个的概念不是很理解。
有啥优秀的项目地址可以推荐，因为本身我不是为了分布式。举爬虫的例子只是方便理解。
有相关的文章介绍分布式不？
我搜的文章感觉都讲的不是很清楚。
谢谢

[czheo]

没看懂

[Owenjia]

感觉这个需求在哪见过的样子，好像是某公司招人的题目……