🎉🎉🎉🎉🎉使用 Golang 开发的分布式任务调度系统 Crocodile,上次发还不支持多调度节点,经过一段时间的改造终于支持了,快来看看💃🏼💃🏼💃🏼💃🏼💃🏼

2020-04-18 07:11:47 +08:00
 labulaka521

基于 Golang 开发的分布式任务调度系统,支持 http 请求、运行 golang 、python 、shell 等调度任务

你可以在这里看到代码地址

代码地址

你可以在这看看截屏展示

<details> <summary>点击我</summary>

</details>

这是一些特性介绍

如果你想看开发进度的话可以看看这里
Trello_Crocodile

既然看到这里了那我就恬不知耻求职了,想找一个 Golang 后端开发的工作,如果你有合适的工作介绍给我可以能不能留下一个联系方式或 jd,非常感谢。👀

6143 次点击
所在节点    Go 编程语言
34 条回复
useben
2020-04-18 15:07:01 +08:00
楼主这样的目录架构 docker 化的话,可执行文件打包略大,web,调度器,work 其中一个修改就需要重新打包,耦合了。
labulaka521
2020-04-18 15:25:12 +08:00
@useben 确实,我在 mac 环境打包出来 50m,当初是想着生成一个文件,所以才把这些打包到一起了,方便管理
useben
2020-04-18 15:38:22 +08:00
@labulaka521 不过改造下就好了,把 core/cmd 下的三个文件重构成 2 个,把 master 和 work 解耦。最好再把 web 服务和调度器再拆分下,二者通过 rpc 通信。这样子,web api,调度器,worker 完全解耦了,任意水平扩展了
ifconfig
2020-04-18 16:51:55 +08:00
原来大佬也在 go 夜读群里
labulaka521
2020-04-18 16:55:48 +08:00
@useben 这样也行,工作量不大,web 的话如果想重新部署到另外的地方可以直接把前端代码编译就可以了,不过我不太喜欢这种分的太多,感觉太麻烦了,哈哈。
labulaka521
2020-04-18 16:57:57 +08:00
@ifconfig 嘿嘿,是呀,不过不是大佬,哈哈
tikazyq
2020-04-18 20:55:23 +08:00
跟我们开发的爬虫管理平台有异曲同工之妙,crawlab,同样是用 golang 写的
putaozhenhaochi
2020-04-18 22:24:31 +08:00
@ps1aniuge 它比 ansible 好用 10 倍。??怎么得出这个结论的
ps1aniuge
2020-04-19 15:24:41 +08:00
@putaozhenhaochi
1 去项目主页看特性。
2 学用,自己体会。
3 我有一个横向 excel 对比表,对比各种运维工具,不过这里发不上来。
labulaka521
2020-04-19 19:30:07 +08:00
@tikazyq 看过很棒,star 很多(羡慕)
vipppppp
2020-04-20 09:31:19 +08:00
很棒的项目,给予我们用的任务,提一下一点小建议
是不是应该引入 DAG 的概念,或者父子任务就是这个,但关系却不是很明显?
[运行 shell 、python 、golang 代码(当然其他语言也可以支持,如需要请提出)] ,是否不应该停留在语言层面,应该把这些看成一个执行器,PythonOperation,GolangOperation 等等,这样的好处是能够用任意语言实现同样的接口 /方法就能调度,这样最大的好处是有利于用户插件的开发。

仅仅是我使用任务调度框架的一点点小经验,可能有点不实用,见谅~~~
labulaka521
2020-04-20 09:55:12 +08:00
@vipppppp 感谢建议,我会好好考虑😃
neroanelli
2020-04-25 21:34:36 +08:00
已经 star,感谢。能否增加任务分组和批量启停功能?还有就是 http api 控制?
labulaka521
2020-04-25 21:41:28 +08:00
@neroanelli 这两个功能可以考虑。http api 就是使用 api 进行一些操作吧,我在接口处加了 swag 的文档,使用 apihost/swagger/index.html 就可以看到这些接口

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/663633

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX