ECS ( Amazon EC2 Container Service )服务是 AWS 专门为用户提供的容器服务, ECS 服务又细分为了 containers , tasks , container instances 和 clusters 四种模式,其中 Tasks 主要面向在短时间内,或固定周期内需要大量计算资源的批处理作业。
ETL ,图片格式转换, 图片调整, OCR , PDF 生成,天气预报,日志分析,特征抽取,自动化测试,以及搜索引擎爬虫等都是常见的批处理作业。本文将通过 Coursera 的案例带你了解这种特殊的容器服务。
Coursera 是由美国斯坦福大学两名计算机科学教授创办的在线教育平台,它与全世界最顶尖的大学和机构合作,通过在线公开课的形式为所有人,提供在以往只有精英人群才能享受到的教育资源。
Coursera 目前有超过 1300 万的注册用户,来自 190 个国家,课程内容从编程到写诗无所不包。为了应对如此大的用户量和课程量, Coursera 的后台中有很多批处理作业,比如批量邮件发送,课堂测验批改,成绩单导出,数据核对等。
最初, Coursera 使用一个 PHP 框架 Cascade 来实现,遇到了很多问题:
后来,基础设施工程师团队想要通过 Docker 容器实现微服务架构,但是在使用 Mesos 管理集群和容器的过程中遇到了很多问题, Mesos 的启动很复杂, Coursera 没有专业的人和时间去管理一个 Mesos 集群。
最后, Coursera 开始使用 ECS 的服务:
ECS 显著降低了 Coursera 运行批处理作业的成本,提高了 IT 效率:
是不是觉得以上场景很适合你?
但是 ECS 还没进中国肿么办?
试试灵雀云最新的批量计算服务——任务( Job )吧!
这是灵雀云为中国用户独家推出的云端功能,帮您执行一次性或重复性的短时作业,如 ETL ,图片格式转换, 图片调整, OCR , PDF 生成,天气预报,日志分析,特征抽取,自动化测试,以及搜索引擎爬虫等。您可以设置每个任务的关键参数,例如环境变量、执行时间、执行周期和次数。 在线教程: http://docs.alauda.cn/feature/job/intro.html
在此,我们对最新的批量计算功能开放试用邀请,您只需填写问卷(不超过两分钟),就可以试用该新功能。我们会在反馈者中抽取 10 位给予新年贺礼!(活动截至 2016 年 1 月 12 日)