2016 年排序竞赛 CloudSort 成绩: 4.51$/TB 阿里云获 Indy 和 Daytona 世界冠军

2016-11-10 21:30:38 +08:00
 hpayton
https://linux.cn/article-7948-1.html

2016 年 11 月 10 日, Sort Benchmark 在官方网站公布了 2016 年排序竞赛 CloudSort 项目的最终成绩。阿里云以$1.44/TB 的成绩获得 Indy (专用目的排序)和 Daytona (通用目的排序) 两个子项的世界冠军,打破了 AWS 在 2014 年保持的纪录 4.51$/TB 。这意味着阿里云将世界顶级的计算能力,变成普惠科技的云产品。

CloudSort 又被称为“云计算效率之争”,这项目赛比拼的是完成 100T 数据排序谁的花费更少,也是 Sortbenchmark 的各项比赛当中最具现实意义的项目之一。

参与该项竞赛的团队由南京大学、阿里云、 Databricks 公司联合组成,团队使用了阿里云官网在售的阿里云 ECS ,并按照公开的按量付费价格来比拼性价比。由英特尔处理器、 8G 内存、 40G 云盘及 135G 规格的 SSD 云盘等日常配置构成的集群,最终实现了每 TB 仅花费 1.44 美元的最好成绩。

阿里云在 Cloud Sort 上的最新成绩
阿里云在 Cloud Sort 上的最新成绩
此前, CloudSort 项目的纪录保持者为加利福尼亚大学团队,通过 AWS 官网在售的 EC2 来完成,使用了英特尔处理器、 122GB 内存, 320G 规格的 SSD 存储。在 2014 年该团队的最好成绩是每 TB 花费 4.51 美元。

负责阿里云参赛团队的研究员褚霸表示:“我们早就过了靠堆硬件的阶段,关键是让人人用得起,人人都会用,人人都能用。选择最合理的计算资源和算法,不断对算法进行优化,最大化地提高运行效率。想赢得比赛,你必须从供应链,操作系统,虚拟化,网络,存储到计算能力的每一个方面都处于世界前列。”

阿里云资深总监李津说:“持续在底层技术上不断升级、释放技术红利,这也是阿里云敢于采取激进降价策略的原因。”

去年,阿里云参加了以评测计算系统规模和效率为主的 GraySort 和 MinuteSort ,并在这两项重量级比赛中打破了全部 4 项世界纪录。今年, 1.44$/TB 的成绩也打破了 AWS 在 2014 年保持的纪录 4.51$/TB ,超越了 Google 官方在 2015 年公布的 1.54$/TB (未被列入大赛成绩)。

提到中国科技企业,过去的标签更多是抄袭、效仿、追随。但随着连续两年参赛,连续两年打破世界纪录,阿里云开始向世界证明,中国计算力量的潜力,中国技术人员正在进行一次又一次的技术探索。

——————————————————————————————
终于不堆配置,而是专攻性价比了。
3846 次点击
所在节点    云计算
12 条回复
fy
2016-11-10 21:40:09 +08:00
然而……
AlexaZhou
2016-11-10 21:49:40 +08:00
我并没有一千万

但我很好奇在这个双十一的晚上,阿里云的机器还可以达到标称的性能不?

如果哪位同学在阿里云有机器,今晚跑个 bench ,过几天再跑个 bench 对比下看看,就一清二楚了
kozora
2016-11-10 21:50:23 +08:00
拿 2016 年的结果和 2014 年的比 也是有点迷
wangdu2012
2016-11-10 22:01:31 +08:00
也真是怪逼了,自己给自己封个第一?
Showfom
2016-11-10 22:04:02 +08:00
呵呵哒
hpayton
2016-11-10 22:09:45 +08:00
@kozora 新闻里不是写了么: 1.44$/TB 的成绩也打破了 AWS 在 2014 年保持的纪录 4.51$/TB ,超越了 Google 官方在 2015 年公布的 1.54$/TB (未被列入大赛成绩)。
oa414
2016-11-10 22:15:45 +08:00
没有一千万。

Sort Benchmark 官网: http://sortbenchmark.org

阿里云的机器是在一个维度上夺冠,但是腾讯的团队在另外两个评测维度上夺冠。

作为阿里云小用户感觉这个和阿里云出售的云服务没什么关系,作为吃瓜群众感觉腾讯阿里技术确实厉害,以及比赛的论文也可以瞻仰下。

51CTO 新闻:

腾讯打破 2016 Sort Benchmark 4 项纪录, 98.8 秒完成 100TB 数据排序

11 月 10 日,具有计算奥运会之称的 Sort Benchmark 全球排序竞赛公布 2016 年最终成绩,腾讯云大数据联合团队用时不到 99 秒( 98.8 秒)就完成 100TB 的数据排序,打破阿里云去年创造的 329 秒的纪录。在更早前,百度创造的纪录是 716 秒, Hadoop 的纪录是 4222 秒。


ddd2500
2016-11-10 22:18:18 +08:00
"参与该项竞赛的团队由南京大学、阿里云、 Databricks 公司联合组成"
------呵呵
shiny
2016-11-10 22:23:57 +08:00
没有公开的秘密,能排前面倒也不意外。
20015jjw
2016-11-11 03:25:35 +08:00
lz 的头像很好的说明了我对这件事的看法
hpayton
2016-11-15 11:10:33 +08:00
@oa414 腾讯那个冠军是堆配置堆出来的,官网根本买不到。
512 个节点,每个节点配置两颗 OpenPOWER 处理器, 512GB 内存, 4 块华为 NVMe SSD 盘, 100Gb Mellanox 网卡。真是亮瞎眼。
转一个知乎上的评论: https://www.zhihu.com/question/52492049/answer/130830720
ocer
2016-11-16 17:31:18 +08:00
@hpayton 看了一下你的所有评论,感觉你全家都被腾讯强奸了啊,这深仇大恨,天天黑啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/319668

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX