大家觉得 spark 目前瓶颈在哪呢？

[gzxultra]

本科毕设围绕 spark 开展，具体点是改进 spark 的资源调度系统。
由于身边没法部署大规模集群，能看到的问题可能相当有限。
想问问大家目前在生产环境看来 spark 现在主要的瓶颈和可改进的地方都有那些呢？

[Todd_Leo]

你可以去官方的 JIRA 上看看 issues

[wilsoncao]

只用过框架但没有认真思考过哪里有瓶颈。。。收藏关注一下大神的回答。。。就观察来看有些操作例如 mapbykey 非常耗时，非常耗时。。。不知道是不是跟资源调度有关。。

[Abbey]

阿里云买几台服务器吧。。。

[mko0okmko0]

你知道 spark 的
最小启动条件吗?
最佳 CP 值虚拟机推荐吗?
离线计算配置?
一秒软即时配置?
太多点可以玩了,
数据随便找个几 G 或是几 T 也可,倒在一起就可以玩了.
不要假设目标,
直接查找所有栏位 /数值的个别出现次数最多,降排序.
依照此排序推算某两个存在的正比关系,

[dsharpen]

樓主：大家覺得登錄火星的瓶頸在哪兒？
1 樓：你可以到 NASA 看看最新的 issues
2 樓：只到達火星大氣，沒認真思考過登錄哪裏有瓶頸，收藏關注一下奧巴馬的回答。。。就觀察來看，擺脫天朝的五毛非常耗時，非常耗時。。。不知道是不是和被牆太久了有關。。
3 樓：淘寶買個一次性高仿八心八級箭着陸器吧。。。
4 樓：你知道火星嗎？
第五宇宙速度嗎？
最佳第六人如何坑隊友的嗎？
霍金電話性愛？
一秒軟掉毛都沒射？
太多點要考慮了，
轟趴隨便找幾個 G(男用)友或是幾個 T(女用)，倒在一起就可以玩了。
不要放棄治療，
直接查找所有內褲 /bra 的個別出現次數最多，降排序，
依照此排序推算某兩個存在的婚外關係，
（不好意思岔道了，最後似乎得出了和火星無關的結論...anyway ）

[zonghua]

学校每个机房有六十台机子，只要五个机房的话。

[czheo]

spark.mlib 正在向 spark.ml 迁移，其中还有很多的 ML 算法都还没有实现。

[mko0okmko0]

@dsharpen 翻译很棒.超形象的.
难得被调侃后马上笑出来的哈哈哈.

[staticor]

诚如, 这里不获得有效回答的好地方, 倒是也许能得到一些得到有效回答的渠道. find issues