这是一个创建于 3283 天前的主题，其中的信息可能已经有所发展或是发生改变。
本科毕设围绕 spark 开展，具体点是改进 spark 的资源调度系统。
由于身边没法部署大规模集群，能看到的问题可能相当有限。
想问问大家目前在生产环境看来 spark 现在主要的瓶颈和可改进的地方都有那些呢？
 |
1
Todd_Leo 2015-12-24 10:08:41 +08:00
你可以去官方的 JIRA 上看看 issues
|
 |
2
wilsoncao 2015-12-24 10:12:22 +08:00
只用过框架但没有认真思考过哪里有瓶颈。。。收藏关注一下大神的回答。。。就观察来看有些操作例如 mapbykey 非常耗时，非常耗时。。。不知道是不是跟资源调度有关。。
|
 |
3
Abbey 2015-12-24 10:43:06 +08:00
阿里云买几台服务器吧。。。
|
 |
4
mko0okmko0 2015-12-24 11:09:39 +08:00
你知道 spark 的
最小启动条件吗? 最佳 CP 值虚拟机推荐吗? 离线计算配置? 一秒软即时配置? 太多点可以玩了, 数据随便找个几 G 或是几 T 也可,倒在一起就可以玩了. 不要假设目标, 直接查找所有栏位 /数值的个别出现次数最多,降排序. 依照此排序推算某两个存在的正比关系, |
 |
5
dsharpen 2015-12-24 11:48:38 +08:00
樓主：大家覺得登錄火星的瓶頸在哪兒？
1 樓：你可以到 NASA 看看最新的 issues 2 樓：只到達火星大氣，沒認真思考過登錄哪裏有瓶頸，收藏關注一下奧巴馬的回答。。。就觀察來看，擺脫天朝的五毛非常耗時，非常耗時。。。不知道是不是和被牆太久了有關。。 3 樓：淘寶買個一次性高仿八心八級箭着陸器吧。。。 4 樓：你知道火星嗎？ 第五宇宙速度嗎？ 最佳第六人如何坑隊友的嗎？ 霍金電話性愛？ 一秒軟掉毛都沒射？ 太多點要考慮了， 轟趴隨便找幾個 G(男用)友或是幾個 T(女用)，倒在一起就可以玩了。 不要放棄治療， 直接查找所有內褲 /bra 的個別出現次數最多，降排序， 依照此排序推算某兩個存在的婚外關係， （不好意思岔道了，最後似乎得出了和火星無關的結論...anyway ） |
 |
6
zonghua 2015-12-24 11:52:51 +08:00 via iPhone
学校每个机房有六十台机子，只要五个机房的话。
|
|
8
mko0okmko0 2015-12-24 13:47:50 +08:00
@dsharpen 翻译很棒.超形象的.
难得被调侃后马上笑出来的哈哈哈. |
 |
9
staticor 2016-01-12 19:04:22 +08:00
诚如, 这里不获得有效回答的好地方, 倒是也许能得到一些得到有效回答的渠道. find issues
|
Select Language