belcher's recent timeline updates belcher's recent timeline updates |
belcherV2EX member #289437, joined on 2018-02-04 12:37:40 +08:00 |
| 一个 job 中,spark 实际启动 executor 数量 程序员 • belcher • Jan 20, 2019 • Lastly replied by mggis0or1 | 1 |
| spark 的 shuffle 算子一定会产生宽依赖吗？ Hadoop • belcher • Jan 20, 2019 • Lastly replied by belcher | 5 |
belcher's recent replies
Jan 20, 2019 Replied to a topic by voxtriorusa › 云计算 › 试用了一哈 aws，在我这延迟 270ms， |
lightsail 日本和新加坡挺好的。
Jan 20, 2019 Replied to a topic by belcher › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？ |
@jakson 问题就在这，概念上是你说的这样的。宽依赖本质是父 rdd 的一个 partition 被多个子 rdd 的 partition 共享，就是一对多。那么如果使用了 shuffle 算子之后，父 rdd 的一个 partition 并没有被多个子 rdd 的 partition 共享，而是只分配给了一个子 rdd 的 partition，这还算宽依赖吗？
Jan 19, 2019 Replied to a topic by belcher › Hadoop › spark 的 shuffle 算子一定会产生宽依赖吗？ |
@bsidb 我懂了，分区规则一样，join 的时候 partition 就不存在一对多的情况了，也就是 shuffle 算子不一定产生宽依赖。那么，宽依赖一定是由 shuffle 产生的，这句话是对的么，有没有特例？
Dec 21, 2018 Replied to a topic by hitfxw › 酷工作 › [深圳][社招] 深信服云计算产品招后端工程师，工作地点位于南山智园，塘朗地铁站边 |
我做大数据的，想去你们公司但是经验达不到要求，我 17 年毕业做了不到一年大数据，所以想面大数据测试岗，你能帮个忙推一下么😉
Dec 20, 2018 Replied to a topic by suley › 宽带症候群 › 做个小调查，哪家宽带/哪个地区的上传速度最快？ |
深圳这边出了个游戏宽带，100m 上传。。。
Dec 20, 2018 Replied to a topic by shuni9 › 酷工作 › 「北京」「知乎」大数据开发（数仓方向）招聘实习生 |
敢问您的邮箱地址是什么鬼
Dec 20, 2018 Replied to a topic by RangerM › 酷工作 › [北京/深圳] 城市数据 SaaS 公司招前/后端工程师 |
顺便问一句，缺大数据开发么😁
Dec 20, 2018 Replied to a topic by xiaoshu › 酷工作 › 有意换工作的童鞋看过来奥 深圳 shopee 年底急招 前端 后端 产品 测试 运营... 总有一款适合你 |
那想必你们一定需要大数据开发喽，初级的😂
Aug 4, 2018 Replied to a topic by maemolee › Apple › 花了十几分钟，设计了一款纪念苹果突破万亿美元市值的 T 恤，打算去淘宝定制一下 |
这。。。普通非果粉没啥好纪念的感觉。
Jul 30, 2018 Replied to a topic by StephenDev › 职场话题 › v 站上到底有多少敢说敢走的？ |
周四，行业前辈劝我放弃做.net 去培训大数据，周五辞职，周六报名培训机构，周一上课。目前已经培训一个多月了。
Select Language