V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qqq8724  ›  全部回复第 9 页 / 共 11 页
回复总数  204
1  2  3  4  5  6  7  8  9  10 ... 11  
2019-02-02 17:11:39 +08:00
回复了 qqq8724 创建的主题 问与答 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了
@kex0916 感谢回答 因为这个重跑太费时间和空间了 所以尽量不重跑 年后我重跑试试吧
2019-02-02 14:57:23 +08:00
回复了 qqq8724 创建的主题 问与答 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了
@kex0916 我没有加那个参数 日志输出我设置 WARN
最后一条是 java.io.IOException: Broken pipe
其他:
19/02/02 02:04:25 ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! Dropping event SparkListenerBlockUpdated(BlockUpdatedInfo(BlockManagerId(3, zzcywhadoop07, 58138),broadcast_10_piece0,StorageLevel(false, false, false, false, 1),0,0,0))

19/02/01 23:52:28 WARN spark.ExecutorAllocationManager: No stages are running, but numRunningTasks != 0

我找了几个不常见的报错

当时指定 300 个分区 结果也确实是 300 个
2019-02-02 12:06:30 +08:00
回复了 qqq8724 创建的主题 问与答 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了
[![k8e2H1.png]( https://s2.ax1x.com/2019/02/02/k8e2H1.png)]( https://imgchr.com/i/k8e2H1) 原因都是这个样子的 我是担心它 stage 没跑完 结果量会不会少 最后一句话没太懂
@kex0916
2019-02-02 09:48:17 +08:00
回复了 qqq8724 创建的主题 问与答 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了
@kex0916 大神求助啊
2019-01-31 15:26:18 +08:00
回复了 hosealee 创建的主题 宠物 帝都有人想要狗吗?送只狗子
这狗狗在家里会叫吗
@wangfei324017 不想搞对象了
找茬的
只要你手快,你可以在打开的一瞬间,点到我的信息一栏
2018-12-26 09:16:33 +08:00
回复了 zhuzhezhe 创建的主题 生活 圣诞节了,给大家报个平安
加油!
2018-12-14 18:05:39 +08:00
回复了 qqq8724 创建的主题 问与答 新手求问,用 spark 怎么读取 hdfs 上 zip 文件和 tar.gz 文件
@kex0916 哈哈,又是你,我上一次问的问题你就回答过,很感谢,你这个方法很有道理,我会试试的
2018-12-14 11:16:48 +08:00
回复了 qqq8724 创建的主题 问与答 新手求问,用 spark 怎么读取 hdfs 上 zip 文件和 tar.gz 文件
@capric @douglas1997 @luny 感谢你们的回答 这个需求是确实要用到 spark 和 hdfs 的 目前看来#2 的回答很接近,正在分析 :)
2018-12-07 09:05:15 +08:00
回复了 NoKey 创建的主题 MacBook Pro 屏幕上有指纹,怎么擦掉。。。
作案需要带手套的呀,你这个肯定是没经验
2018-11-29 13:40:36 +08:00
回复了 zhuzhezhe 创建的主题 生活 23 岁,得了癌症,人生无望
加油啊兄弟,没有过不去的坎
ig nb
2018-11-09 11:07:20 +08:00
回复了 sun2920989 创建的主题 DNS 北京联通把 www.baidu.com 指向了 127.0.0.1?
是的
你女朋友在找个噱头套你话呢
2018-09-28 09:21:03 +08:00
回复了 sadhen 创建的主题 程序员 送出几本《Scala 实用指南》
scala 为不同而不同
2018-09-21 18:23:59 +08:00
回复了 wanwan 创建的主题 问与答 中秋节了,说说你们公司发的什么礼品!
@feifan00x 哈哈 太惨了 还得加班
2018-09-20 16:06:47 +08:00
回复了 wanwan 创建的主题 问与答 中秋节了,说说你们公司发的什么礼品!
@wanwan :) 送了一句话:“加油!转正后你们就有了!”
1  2  3  4  5  6  7  8  9  10 ... 11  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1023 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 33ms · UTC 19:35 · PVG 03:35 · LAX 11:35 · JFK 14:35
Developed with CodeLauncher
♥ Do have faith in what you're doing.