kex0916's recent timeline updates kex0916's recent timeline updates |
kex0916V2EX member #238839, joined on 2017-07-05 14:48:46 +08:00 |
 |
Per kex0916's settings, the topics list is hidden |
Deals info, including closed deals, is not hidden
kex0916's recent replies
Aug 24, 2020 Replied to a topic by ysn2233 › Hadoop › Hadoop 读取 10 万个文件初始化过程很慢有方便的解决办法么？ |
把文件合并下，或者把读取文件过程拆分成多个任务跑，最后再 union 起来
Mar 12, 2020 Replied to a topic by ysn2233 › Hadoop › 有什么好的办法可以用 Flink/Spark 高效率并行处理大量大小不一的压缩数据 |
可以先将大文件解压缩后放到 hdfs 上后再做计算，或者可以试试 https://github.com/nielsbasjes/splittablegzip 这种
Nov 11, 2019 Replied to a topic by ccfoucs › 推广 › 双十一🐶东购物超强省钱方案来了，这样做直接返现！ |
邀请码:nlb4o8
Apr 23, 2019 Replied to a topic by KOSKERS › Scala › 请教下关于用 Flume+kafka+Spark 实现实时监控错误日志报警的功能 |
Apr 18, 2019 Replied to a topic by blackcurrant › 程序员 › 上百亿个键值对使用什么数据库好？ |
hbase
Mar 6, 2019 Replied to a topic by PingCAP › 酷工作 › 这些「神秘」团队到底是做什么的？| PingCAP 招聘季 |
@qiuyesuifeng 我看官网上大数据岗位在北京，成都有岗位吗?
Feb 27, 2019 Replied to a topic by leechow › 成都 › 成都招银网络科技云平台（云计算）开发社招 |
@leechow 好的，谢谢
Feb 25, 2019 Replied to a topic by leechow › 成都 › 成都招银网络科技云平台（云计算）开发社招 |
老哥可以帮推大数据的吗
Feb 20, 2019 Replied to a topic by casillasyi › 程序员 › 最近在准备弃了 Java ，入 Clojure 的坑 |
可以试试 scala 瑟
Feb 2, 2019 Replied to a topic by qqq8724 › 问与答 › 问个 Spark 的问题,为什么 stage 没跑完,整个 job 就已经完了 |
你要找应用真正停止的原因，是正常执行完还是遇到了错误
ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! 这个应该是 SparkContext 停止引起的，java.io.IOException: Broken pipe 这个要看看调用栈
数据的话你可以重新跑这个任务吗，计算一下条数什么的比较一下
ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! 这个应该是 SparkContext 停止引起的，java.io.IOException: Broken pipe 这个要看看调用栈
数据的话你可以重新跑这个任务吗，计算一下条数什么的比较一下
Select Language