T 级别的 RDD 正确数据聚合的姿势？

[p2pCoder]

JavaPairRDD<String, Map<String, String>> 结构的 RDD，input data 约在 1T 作用，使用常规的 reducebykey 的 excutor 内存会不够， 目前，spark.executor.memory 设置的 4G，准备继续往上加到 8G 再试， 这种情况下除了 加 executor.memory 还有其他 有效解决方式吗？ 小弟 spark 菜鸡，希望各位大佬给点指导。

[decken]

内存不够时间来凑 可以用 reparation 将数据分成更多分区

[ijk0]

增加 executer 数

[bsidb]

用 Spark 的 DataFrame 的 API 来完成聚合操作。DataFrame API 在处理超大规模数据时，性能比 RDD 的 reduceByKey 高非常多。

[sampeng]

你这个怎么感觉就跟 500m 内存怎么分析一个 T 数据一个故事呢…内存不够时间来凑…

[p2pCoder]

@sampeng
@ijk0
executor 1000

[p2pCoder]

@sampeng
@ijk0
输错了 100

[burby]

google bigquery

[ijk0]

@p2pCoder 可以配置动态增加 executor 数（设置一个上限比如 500 ），executor 4g 也不算少了；另外注意下是不是有数据倾斜