Spark总结项目一（报错信息）：GC占用率上限已超限；线程任务结果获取器异常
发布时间
阅读量：
阅读量
六、Spark集群GC超限与线程异常分析
难点：
在集群环境中提交Spark任务时出现错误代码
xxxxxx
20/09/16 03:58:51 WARN scheduler.TaskSetManager: Stage 26 contains a task of very large size (1319 KB). The maximum recommended task size is 100 KB.
20/09/16 04:03:45 ERROR util.Utils: Uncaught exception in thread task-result-getter-2
java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.apache.spark.scheduler.DirectTaskResult$$anonfun$readExternal$1.apply$mcV$sp(TaskResult.scala:65)
at org.apache.spark.scheduler.DirectTaskResult$$anonfun$readExternal$1.apply(TaskResult.scala:55)全部评论 (0)
还没有任何评论哟~