admin管理员组文章数量:1185142
使用spark运行数据处理事,虽然可以成功运行,但是看spark监控有fail出现,观察日志,发现有报错信息
[ERROR]
method:org.apache.spark.internal.Logging$class.logError(Logging.scala:70)
Lost executor Container killed by YARN for exceeding memory limits. 17.0 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
[ERROR]method:org.apache.spark.internal.Logging$class.logError(Logging.scala:70)
Lost executor Container killed by YARN for exceeding memory limits. 17.1 GB of 17 GB physical memory used. Consider boosting spark.yarn.executor.memoryOverhead.
handle clean data end ...
memoryOverhead: 对应的参数就是spark.yarn.executor.memoryOverhead 这块内存是用于虚拟机的开销、内部的字符串、还有一些本地开销(比如python需要用到的内存)等。其实就是额外的内存,spark并不会对这块内存进行管理。
从1024(1G)调整到3072(3G),单位是M 可以根据自己的情况调节大小,后报错不再出现,可以完美运行。
本文标签: 报错memoryPhysicalsparkexecutor
版权声明:本文标题:spark执行后报错physical memory used. Consider boosting spark.yarn.executor.memoryOverhead 内容由网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:http://www.betaflare.com/biancheng/1738334836a2076717.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论