scala – 了解Spark监控UI
|
对于正在运行的Spark作业,此处是URL：
http://localhost:4040/stages/stage/?id=1&attempt=0的UI详细信息的一部分
http://spark.apache.org/docs/1.2.0/monitoring.html的文档没有详细说明这些参数.列“输入”,“写入时间”和“列”是什么？ “随机写”表示？ 从这个截图中可以看出,这4个任务已经运行了1.3分钟,我试图发现它是否存在瓶颈然后发生了什么. Spark配置为使用4个核心,我想这就是为什么UI中显示4个任务,每个任务是在单个核心上运行？ 什么是“Shuffle Write”大小？ 在我的控制台输出上有许多日志消息： 15/02/11 20:55:33 INFO rdd.HadoopRDD：输入拆分：文件：/ c：/data/example.txt：103306 103306 这些文件的结果是分成多个较小的大小,每个大小为100.9KB的“输入”(在Spark UI屏幕截图中指定)是否映射到其中一个片段？ 解决方法
并非所有内容都打印在日志中,特别是没有任何自定义代码(除非您自己打印).当某些内容运行的时间过长时,您可能希望在其中一个执行程序上执行线程转储,并查看堆栈以查看计算中的进度.
（编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |