YARN应用日志查看
YARN应用日志查看
- 1、页面查看
- 2、命令行查看
1、页面查看
1.1、YARN ResourceManager Web UI
Spark on YARN时，YARN的资源管理器（ResourceManager）和历史服务器（History Server）提供了强大的日志和监控功能，可以帮助用户查看和管理Spark作业
访问YARN ResourceManager的Web UI：http://<ResourceManager_Host>:8088
在ResourceManager Web UI中，我们可以查看各种信息，包括正在运行的应用程序、队列状态、节点状态等
每个运行的应用程序都有一个对应的链接。可以在右侧搜索框中输入对应application_id找到任务，然后点击对application_id链接，查看应用程序的详细信息，包括应用程序的日志
在Application的详情页面中，FinalStatus显示了该Application的最后状态，在下方找到logs链接点击可进入到Driver的日志页面
对于Driver日志而言，代码中的打印输出一般都在标准输出（stdout）里面，大部分重要的报错信息都在标准错误（stderr）里面。如果Application运行很慢，还可以通过gclog确认是否是因为Driver遇到了Full GC
在stdout与stderr中，可以