使用yarn api提交、监控spark任务

  • https://blog.csdn.net/camel84/article/details/81977766
  • 先创建获取appID,然后把程序jar和依赖jar上传到hdfs
    • http://localhost:8088/ws/v1/cluster/apps/new-application
    • http://localhost:50070/webhdfs/v1/spark-examples_2.11-2.3.1.jar?op=GETFILESTATUS
    • http://localhost:50070/webhdfs/v1/spark_libs.zip?op=GETFILESTATUS
  • 然后提交
    • http://localhost:8088/ws/v1/cluster/apps
  • 然后查看
    • http://localhost:8088/ws/v1/cluster/apps/application_1534993174414_0001
发布了21 篇原创文章 · 获赞 0 · 访问量 621

猜你喜欢

转载自blog.csdn.net/qq_34224565/article/details/104233709