ToB企服应用市场:ToB评测及商务社交产业平台

标题: dolphinScheduler跑spark任务调理问题汇总 [打印本页]

作者: 瑞星 时间: 2024-12-1 17:45
标题: dolphinScheduler跑spark任务调理问题汇总
问题1：ods层表必要使用json序列化和反序列化，必要2个jar包的依赖支持。

在服务器上运行，必要将上图两个jar包放到HDFS上目录上和spark安装路径里面的jar包文件夹下/opt/installs/spark/jars/，HDFS目录参考下图自己设置文件的路径中的
/opt/installs/spark/conf/spark-env.sh

解决参考：pycharm运行spark任务报错-CSDN博客
如果这个设置没有，参考文章设置一下即可
运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set_warn client: neither spark.yarn.jars nor spark.yar-CSDN博客

问题2：dolphinScheduler报错日志

报错：python3找不到
解决方案：设置参考下图
/opt/installs/dolphinscheduler_installed/conf/env/dolphinscheduler_env.sh

问题3：spark-submit命令找不到

解决方案：
分发spark安装包到各个节点，因为ds的worker涉及到hadoop11-13，都必要有spark-submit提交作业的能力。

问题4：压缩包问题

spark-submit --master yarn --py-files “xxx.zip” xx.py
解决方案：
如果在windows压缩，可能有问题。保举在linux上压缩。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)