dolphinScheduler跑spark任务调理问题汇总
问题1：ods层表必要使用json序列化和反序列化，必要2个jar包的依赖支持。https://i-blog.csdnimg.cn/direct/3fa2832fe2ef47f4b91383b266b46524.png
在服务器上运行，必要将上图两个jar包放到HDFS上目录上和spark安装路径里面的jar包文件夹下/opt/installs/spark/jars/，HDFS目录参考下图自己设置文件的路径中的
/opt/installs/spark/conf/spark-env.sh
https://i-blog.csdnimg.cn/direct/9bd9835c37aa44fc9623304ff4f55012.png
解决参考：pycharm运行spark任务报错-CSDN博客
如果这个设置没有，参考文章设置一下即可
运行Spark任务时解决WARN yarn.Client: Neither spark.yarn.jars nor spark.yarn.archive is set_warn client: neither spark.yarn.jars nor spark.yar-CSDN博客
问题2：dolphinScheduler报错日志
报错：python3找不到
解决方案：设置参考下图
/opt/installs/dolphinscheduler_installed/conf/env/dolphinscheduler_env.sh
https://i-blog.csdnimg.cn/direct/93c6ad65d7294719b5186b9534a72f6f.png
问题3：spark-submit命令找不到
解决方案：
分发spark安装包到各个节点，因为ds的worker涉及到hadoop11-13，都必要有spark-submit提交作业的能力。
问题4：压缩包问题
spark-submit --master yarn --py-files “xxx.zip” xx.py
解决方案：
如果在windows压缩，可能有问题。保举在linux上压缩。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]