Spark 3.5.1 升级 Java 17 非常 cannot access class sun.nio.ch.DirectBuf
非常说明使用Spark 3.5.1 升级到Java17的时候会有一个非常，非常如下
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
Exception in thread "main" java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x1c88c82d) cannot access class sun.nio.ch.DirectBuffer (in module java.base)
because module java.base does not export sun.nio.ch to unnamed module @0x1c88c82d
at org.apache.spark.storage.StorageUtils$.<clinit>(StorageUtils.scala:213)
at org.apache.spark.storage.BlockManagerMasterEndpoint.<init>(BlockManagerMasterEndpoint.scala:121)
at org.apache.spark.SparkEnv$.$anonfun$create$9(SparkEnv.scala:358)
at org.apache.spark.SparkEnv$.registerOrLookupEndpoint$1(SparkEnv.scala:295)
at org.apache.spark.SparkEnv$.create(SparkEnv.scala:344)
at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:196)
at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:284)
at org.apache.spark.SparkContext.<init>(SparkContext.scala:483)
at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2888)
at org.apache.spark.sql.SparkSession$Builder.$anonfun$getOrCreate$2(SparkSession.scala:1099)
at scala.Option.getOrElse(Option.scala:201)
at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:1093)
at org.apache.spark.examples.JavaStatusTrackerDemo.main(JavaStatusTrackerDemo.java:55)
缘故原由分析
分析下来是由于新版本的jdk是引入了模块的概念，在常规的包引入的时候是都有模块定义的
最关键的信息
cannot access class sun.nio.ch.DirectBuffer (in module java.base)
按照这个信息分析了一把，在Java9以上的版本里面会有module-info.class这部分信息，这个是对模块的定义，当然我们没有自动去引入，这部分就是jdk默认帮我们引入的模块信息。
在这部分我们可以找到sun.nio.ch的引入范围，实在可以发现 sun.nio.ch.DirectBuffer的类并不在引入的范围内
module java.base {
exports java.io;
exports java.lang;
exports java.lang.annotation;
exports java.lang.constant;
...
exports sun.nio.ch to
java.management,
jdk.crypto.cryptoki,
jdk.incubator.foreign,
jdk.net,
jdk.sctp;
}
这个实在就是一种兼容性的需求了，为了解决这种题目，jdk提供了一些启动的参数，可以强制引入,类似下面这样，实在寄义就是自动开放一些内部的模块对外部使用
--add-opens=java.base/java.lang=ALL-UNNAMED
--add-opens=java.base/java.lang.invoke=ALL-UNNAMED
--add-opens=java.base/java.lang.reflect=ALL-UNNAMED
--add-opens=java.base/java.io=ALL-UNNAMED
--add-opens=java.base/java.net=ALL-UNNAMED
参数是怎么来的
另外一个题目是，怎么知道Spark启动的时候都开放哪些参数呢,陆陆续续查询到资料，这个参数信息实在是在
org.apache.spark.launcher.JavaModuleOptions 中定义的
Spark启动的时候会追加
private static final String[] DEFAULT_MODULE_OPTIONS = {
"-XX:+IgnoreUnrecognizedVMOptions",
"--add-opens=java.base/java.lang=ALL-UNNAMED",
"--add-opens=java.base/java.lang.invoke=ALL-UNNAMED",
"--add-opens=java.base/java.lang.reflect=ALL-UNNAMED",
"--add-opens=java.base/java.io=ALL-UNNAMED",
"--add-opens=java.base/java.net=ALL-UNNAMED",
"--add-opens=java.base/java.nio=ALL-UNNAMED",
"--add-opens=java.base/java.util=ALL-UNNAMED",
"--add-opens=java.base/java.util.concurrent=ALL-UNNAMED",
"--add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED",
"--add-opens=java.base/sun.nio.ch=ALL-UNNAMED",
"--add-opens=java.base/sun.nio.cs=ALL-UNNAMED",
"--add-opens=java.base/sun.security.action=ALL-UNNAMED",
"--add-opens=java.base/sun.util.calendar=ALL-UNNAMED",
"--add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED"};
解决方案
在java启动的时候追加参数,题目可以解决
https://i-blog.csdnimg.cn/blog_migrate/e44a23517b7dd8b692a412eb267111c5.png
进一步追问
这个题目实在是在jira中心有记录的
可以看链接 https://issues.apache.org/jira/browse/SPARK-33772
我仍旧纠结的环境是这个实在是在3.3.0版本就解决了，我这个但是3.5.1不应该出这个题目啊。
https://i-blog.csdnimg.cn/blog_migrate/8852e735c8b19a3bdfe0128f92eebbef.png
我找到了引用这段代码的地方，是在类
org.apache.spark.launcher.SparkSubmitCommandBuilder.java里面
private List<String> buildSparkSubmitCommand(Map<String, String> env)
//这里构造启动参数
...
if (isClientMode) {
//这里构造客户端参数
...
}
//追加参数
addOptionString(cmd, JavaModuleOptions.defaultModuleOptions());
cmd.add("org.apache.spark.deploy.SparkSubmit");
cmd.addAll(buildSparkSubmitArgs());
return cmd;
}
实在上游就是构造参数的地方。
悟了
看到这里，我终于联系起来了。咋回事呢
https://i-blog.csdnimg.cn/blog_migrate/ca76a0ae96b8805546a858976df72cf2.png
我自己写的程序实在就是在main函数上面执行，所以需要添加参数什么的需要自己去指定。
这种实在就是单机模式。我们日常在启动spark程序从控制台上启动，spark-submit这种，实在是SparkSubmit这个程序去帮我们拼接里面的参数，实在我们可以改变这种local模式，我们可以启动一种叫做当地的集群模式，需要改变master参数，完整代码如下:
public final class JavaSparkPi {
public static void main(String[] args) throws Exception {
System.out.println(JavaModuleOptions.defaultModuleOptions());
SparkSession spark = SparkSession
.builder()
.appName("JavaSparkPi")
.master("local-cluster")
.getOrCreate();
System.out.println(spark.sparkContext().uiWebUrl());
spark.sparkContext().addJar("/Users/zhuxuemin/spark-examples-3.5.1/target/spark-examples-3.5.1-0.1-SNAPSHOT.jar"); //集群模式需要添加jar路径
JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
jsc.setLogLevel("INFO");
...//这里是代码逻辑
}
}
启动之后从控制台里面java命令可以看到参数：
前面这部分参数是我们自己加的
/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home/bin/java --add-exports java.base/sun.nio.ch=ALL-UNNAMED -Dfile.encoding=UTF-8 -classpath
这里中间很多jar包，下面找到参数，这部分就是spark代码自己加的
"--add-opens=java.base/sun.nio.cs=ALL-UNNAMED" "--add-opens=java.base/sun.security.action=ALL-UNNAMED" "--add-opens=java.base/sun.util.calendar=ALL-UNNAMED" "--add-opens=java.security.jgss/sun.security.krb5=ALL-UNNAMED" "-Djdk.reflect.useDirectMethodHandle=false" "org.apache.spark.executor.CoarseGrainedExecutorBackend" "--driver-url" "spark://CoarseGrainedScheduler@www.kube.com:50404" "--executor-id" "57" "--hostname" "192.168.31.89" "--cores" "2" "--app-id" "app-20240602104758-0000" "--worker-url" "spark://Worker@192.168.31.89:50411" "--resourceProfileId" "0"
这里面的逻辑就是我们启动的main函数，会按照分布式的模式去启动worker，启动之前会天生命令行，就是我们看到的样子。
好了，死磕到这里了，算是可以睡着了，zzzz~~~
参考资料
翻了许多资料，贴上
https://cloud.tencent.com/developer/ask/sof/107234786
https://issues.apache.org/jira/browse/SPARK-33772
https://issues.apache.org/jira/browse/SPARK-36796
https://stackoverflow.com/questions/72724816/running-unit-tests-with-spark-3-3-0-on-java-17-fails-with-illegalaccesserror-cl
https://github.com/apache/spark/blob/v3.3.0/launcher/src/main/java/org/apache/spark/launcher/JavaModuleOptions.java
https://stackoverflow.com/questions/76969857/storageutils-cannot-access-class-sun-nio-ch-directbuffer
https://spark.apache.org/docs/latest/index.html
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]