Flink源码编译与运行
1 准备准备好Java 8情况和编译器(如IDEA)。
下载源码:
[*]官网:https://flink.apache.org/downloads/。
[*]GitHub:https://github.com/apache/flink。
2 编译
在IDEA终端,利用下面命令之一编译源码:
[*]安装:mvn clean install -DskipTests -Dfast
[*]打包:mvn clean package -DskipTests -Dfast
https://i-blog.csdnimg.cn/direct/e89a3e94acfc49c3a595e443b90d3de0.png
留意命令运行地点路径必须是工程根目录。
3 运行
3.1 运行JobManager
需要运行:org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint。
设置VM选项为:
-Dlog4j.configuration=E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\conf\log4j-console.properties
-classpath E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\lib\*
记得修改为你的路径。
设置步伐实参为:
--configDir E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\conf
> E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\log\job-log.out 2>&1
https://i-blog.csdnimg.cn/direct/658e76c612fd4f209c42861133f79bac.png
3.2 运行TaskManager
需要运行:org.apache.flink.runtime.taskexecutor.TaskManagerRunner。
设置VM选项为:
-Dlog4j.configuration=E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\conf\log4j-console.properties
-classpath E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\lib\*
设置步伐实参为:
--configDir E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\conf
> E:\Study\SourceCode\flink-1.18.0\flink-dist\target\flink-1.18.0-bin\flink-1.18.0\log\task-log.out 2>&1
https://i-blog.csdnimg.cn/direct/85b2a21a7c0f45a0b450a2123ca37517.png
4 题目
4.1 题目1
编译过程中,有的依赖无法主动下载。
办理:
可以去Maven仓库下载,然后利用下面的命令手动安装:
mvn install:install-file -Dfile=【jar包的完整路径】 -DgroupId=【依赖的GroupId】 -DartifactId=【依赖的ArtifactId】 -Dversion=【依赖的Version】 -Dpackaging=【依赖的Packaging类型】
如:
mvn install:install-file -Dfile=E:\Users\30411\Downloads\typescript-3.7.2.jar -DgroupId=org.webjars.npm -DartifactId=typescript -Dversion=3.7.2 -Dpackaging=jar
4.2 题目2
Cannot read properties of null (reading 'pickAlgorithm')
办理:
npm cache clear --force
4.3 题目3
jobManager启动直接退出。
办理:
利用netstat -ano检察端口号是否占用。
4.4 题目4
taskManager启动直接退出。
办理:
可能是创建临时目录出现题目。
默认创建临时目录中包罗“:”,而windows不允许出现“:”。可以将org.apache.flink.runtime.entrypoint.ClusterEntrypointUtils#generateTaskManagerWorkingDirectoryFile中"tm_" + resourceId改为"tm_" + resourceId.toString().replace(":", "+")。
记得重新编译。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
页:
[1]