ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据笔记之flink集群的安装部署 [打印本页]
作者: 曂沅仴駦    时间: 2025-2-18 04:51
标题: 大数据笔记之flink集群的安装部署
1. linux 大数据笔记之flink集群的安装部署

   flink集群是以hadoop集群为底子的，如果是yarn模式，先要搭建hadoop集群(参看前文:hadoop集群搭建)
如果是standalone模式，无需hadoop。本文讲解standalone模式
  情况规划
IPHOSTNAME性质192.168.101.191hadoop191master192.168.101.192hadoop192slave192.168.101.193hadoop193slave 一、下载安装

   下载地点(以1.20.0为例)：https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.20.0/ 下载flink-1.20.0-bin-scala_2.12.tgz
分别上传到 3台服务器的/opt/module/flink/目录，解压：tar -zxvf flink-1.20.0-bin-scala_2.12.tgz
  二、修改配置文件

vim /home/data/flink/flink-1.20.0/conf/config.yaml
hadoop191的配置如下:
  1. jobmanager:
  2.   # 允许访问的ip
  3.   bind-host: 0.0.0.0
  4.   rpc:
  5.           # master服务器的hostname,3台机器都配置hadoop191
  6.     address: hadoop191
  7.     port: 6123
  8.   memory:
  9.     process:
  10.        size: 1600m
  11.   execution:
  12.      failover-strategy: region
  13. taskmanager:
  14.         # 任务节点，允许访问ip
  15.   bind-host: 0.0.0.0
  16.   # 任务节点的主机名，每台机器填自己的主机名
  17.   host: hadoop191
  18.   numberOfTaskSlots: 6
  19.   memory:
  20.     process:
  21.           size: 1728m
  22. parallelism:
  23.   default: 4
  24. rest:
  25.   address: localhost
  26.   # 允许web访问的ip，仅修改hadoop191，浏览器也只访问此台
  27.   bind-address: 0.0.0.0
复制代码
  hadoop192、hadoop193的配置，仅taskmanager.host各自填自己的主机名，不修改rest.address,
其他与master保持一致即可
  三、修改主从

   在目录 /opt/module/flink/flink-1.20.0/conf下修改：
①vim masters
写入：hadoop191:8081
②vim workers
写入：
hadoop191
hadoop192
hadoop193
分发到别的两台机器，3台机器的masters与workers是一致的
  四、权限修改

   分别在3台机器的目录：/opt/module/flink 实行： chown -R hadoop:hadoop flink-1.20.0
  五、免密访问

   我的3台机器，的hadoop账号设置了免密访问(参考hadoop集群搭建的1.4)
  六、编写启动脚本

   在 /home/hadoop/bin目录下实行 vim flink.sh
  1. #!/bin/bash
  2. if [ $# -lt 1 ]
  3. then
  4. echo "No Args Input..."
  5. exit ;
  6. fi
  7. case $1 in
  8. "start")
  9. echo " =================== 启动 flink 集群 ==================="
  10. ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/start-cluster.sh"
  12. ;;
  13. "stop")
  14. echo " =================== 关闭 flink 集群 ==================="
  15. ssh hadoop191 "/opt/module/flink/flink-1.20.0/bin/stop-cluster.sh"
  17. ;;
  18. *)
  19. echo "Input Args Error..."
  20. ;;
  21. esac
复制代码
  授权与改变归属：
chmod +x flink.sh
chown -R hadoop:hadoop flink.sh
  七、启动

   用hadoop用户实行: sh flink.sh start
  八、浏览器访问

http://192.168.101.191:8081/
2. DOCKER部署flink standalone 单节点

   1.创建文件夹 /usr/local/flink1.18下面: logs checkpoints jobs
2。docker拉去镜像:  docker pull flink:1.18.0
3.安装docker-compose
yum install epel-release
yum install docker-compose
4.找个文件夹实行: vim docker-compose.yml
  1. version: "3"
  2. services:
  3.   jobmanager:
  4.     image: flink:1.18.0
  5.     container_name: flink-jobmanager
  6.     hostname: jobmanager
  7.     ports:
  8.       - "8081:8081" # Flink Dashboard
  9.     command: jobmanager
  10.     environment:
  11.       - JOB_MANAGER_RPC_ADDRESS=jobmanager
  12.     volumes:
  13.       - /usr/local/flink1.18/logs:/opt/flink/log
  14.       - /usr/local/flink1.18/checkpoints:/opt/flink/checkpoints
  15.       - /usr/local/flink1.18/jobs:/opt/flink/jobs
  16.           - /usr/local/flink1.18/conf:/opt/flink/conf
  18.   taskmanager:
  19.     image: flink:1.18.0
  20.     container_name: flink-taskmanager
  21.     depends_on:
  22.       - jobmanager
  23.     command: taskmanager
  24.     environment:
  25.       - JOB_MANAGER_RPC_ADDRESS=jobmanager
  26.       - TASK_MANAGER_NUMBER_OF_TASK_SLOTS=4
  27.     volumes:
  28.       - /usr/local/flink1.18/logs:/opt/flink/log
  29.       - /usr/local/flink1.18/checkpoints:/opt/flink/checkpoints
  30.       - /usr/local/flink1.18/jobs:/opt/flink/jobs
  31.           - /usr/local/flink1.18/conf:/opt/flink/conf
复制代码
  5.拷贝一个flink-conf.yaml到/usr/local/flink1.18/conf目录
大抵如下：
  1. env.java.opts.all: --add-exports=java.base/sun.net.util=ALL-UNNAMED --add-exports=java.rmi/sun.rmi.registry=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.api=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.file=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.parser=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.tree=ALL-UNNAMED --add-exports=jdk.compiler/com.sun.tools.javac.util=ALL-UNNAMED --add-exports=java.security.jgss/sun.security.krb5=ALL-UNNAMED --add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.net=ALL-UNNAMED --add-opens=java.base/java.io=ALL-UNNAMED --add-opens=java.base/java.nio=ALL-UNNAMED --add-opens=java.base/sun.nio.ch=ALL-UNNAMED --add-opens=java.base/java.lang.reflect=ALL-UNNAMED --add-opens=java.base/java.text=ALL-UNNAMED --add-opens=java.base/java.time=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED --add-opens=java.base/java.util.concurrent=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.atomic=ALL-UNNAMED --add-opens=java.base/java.util.concurrent.locks=ALL-UNNAMED
  2. jobmanager.rpc.address: jobmanager
  3. jobmanager.rpc.port: 6123
  4. jobmanager.bind-host: 0.0.0.0
  5. jobmanager.memory.process.size: 2048m
  6. taskmanager.bind-host: 0.0.0.0
  7. taskmanager.host: hadoop193
  8. taskmanager.memory.process.size: 4096m
  9. taskmanager.numberOfTaskSlots: 4
  10. parallelism.default: 2
  11. jobmanager.execution.failover-strategy: region
  12. rest.address: localhost
  13. rest.bind-address: 0.0.0.0
  14. blob.server.port: 6124
  15. query.server.port: 6125
复制代码
  6.实行 docker-compose up -d
  7.查看docker ps
  8.浏览器访问 http://192.168.101.193:8081/

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4