flink学习(1)——standalone模式的安装

打印 上一主题 下一主题

主题 807|帖子 807|积分 2421

1、上传,解压,重命名,设置环境变量

  1. 将文件上传到/opt/modules下
  2. cd /opt/modules
  3. tar -zxf flink-1.13.6-bin-scala_2.11.tgz -C /opt/installs/
  4. mv flink-1.13.6/ flink
  5. vi /etc/profile
  6. export FLINK_HOME=/opt/installs/flink
  7. export PATH=$PATH:$FLINK_HOME/bin
  8. export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
  9. 记得source /etc/profile
复制代码
2、修改设置文件( /opt/installs/flink/conf/)

flink-conf.yaml
  1. // 按照下面的进行修改,不存在的添加,存在的修改
  2. jobmanager.rpc.address: bigdata01
  3. taskmanager.numberOfTaskSlots: 2
  4. web.submit.enable: true
  5. // 历史服务器  如果HDFS是高可用,则复制core-site.xml、hdfs-site.xml到flink的conf目录下   hadoop11:8020 -> hdfs-cluster
  6. jobmanager.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
  7. historyserver.web.address: bigdata01
  8. historyserver.web.port: 8082
  9. historyserver.archive.fs.dir: hdfs://bigdata01:9820/flink/completed-jobs/
复制代码
 masters
  1. bigdata01:8081
复制代码
workers
  1. bigdata01
  2. bigdata02
  3. bigdata03
复制代码
3、上传jar包

——由于我们将flink任务的汗青日记文件设置到了hdfs上,所以说,flink必要连接到hdfs
  1. 将资料下的flink-shaded-hadoop-2-uber-2.7.5-10.0.jar放到flink的lib目录下
复制代码
4、分发文件

  1. xsync.sh /opt/installs/flink
  2. xsync.sh /etc/profile
  3. 去每一个服务器上刷新配置文件
  4. source /etc/profile
复制代码
5、启动

  1. #启动HDFS  
  2. start-dfs.sh
  3. #启动集群
  4. start-cluster.sh
  5. #启动历史服务器
  6. historyserver.sh start——flink历史日志
复制代码
        http://bigdata01:8081  -- Flink集群管理界面 当前有效,重启后里面跑的内容就消失了
能够访问8081是因为你的集群启动着呢
        http://bigdata01:8082 -- Flink汗青服务器管理界面,实时服务重启,运行过的服务都还在
能够访问8082是因为你的汗青服务启动着 

免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

罪恶克星

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表