flink情况搭建
Flink会话模式1.集群规划：
https://i-blog.csdnimg.cn/direct/082ae585b4e64d448575524bc82f8e58.png
2. 将flink拖到/opt/so下
3. 将安装包解压到/opt/module下：
tar -zxvf /opt/so/flink-1.15.4-bin-scala_2.12.tgz -C /opt/module
4. 改个名：mv flink-1.15.4 flink
5. 修改配置文件：cd /opt/module/flink/conf
6. 进入配置文件：vim flink-conf.yaml
将jobmanager.rpc.address: localhost改为Hadoop001
1.6之前的只必要改这一个
jobmanager .bind-host：localhost 改为0.0.0.0设置别的用户也可以访问
taskmanager.bind-host: localhost改为0.0.0.0
taskmanager.host：localhost改为hadoop001
rest.address: localh 改为hadoop001
rest.bind-address: localhost 改为0.0.0.0
7. 进入workers：vim workers
Hadoop001
Hadoop002
Hadoop003
8. 进入masters：vim masters
加入：hadoop001：8081
9. 分发：scp -r /opt/module/flink root@hadoop002：/opt/module/flink
scp -r /opt/module/flink root@hadoop003:/opt/module/fink
10. 到hadoop002上操作：
cd /opt/module/flink/conf
vim flink-conf.yaml
将taskmanager.host:hadoop001改为hadoop002 #小弟的用户名和节点用户名保持一致
11. 到hadoop003上操作：
cd /opt/module/flink/conf
vim flink-conf.yaml
将taskmanager.host:hadoop001改为hadoop003
12. 进入bin目录下启动: bin/start-cluster.sh
Hadoop001
https://i-blog.csdnimg.cn/direct/9f1aa108586d4aecb19886b51fd25166.png
Hadoop002
https://i-blog.csdnimg.cn/direct/4c15652609c645788f54883b11f569f2.png
Hadoop003
https://i-blog.csdnimg.cn/direct/7ef6252b12034b29b500dff502ea2a68.png
http://192.168.10.234:8081
单机模式
[*]解压：tar -zxvf flink-1.15.4-bin-scala_2.12.tgz -C /opt/zz -C /opt/zz
[*]Cd /opt/zz
[*]改名：mv flink-1.15.4-bin-scala_2.12.tgz flink
[*]启动：cd /opt/zz/flink/bin
./start-cluster.sh
1. 在 link-confyaml文件中还以对集群中的JobManager 和 TaskManager 组件举行优化配置，主要配置项如下:“
2. jobmanagermemory,processsize: 对JbManager进程可利用到的全部内存举行配置包罗JVM元空间和其他开销，默认为 1600M，可以根据集群规模举行适当调解。
3. “taskmanager.memoryprocess.size: 对 TaskManager 进程可利用到的全部内存举行配置包罗JVM元空间和其他开销，默认为 1728M，可以根据集群规模举行适当调解。
4. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量举行配置默认为1，可根据TaskManager 所在的呆板能够提供给 Flink的CPU数量决定。所谓Slot就是 TaskManager 中具体运行一个使命所分配的盘算资源。
5. “parallelism.default: Flink 使命实行的并行度，默认为1。优先级低于代码中举行的并包罗JVM元空间和其他开销，默认为 1728M，可以根据集群规模举行适当调解。
6. “taskmanagernumberOfTaskSlots: 对每个 TaskManager 能够分配的 Slot 数量举行配置默认为 1，可根据TaskManager 所在的呆板能够提供给 Flink的CPU数量决定。所谓Slot 就是 TaskManager 中具体运行一个使命所分配的盘算资源。
7. “parallelism.default: Flink 使命实行的并行度，默认为 1。优先级低于代码中举行的并行度配置和使命提交时利用参数指定的并行度量。
https://i-blog.csdnimg.cn/direct/b08daa9ecf6d49d19fce1b53c44c2099.png
Standalone-HA集群部署：
[*]将解压包仍到/opt/so下
[*]解压：tar -zxvf /opt/so/flink-1.15.4-bin-scala_2.12.tgz -C /opt/module
[*]进入bin目录下停止集群：./stop-cluster.sh
[*]打开浏览器：http://192.168.10.234:8081
[*]Hadoop捆绑包下载地点：
Downloads | Apache Flink
[*]将hadoop捆绑包拖入/opt/so下
[*]复制一份到FLINK_HOME/lib下：
Cp /opt/so/ flink-shaded-hadoop-2-uber-2.8.3-10.0.jar /opt/module/flink/lib
[*]配置情况变量：vim /etc/profile
https://i-blog.csdnimg.cn/direct/bdf36a894b504db598ddc2fcb3be0018.png
[*]情况变量生效：source /etc/profile
[*]配置文件：vim flink-conf.yaml
https://i-blog.csdnimg.cn/direct/215fbf9fdafd40ebab7a0f757d2392c5.png
https://i-blog.csdnimg.cn/direct/e20820089ff749099cb1094aa1ae3f71.png
https://i-blog.csdnimg.cn/direct/aeb4f5d759f242939d75eebfbe201c59.png
https://i-blog.csdnimg.cn/direct/f61c8409cd38423dbf37778a0f6bb8a0.png
[*]配置masters：vim masters
https://i-blog.csdnimg.cn/direct/3125546237c14b4897a9526273c276d7.png
[*]配置workers：vim workers
https://i-blog.csdnimg.cn/direct/f0ab7a05958a4c26985e223754488244.png
[*]在flink下创建tmp目录：mkdir tmp
Cd tmp
Mkdir zookeeper
[*]配置zoo.cfg：vim zoo.cfg
https://i-blog.csdnimg.cn/direct/a3870d2516a54007a2977ed320949230.png
[*]分发：
Scp -r /opt/module/flink root@hadoop003:/opt/module/flink
Scp -r /opt/module/flink root@hadoop002:/opt/module/flink
[*]进入flink-conf.yaml
修改rpc的ip
https://i-blog.csdnimg.cn/direct/a8639218647e459ab3a2179ec7fb53a2.png
[*]进入bin：/opt/module/flink/bin
[*]启动：./start-cluster.sh
https://i-blog.csdnimg.cn/direct/ceb844c558454c1b9b8a97b8ddb4c734.png
https://i-blog.csdnimg.cn/direct/cbbaf8382ee34a41933db07c59c84034.png
Flink on yarn
进入hadoop下的yarn-site.xml
<!--是否启动一个线程查抄每个使命正利用的物理内存量，假如使命超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<!--是否启动一个线程查抄每个使命正利用的虚拟内存量，假如使命超出分配值，则直接将其杀掉，默认是true -->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
在情况变量中添加：
export HADOOP_CLASSPATH=`hadoop classpath`
export HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop
生效一下：source /etc/profile
分发一下：
scp -r /opt/module/hadoop/etc/hadoop/yarn-site.xml root@hadoop2:/opt/module/hadoop/etc/hadoop/ya
rn-site.xml
scp -r /opt/module/hadoop/etc/hadoop/yarn-site.xml root@hadoop3/opt/module/hadoop/etc/hadoop/ya
rn-site.xml
scp -r /etc/profile root@hadoop2:/etc/profile
scp -r /etc/profile root@hadoop3:/etc/profile
在提交Job前必须要开始yarn-session
bin/yarn-session.sh -n 2 -tm 800 -s 1 -d
flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar
提交一个使命
flink解压包：点击下载
提取码：1771
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]