实时数仓-持续更新

镜像服务器清理

对于整个机器

1. rm -rf /tmp/*
2. rm -rf /usr/tmp/*
3. rm -rf /var/log/*
4. rm -rf /var/run/log/*
5. rm -rf /root/*
6. rm -rf /paimon

复制代码

对于Dinky

1. rm -rf /opt/service/dinky-release-1.17-1.0.3/logs/*
2. rm -rf /opt/service/dinky-release-1.17-1.0.3/tmp/*

复制代码

对于Hadoop

1. rm -rf /opt/service/hadoop-3.2.4/data/*
2. rm -rf /opt/service/hadoop-3.2.4/logs/*
3. rm -rf /opt/service/hadoop-3.2.4/tmp/*

复制代码

对于Kafka

1. rm -rf /opt/service/kafka_2.12-3.0.0/data/*
2. rm -rf /opt/service/kafka_2.12-3.0.0/logs/*

复制代码

对于zookeeper

1. rm -rf /opt/service/zookeeper-3.5.10/data/zkdata/*
2. rm -rf /opt/service/zookeeper-3.5.10/data/zkdatalog/*
3. rm -rf /opt/service/zookeeper-3.5.10/logs/*

复制代码

JDK(底子组件)

https://www.oracle.com/java/technologies/downloads/archive/
解压后设置`/etc/profile`

1. #JAVA
2. export JAVA_HOME=/opt/service/jdk1.8.0_401
3. export JRE_HOME=${JAVA_HOME}/jre
4. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
5. export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin
6. export PATH=$PATH:${JAVA_PATH}

复制代码

使下令生效
source /etc/profile
检验Java版本
java -version
MYSQL

安装脚本

1. #!/bin/bash
2. set -x
3. function Install_Mysql(){
4.     while :
5.         do
6.         read -p "Do you need to install MySQL(yes/no): " my_result
7.         if [ "$my_result" == "no" ];then
8.             which mysql >/dev/null 2>&1
9.             if [ "$?" != "0" ];then
10.                 echo "MySQL client is not installed on this machine. Start to install now"
11.                 cd $dir
12.                 wget -O "mysql5.7.tar.gz" https://s3-gzpu.didistatic.com/pub/mysql5.7.tar.gz
13.                 mkdir -p $dir/mysql/ && cd $dir/mysql/
14.                 tar -zxf $dir/mysql5.7.tar.gz -C $dir/mysql/
15.                 rpm -ivh $dir/mysql/mysql-community-common-5.7.36-1.el7.x86_64.rpm
16.                 rpm -ivh $dir/mysql/mysql-community-libs-5.7.36-1.el7.x86_64.rpm
17.                 rpm -ivh $dir/mysql/mysql-community-client-5.7.36-1.el7.x86_64.rpm
18.             fi
19.             read -p "Please enter the MySQL service address: " mysql_ip
20.             read -p "Please enter MySQL service port(default is 3306): " mysql_port
21.             read -p "Please enter the root password of MySQL service: " mysql_pass
22.             if [ "$mysql_port" == "" ];then
23.                 mysql_port=3306
24.             fi
25.             break
26.         elif [ "$my_result" == "yes" ];then
27.             read -p "Installing MySQL service will uninstall the installed(if any), Do you want to continue(yes/no): " option
28.             if [ "$option" == "yes" ];then  
29.                 cd $dir
30.                 wget -O "mysql5.7.tar.gz" https://s3-gzpu.didistatic.com/pub/mysql5.7.tar.gz
31.                 rpm -qa | grep -w -E "mariadb|mysql" | xargs yum -y remove >/dev/null 2>&1
32.                 mv -f /var/lib/mysql/ /var/lib/mysqlbak$(date "+%s") >/dev/null 2>&1
33.                 mkdir -p $dir/mysql/ && cd $dir/mysql/
34.                 tar -zxf $dir/mysql5.7.tar.gz -C $dir/mysql/
35.                 yum -y localinstall mysql* libaio*
36.                 systemctl start mysqld
37.                 systemctl enable mysqld >/dev/null 2>&1
38.                 old_pass=`grep 'temporary password' /var/log/mysqld.log | awk '{print $NF}' | tail -n 1`
39.                 mysql -NBe "alter user USER() identified by '$mysql_pass';" --connect-expired-password -uroot -p$old_pass
40.                 if [ $? -eq 0 ];then
41.                     mysql_ip="127.0.0.1"
42.                     mysql_port="3306"
43.                     echo  "Mysql database installation completed"
44.                     echo  -------- Mysql Password $old_pass ---------
45.                 else
46.                     echo -e "${RED} Mysql database configuration failed. The script exits ${RES}"
47.                     exit
48.                 fi
49.                 break
50.             else
51.                 exit 1
52.             fi
53.         else
54.             Printlog "Input error, please re-enter（yes/no）"
55.             continue
56.         fi
57.     done
58. }
59. #参数声明
60. dir=`pwd`
61. RED='\E[1;31m'
62. RES='\E[0m'
63. #调用
64. Install_Mysql

复制代码

SSH(集群免密)

--参考地点
https://www.jianshu.com/p/b71c58a598b5
端口：22
修改设置文件（三台） `/etc/hosts`

1. echo "::1     localhost       localhost.localdomain   localhost6      localhost6.localdomain6
2. 127.0.0.1       localhost       localhost.localdomain   localhost4      localhost4.localdomain4
3. 192.168.99.215  bigdata01 iZ2ze3nalp8guto80cb08tZ
4. 192.168.99.216  bigdata02 iZ2ze3nalp8guto80cb08sZ
5. 192.168.99.214  bigdata03 iZ2ze3nalp8guto80cb08rZ" > /etc/hosts

复制代码

互相免密设置（三台）

1. ssh-keygen -t rsa
2. .ae[%oTuPP~G%}3,hy{UPB&&}8M}18
3. #连续三次回车
4. ssh-copy-id root@bigdata01
5. #输入密码
6. #Odds!@#123
7. ssh-copy-id root@bigdata02
8. #输入密码
9. ssh-copy-id root@bigdata03
10. #输入密码

复制代码

Zookeeper(集群)

分布式协调服务，可以帮助分布式应用步伐****实现数据同步
-- 参考地点
https://www.cnblogs.com/maoxianwan/articles/17486380.html
端口：2181/2888/3888
解压后设置`/etc/profile`

1. #ZOOKEEPER
2. export ZOOKEEPER_HOME=/opt/hadoop/apache-zookeeper-3.8.0-bin/
3. export PATH=$PATH:$ZOOKEEPER_HOME/bin

复制代码

使下令生效
source /etc/profile
修改设置文件` ```$ZOOKEEPER_HOME/conf/zoo.cfg``` `

1. # The number of milliseconds of each tick
2. tickTime=2000
3. # The number of ticks that the initial
4. # synchronization phase can take
5. initLimit=10
6. # The number of ticks that can pass between
7. # sending a request and getting an acknowledgement
8. syncLimit=5
9. # the directory where the snapshot is stored.
10. # do not use /tmp for storage, /tmp here is just
11. # example sakes.
12. dataDir=/opt/service/zookeeper-3.5.10/data/zkdata
13. dataLogDir=/opt/service/zookeeper-3.5.10/data/zkdatalog
14. # the port at which the clients will connect
15. clientPort=2181
16. # the maximum number of client connections.
17. # increase this if you need to handle more clients
18. #maxClientCnxns=60
19. #
20. # Be sure to read the maintenance section of the
21. # administrator guide before turning on autopurge.
22. #
23. # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
24. #
25. # The number of snapshots to retain in dataDir
26. #autopurge.snapRetainCount=3
27. # Purge task interval in hours
28. # Set to "0" to disable auto purge feature
29. #autopurge.purgeInterval=1
30. server.1=bigdata01:2888:3888
31. server.2=bigdata02:2888:3888
32. server.3=bigdata03:2888:3888

复制代码

在目次dataDir创建服务节点编号文件myid，与server.后的数字对应
自定义集群启停脚本

1. #!/bin/bash
2. for host in bigdata01 bigdata02 bigdata03
3. do
4.         case $1 in
5.         "start"){
6.                 echo "                                               "
7.                 echo "--------------- 启 动 zookeeper ---------------"
8.                 echo "------------ $host zookeeper -----------"
9.                 ssh $host "source /etc/profile; zkServer.sh start"
10.         };;
11.         "stop"){
12.                 echo "                                               "
13.                 echo "--------------- 关 闭 zookeeper ---------------"
14.                 echo "------------ $host zookeeper -----------"
15.                 ssh $host "source /etc/profile; zkServer.sh stop"
16.         };;
17.         "status"){
18.                 echo "                                               "
19.                 echo "-------------- 查看zookeeper状态 --------------"
20.                 echo "------------ $host zookeeper -----------"
21.                 ssh $host "source /etc/profile; zkServer.sh status"
22.         };;
23.         esac
24. done

复制代码

`chmod +x /bash/zkCluster.sh`
`cp /bash/zkCluster.sh /bin/`
测试
`zkCluster.sh status`
Kafka(集群)

--参考地点
https://blog.csdn.net/snipercai/article/details/131812772
端口：9092/9999
解压后设置`/etc/profile`

1. #HADOOP
2. export HADOOP_HOME=/opt/service/hadoop-3.2.4
3. export HADOOP_LOG_DIR=$HADOOP_HOME/logs
4. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

Hadoop(集群)

--参考地点
https://blog.csdn.net/snipercai/article/details/131812772
端口：9000/9870/8485/10020/19888/8088
解压后设置`/etc/profile`

1. #HADOOP
2. export HADOOP_HOME=/opt/service/hadoop-3.2.4
3. export HADOOP_LOG_DIR=$HADOOP_HOME/logs
4. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

复制代码

各设置文件
core-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
7. <configuration>
8.   
9.   <property>
10.     <name>fs.defaultFS</name>
11.     <value>hdfs://ccns</value>
12.   </property>
13.   
14.   
15.   <property>
16.     <name>hadoop.tmp.dir</name>
17.     <value>/opt/service/hadoop-3.2.4/tmp</value>
18.   </property>
19.   
20.   
21.   <property>
22.     <name>ha.zookeeper.quorum</name>
23.     <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
24.   </property>
25.   
26.   
27.   <property>
28.     <name>hadoop.data.dir</name>
29.     <value>/opt/service/hadoop-3.2.4/data</value>
30.   </property>
31.   
32.    
33.   <property>
34.     <name>hadoop.http.staticuser.user</name>
35.     <value>root</value>
36.   </property>
37.   
39.   
40.   <property>
41.     <name>fs.trash.interval</name>
42.     <value>1440</value>
43.   </property>
45.   <property>
46.     <name>fs.alluxio.impl</name>
47.     <value>alluxio.hadoop.FileSystem</value>
48.   </property>
49.   
50. </configuration>

复制代码

hdfs-site.xml

1. <?xml version="1.0" encoding="UTF-8"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
7. <configuration>
8.   
9.   <property>
10.     <name>dfs.nameservices</name>
11.     <value>ccns</value>
12.   </property>
13.   
14.   
15.   <property>
16.     <name>dfs.ha.namenodes.ccns</name>
17.     <value>nn1,nn2</value>
18.   </property>
19.   
20.   
21.   <property>
22.     <name>dfs.namenode.rpc-address.ccns.nn1</name>
23.     <value>bigdata01:9000</value>
24.   </property>
26.   
27.   <property>
28.     <name>dfs.namenode.rpc-address.ccns.nn2</name>
29.     <value>bigdata02:9000</value>
30.   </property>
32.   
33.   <property>
34.     <name>dfs.namenode.http-address.ccns.nn1</name>
35.     <value>bigdata01:9870</value>
36.   </property>
37.   
38.   
39.   <property>
40.     <name>dfs.namenode.http-address.ccns.nn2</name>
41.     <value>bigdata02:9870</value>
42.   </property>
43.   
44.   
45.   <property>
46.     <name>dfs.namenode.shared.edits.dir</name>
47.     <value>qjournal://bigdata01:8485;bigdata02:8485;bigdata03:8485/ccns</value>
48.   </property>
50.   
51.   <property>
52.     <name>dfs.client.failover.proxy.provider.ccns</name>
53.     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
54.   </property>
56.   
57.   <property>
58.     <name>dfs.ha.fencing.methods</name>
59.     <value>sshfence</value>
60.   </property>
61.   
62.   
63.   <property>
64.     <name>dfs.ha.automatic-failover.enabled</name>
65.     <value>true</value>
66.   </property>
67.   
68.   
69.   <property>
70.     <name>dfs.ha.fencing.ssh.private-key-files</name>
71.     <value>/root/.ssh/id_rsa</value>
72.   </property>
74.   
75.   <property>
76.     <name>dfs.journalnode.edits.dir</name>
77.     <value>/opt/service/hadoop-3.2.4/data/journalnode</value>
78.   </property>
79.   
80.   
81.   <property>   
82.     <name>dfs.namenode.name.dir</name>   
83.     <value>file:///opt/service/hadoop-3.2.4/data/namenode</value>   
84.   </property>   
86.   
87.   <property>   
88.     <name>dfs.datanode.data.dir</name>   
89.     <value>file:///opt/service/hadoop-3.2.4/data/datanode</value>   
90.   </property>
92.   
93.   <property>
94.     <name>dfs.replication</name>
95.     <value>2</value>
96.   </property>
97.   
98.                            
99.   <property>   
100.     <name>dfs.permissions</name>   
101.     <value>false</value>   
102.   </property>
103. </configuration>

复制代码

yarn-site.xml

1. <?xml version="1.0"?>
3. <configuration>
4.    
5.     <property>
6.         <name>yarn.resourcemanager.ha.enabled</name>
7.         <value>true</value>
8.     </property>
10.    
11.     <property>
12.         <name>yarn.resourcemanager.cluster-id</name>
13.         <value>ccyarn</value>
14.     </property>
16.    
17.     <property>
18.         <name>yarn.resourcemanager.ha.rm-ids</name>
19.         <value>rm1,rm2</value>
20.     </property>
22.    
23.     <property>
24.         <name>yarn.resourcemanager.hostname.rm1</name>
25.         <value>bigdata01</value>
26.     </property>
28.    
29.     <property>
30.         <name>yarn.resourcemanager.hostname.rm2</name>
31.         <value>bigdata02</value>
32.     </property>
34.    
35.     <property>
36.         <name>yarn.resourcemanager.webapp.address.rm1</name>
37.         <value>bigdata01:8088</value>
38.     </property>
40.    
41.     <property>
42.         <name>yarn.resourcemanager.webapp.address.rm2</name>
43.         <value>bigdata02:8088</value>
44.     </property>
46.    
47.     <property>
48.         <name>hadoop.zk.address</name>
49.         <value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
50.     </property>
52.    
53.     <property>
54.         <name>yarn.resourcemanager.recovery.enabled</name>
55.         <value>true</value>
56.     </property>
58.    
59.     <property>
60.         <name>yarn.resourcemanager.store.class</name>
61.         <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
62.     </property>
64.    
65.    
66.     <property>
67.         <name>yarn.nodemanager.aux-services</name>
68.         <value>mapreduce_shuffle</value>
69.     </property>
71.    
72.     <property>
73.         <name>yarn.nodemanager.pmem-check-enabled</name>
74.         <value>false</value>
75.     </property>
77.    
78.     <property>
79.         <name>yarn.nodemanager.vmem-check-enabled</name>
80.         <value>false</value>
81.     </property>
83.    
84.     <property>
85.         <name>yarn.log-aggregation-enable</name>
86.         <value>true</value>
87.     </property>
89.    
90.     <property>
91.         <name>yarn.log.server.url</name>
92.         <value>http://bigdata01:19888/jobhistory/logs</value>
93.     </property>
95.    
96.     <property>
97.         <name>yarn.log-aggregation.retain-seconds</name>
98.         <value>172800</value>
99.     </property>
100.    
101.     <property>
102.         <name>yarn.resourcemanager.am.max-attempts</name>
103.         <value>4</value>
104.         <description>
105.             The maximum number of application master execution attempts.
106.         </description>
107.     </property>
108.     <property>
109.         <name>yarn.app.attempts</name>
110.         <value>3</value>
111.     </property>
112.     <property>
113.         <name>yarn.application.attempt.failures-validity-interval</name>
114.         <value>5 minute</value>
115.     </property>
116.    
117.     <property>
118.         <name>yarn.resourcemanager.scheduler.class</name>
119.         
120.         <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
121.     </property>
122.     <property>
123.         <name>yarn.scheduler.fair.allocation.file</name>
124.         <value>/opt/service/hadoop-3.2.4/etc/hadoop/fair-scheduler.xml</value>
125.         <description>指明公平调度器队列分配配置文件</description>
126.     </property>
127.    
128.     <property>
129.         <name>yarn.scheduler.fair.user-as-default-queue</name>
130.         <value>false</value>
131.     </property>
132.    
133.    
134.    
135.    
136.    
137.    
139.    
140.     <property>
141.         <name>yarn.resourcemanager.scheduler.client.thread-count</name>
142.         <value>5</value>
143.     </property>
144.    
145.    
146.     <property>
147.         <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
148.         <value>false</value>
149.     </property>
150.    
151.     <property>
152.         <name>yarn.nodemanager.resource.count-logical-processors-as-cores</name>
153.         <value>true</value>
154.     </property>
155.    
156.     <property>
157.         <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
158.         <value>16</value>
159.     </property>
160.    
161.     <property>
162.         <name>yarn.nodemanager.resource.memory-mb</name>
163.         <value>30720</value>
164.         <discription>每个节点可用内存,默认8192M(8G)</discription>
165.     </property>
166.    
167.     <property>
168.         <name>yarn.nodemanager.resource.cpu-vcores</name>
169.         <value>96</value>
170.         <discription>默认为8。每个节点可分配多少虚拟核给YARN使用,通常设为该节点定义的总虚拟核数即可。</discription>
171.     </property>
172.    
173.     <property>
174.         <name>yarn.scheduler.minimum-allocation-mb</name>
175.         <value>1024</value>
176.         <discription>单个任务可申请最少内存,默认1024MB</discription>
177.     </property>
178.    
179.     <property>
180.         <name>yarn.scheduler.maximum-allocation-mb</name>
181.         <value>4096</value>
182.         <discription>单个任务可申请最大内存,默认8192M(8G)</discription>
183.     </property>
184.    
185.     <property>
186.         <name>yarn.scheduler.minimum-allocation-vcores</name>
187.         <value>1</value>
188.         <discription>指定RM可以为每个container分配的最小/最大虚拟核数，低 于或高于该限制的核申请，会按最小或最大核数来进行分配。默认值适合 一般集群使用。</discription>
189.     </property>
190.    
191.     <property>
192.         <name>yarn.schedluler.maximum-allocation-vcores</name>
193.         <value>6</value>
194.         <discription>指定RM可以为每个container分配的最小/最大虚拟核数，低 于或高于该限制的核申请，会按最小或最大核数来进行分配。默认值适合 一般集群使用。</discription>
195.     </property>
196.    
197.     <property>
198.         <name>yarn.nodemanager.vmem-pmem-ratio</name>
199.         <value>1</value>
200.         <discription>物理内存不足时,使用的虚拟内存,默认是2.1,表示每使用1MB的物理内存,最多可以使用2.1MB的虚拟内存总量。</discription>
201.     </property>
202.     <property>
203.         <name>yarn.nodemanager.vcores-pcores-ratio</name>
204.         <value>16</value>
205.         <discription>每使用一个物理cpu,可以使用的虚拟cpu的比例,默认为2</discription>
206.     </property>
208.     <property>
209.         
210.         <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
211.         <description>应用程序主控器（Application Master，简称 AM）可以使用的最大资源百分比</description>
212.         <value>0.01</value>
213.     </property>
215. </configuration>

复制代码

mapred-site.xml

1. <?xml version="1.0"?>
2. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
7. <configuration>
9.   <property>
10.     <name>mapreduce.framework.name</name>
11.     <value>yarn</value>
12.   </property>
14.   <property>
15.     <name>yarn.app.mapreduce.am.env</name>
16.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
17.   </property>
19.   
20.   <property>
21.     <name>mapreduce.jobhistory.address</name>
22.     <value>bigdata01:10020</value>
23.   </property>
24.   
25.   
26.   <property>
27.     <name>mapreduce.jobhistory.webapp.address</name>
28.     <value>bigdata01:19888</value>
29.   </property>
31.   
32.   <property>
33.     <name>mapreduce.map.env</name>
34.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
35.   </property>
37.   
38.   <property>
39.     <name>mapreduce.reduce.env</name>
40.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
41.   </property>
43.   
44. </configuration>

复制代码

fair-site.xml
此文件根据yarn-site.xml举行设置

1. <?xml version="1.0"?>
2. <allocations>
3.   
4.   <userMaxAppsDefault>100</userMaxAppsDefault>
6.   
7.   <queue name="root">
8.    
9.     <minResources>1024mb,1vcores</minResources>
10.    
11.     <maxResources>153600mb,480vcores</maxResources>
12.    
13.     <maxRunningApps>200</maxRunningApps>
14.    
15.     <weight>1.0</weight>
16.    
17.     <schedulingMode>fair</schedulingMode>
18.    
19.     <aclSubmitApps>*</aclSubmitApps>
20.    
21.     <aclAdministerApps>*</aclAdministerApps>
23.    
24.     <queue name="default">
25.       
26.       <minResources>1024mb,1vcores</minResources>
27.       
28.       <maxResources>107520mb,300vcores</maxResources>
29.       
30.       <maxRunningApps>100</maxRunningApps>
31.       
32.       <schedulingMode>fair</schedulingMode>
33.       
34.       <weight>1.0</weight>
35.       
36.       <aclSubmitApps>*</aclSubmitApps>
37.       
38.       
39.       <maxAMResourcePerApp>60000mb,150vcores</maxAMResourcePerApp>
40.     </queue>
42.    
43.     <queue name="taobao">
44.       
45.       <minResources>1024mb,1vcores</minResources>
46.       
47.       <maxResources>46080mb,180vcores</maxResources>
48.       
49.       <maxRunningApps>100</maxRunningApps>
50.       
51.       <schedulingMode>fair</schedulingMode>
52.       
53.       <weight>1.0</weight>
54.       <aclSubmitApps>*</aclSubmitApps>
55.       
56.       
57.       <maxAMResourcePerApp>23040mb,180vcores</maxAMResourcePerApp>
58.     </queue>
60.   </queue>
61. </allocations>

复制代码

使下令生效
source /etc/profile
修改设置文件(详见服务器)
创建对应数据存放目次

1. mkdir /opt/service/hadoop-3.2.4/tmp
2. mkdir /opt/service/hadoop-3.2.4/data
3. mkdir /opt/service/hadoop-3.2.4/data/journalnode
4. mkdir /opt/service/hadoop-3.2.4/data/namenode
5. mkdir /opt/service/hadoop-3.2.4/data/datanode

复制代码

初始化集群

1. #bigdata01执行
2. hdfs zkfc -formatZK
4. ### 每个节点分别启动 journalnode ###
5. hdfs --daemon start journalnode
6. ### 初始化主namenode，此次选择bigdata01为主namenode ###
7. hdfs namenode -format
8. #启动主namenode
9. hdfs --daemon start namenode
10. #初始化从namenode，此次bigdata02为从namenode
11. hdfs namenode -bootstrapStandby
12. #启动所有进程
13. start-all.sh

复制代码

• https://www.cnblogs.com/lenmom/p/11285273.html Yarn****调度器有关，后续视环境选择具体调度器
  

集群扩缩容（无需停机）

https://blog.csdn.net/andy_wcl/article/details/104558092
默认各个节点与集群总的存储使用率相差不凌驾10%，此集群磁盘空间较小，建议设置为5%，避免数据块倾斜
Yarn调优

如果一个服务器是32核，虚拟后为64核，128G内存，我们该如何设置上面的6个参数呢？即如何做到资源最大化利用，生产上我们一样平常要预留15-20%的内存，那么可用内存就是128*0.8=102.4G，去除其他组件的使用，我们设置成90G就可以了。就是说,yarn总可用资源是64核,90G；
设置单个任务可用的最大及最小核数
yarn.sheduler.maximum-allocation-vcores
一样平常就设置成4个，cloudera公司做过性能测试，如果CPU大于等于5之后，CPU的利用率反而不是很好。这个参数可以根据生成服务器决定，比如公司服务器很富裕，那就直接设置成1:1；设置成32，如果不是很富裕，可以直接设置成1:2。我们以1:2来盘算。
yarn.scheduler.minimum-allocation-vcores
如果设置vcoure = 1，那么最大可以跑64/1=64个container，如果设置成如许，最小container是64/4=16个。
设置单个任务可用的最大及最小内存
yarn.scheduler.minmum-allocation-mb
默认是1G,如果设置成2G，那么90/2=45最多可以跑45个container，如果设置成4G，那么最多可以跑24个；vcore有些浪费。
yarn.scheduler.maximum-allocation-mb
Hadoop日志清理

已设置自动清理，如需手动清理，三台机器实行以下下令

1. rm -rf /opt/service/hadoop-3.2.4/logs/*.log.*
2. rm -rf /opt/service/hadoop-3.2.4/logs/*.out.*

复制代码

Flink(On Yarn)

--参考地点
https://blog.csdn.net/ASN_forever/article/details/106234893
https://blog.csdn.net/weixin_52134189/article/details/139332965
端口：6123/8081
Flink On Yarn 环境下，单节点放flink即可
修改设置文件·yarn-site.xml·

1. <property>
2.   <name>yarn.resourcemanager.am.max-attempts</name>
3.   <value>4</value>
4.   <description>
5.     The maximum number of application master execution attempts.
6.   </description>
7. </property>

复制代码

修改设置文件·flink-conf.xml·

1. # jobmanager和taskmanager、其他client的RPC通信IP地址，TaskManager用于连接到JobManager/ResourceManager 。HA模式不用配置此项，在master文件中配置，由zookeeper选出leader与standby
2. jobmanager.rpc.address: 0.0.0.0
4. # jobmanager和taskmanager、其他client的RPC通信端口，TaskManager用于连接到JobManager/ResourceManager 。HA模式不用配置此项，在master文件中配置，由zookeeper选出leader与standby
5. jobmanager.rpc.port: 6123
7. # jobmanager JVM heap 内存大小
8. jobmanager.memory.process.size: 1024m
10. # taskmanager JVM heap 内存大小
11. taskmanager.memory.process.size: 2048m
13. # 每个taskmanager提供的任务slots数量
14. taskmanager.numberOfTaskSlots: 4
16. # 并行计算个数
17. parallelism.default: 4
20. # 高可用模式
21. high-availability.type: zookeeper
23. # # JobManager元数据保留在文件系统storageDir中 指向此状态的指针存储在ZooKeeper中
24. high-availability.storageDir: hdfs:///dinky/flink/recovery_demo
26. # # Zookeeper集群
27. high-availability.zookeeper.quorum: bigdata01:2181,bigdata02:2181,bigdata03:2181
29. # # 在zookeeper下的根目录
30. high-availability.zookeeper.path.root: /flink
32. # 单个flink job重启次数 必须小于等于yarn-site.xml中Application Master配置的尝试次数
33. yarn.application-attempts: 4
35. #==============================================================================
36. # Fault tolerance and checkpointing
37. #==============================================================================
38. # jobmanager (MemoryStateBackend), filesystem (FsStateBackend), rocksdb (RocksDBStateBackend)
40. # 检查点之间的时间间隔为180秒
41. execution.checkpointing.interval: 180000
42. # 两次系统检查点间最短间隔180秒
43. execution.checkpointing.min-pause: 180000
44. # 使用精确一次（EXACTLY_ONCE）模式进行检查点
45. execution.checkpointing.mode: EXACTLY_ONCE
46. # 状态后端使用文件系统（filesystem）
47. state.backend: filesystem
48. # 检查点存储目录
49. state.checkpoints.dir: hdfs:///dinky/flink/checkpoint
50. # Savepoint（保存点）
51. state.savepoints.dir: hdfs:///dinky/flink/savepoint
52. # 检查点超时时间为600000毫秒（10分钟）
53. execution.checkpointing.timeout: 600000
54. # 允许的最大并发检查点数为1个
55. execution.checkpointing.max-concurrent-checkpoints: 1
56. # 保留的最大检查点数为2个
57. state.checkpoints.num-retained: 2
58. # 在作业取消时删除外部化的检查点
59. execution.checkpointing.externalized-checkpoint-retention: DELETE_ON_CANCELLATION
61. # 是否应该创建增量检查点。对于增量检查点，只存储前一个检查点的差异，而不存储完整的检查点状态。一些状态后端可能不支持增量检查点并忽略此选项。
62. state.backend.incremental: false
63. # jobmanager故障恢复策略，指定作业计算如何从任务失败中恢复 full重新启动所有任务以恢复作业 region重新启动可能受任务失败影响的所有任务，region在目前（flink1.11）只对批处理有效，实时计算任然时full
64. jobmanager.execution.failover-strategy: region
66. #OSS相关
67. # fs.oss.endpoint: https://oss-cn-beijing-internal.aliyuncs.com
68. # fs.oss.accessKeyId: LTAI5tN3omJRJwcNyzUEo34v
69. # fs.oss.accessKeySecret: QgRfeoQ8TprkQPA0yknFvGcStTgQ4D

复制代码

Dinky(编写入口)

--参考地点
https://dinky.org.cn/docs/1.0/deploy_guide/normal_deploy
端口：8888
默认账密：admin/dinky123!@#
集群运行时间与本地jar包无关，只需有config文件及hdfs中lib文件即可
Dinky使用教程
增补

单个taskmanager/****jobmanager 并行度****，slot 上限为4，建议低于4或者设置4的倍数； taskmanager/jobmanager内存，上限为4096m，默认为1024m，建议1024m倍数修改或者默认； 并行度设置为slot的N倍，即可均匀增加taskmanager个数；
DolphinScheduler(待定-调度&监控集群)

--参考地点
https://github.com/apache/dolphinscheduler/blob/3.1.5-release/docs/docs/zh/guide/howto/datasource-setting.md
端口：12345
默认账密： admin/dolphinscheduler123
题目记录

• 存在频繁报错任务，在yarn中不断打印日志，导致运行节点宕机，拟定关闭某些日志的打印；
  
• 存在资源滥用环境，即slot与并行度的设置，任务提交上去后及时观察并设置合理资源，然后发布并设置告警；
  

V_2.0

• 建议资源隔离，任务隔离，用容器举行摆设
  

    出处：https://www.cnblogs.com/010319MZG    本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文毗连，否则保留追究法律责任的权利。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。