18 个一线工作的常用 Shell 脚本，建议收藏！

来源：进击云原生
1、检测两台服务器指定目录下的文件一致性

1. #!/bin/bash  
2. ######################################  
3. 检测两台服务器指定目录下的文件一致性  
4. #####################################  
5. #通过对比两台服务器上文件的md5值，达到检测一致性的目的  
6. dir=/data/web  
7. b_ip=192.168.88.10  
8. #将指定目录下的文件全部遍历出来并作为md5sum命令的参数，进而得到所有文件的md5值，并写入到指定文件中  
9. find $dir -type f|xargs md5sum > /tmp/md5_a.txt  
10. ssh $b_ip "find $dir -type f|xargs md5sum > /tmp/md5_b.txt"  
11. scp $b_ip:/tmp/md5_b.txt /tmp  
12. #将文件名作为遍历对象进行一一比对  
13. for f in `awk '{print 2} /tmp/md5_a.txt'`do  
14. #以a机器为标准，当b机器不存在遍历对象中的文件时直接输出不存在的结果  
15. if grep -qw "$f" /tmp/md5_b.txt  
16. then  
17. md5_a=`grep -w "$f" /tmp/md5_a.txt|awk '{print 1}'`  
18. md5_b=`grep -w "$f" /tmp/md5_b.txt|awk '{print 1}'`  
19. #当文件存在时，如果md5值不一致则输出文件改变的结果  
20. if [ $md5_a != $md5_b ]then  
21. echo "$f changed."  
22. fi  
23. else  
24. echo "$f deleted."  
25. fi  
26. done  

复制代码

2、定时清空文件内容，定时记录文件大小

1. #!/bin/bash  
2. #################################################################  
3. 每小时执行一次脚本（任务计划），当时间为0点或12点时，将目标目录下的所有文件内#容清空，但不删除文件，其他时间则只统计各个文件的大小，一个文件一行，输出到以时#间和日期命名的文件中，需要考虑目标目录下二级、三级等子目录的文件  
4. ################################################################  
5. logfile=/tmp/`date +%H-%F`.log  
6. n=`date +%H`  
7. if [ $n -eq 00 ] || [ $n -eq 12 ]  
8. then  
9. #通过for循环，以find命令作为遍历条件，将目标目录下的所有文件进行遍历并做相应操作  
10. for i in `find /data/log/ -type f`  
11. do  
12. true > $i  
13. done  
14. else  
15. for i in `find /data/log/ -type f`  
16. do  
17. du -sh $i >> $logfile  
18. done  
19. fi  

复制代码

3、检测网卡流量，并按规定格式记录在日志中

1. #!/bin/bash  
2. #######################################################  
3. #检测网卡流量，并按规定格式记录在日志中#规定一分钟记录一次  
4. #日志格式如下所示:  
5. #2019-08-12 20:40  
6. #ens33 input: 1234bps  
7. #ens33 output: 1235bps  
8. ######################################################3  
9. while :  
10. do  
11. #设置语言为英文，保障输出结果是英文，否则会出现bug  
12. LANG=en  
13. logfile=/tmp/`date +%d`.log  
14. #将下面执行的命令结果输出重定向到logfile日志中  
15. exec >> $logfile  
16. date +"%F %H:%M"  
17. #sar命令统计的流量单位为kb/s，日志格式为bps，因此要*1000*8  
18. sar -n DEV 1 59|grep Average|grep ens33|awk '{print $2,"\t","input:","\t",$5*1000*8,"bps","\n",$2,"\t","output:","\t",$6*1000*8,"bps"}'  
19. echo "####################"  
20. #因为执行sar命令需要59秒，因此不需要sleep  
21. done  

复制代码

4、计算文档每行出现的数字个数，并计算整个文档的数字总数

1. #!/bin/bash  
2. #########################################################  
3. #计算文档每行出现的数字个数，并计算整个文档的数字总数  
4. ########################################################  
5. #使用awk只输出文档行数（截取第一段）  
6. n=`wc -l a.txt|awk '{print $1}'`  
7. sum=0  
8. #文档中每一行可能存在空格，因此不能直接用文档内容进行遍历  
9. for i in `seq 1 $n`do  
10. #输出的行用变量表示时，需要用双引号  
11. line=`sed -n "$i"p a.txt`#wc -L选项，统计最长行的长度  
12. n_n=`echo $line|sed s'/[^0-9]//'g|wc -L`  
13. echo $n_nsum=$[$sum+$n_n]  
14. done  
15. echo "sum:$sum"  

复制代码

杀死所有脚本

1. #!/bin/bash  
2. ################################################################  
3. #有一些脚本加入到了cron之中，存在脚本尚未运行完毕又有新任务需要执行的情况，  
4. #导致系统负载升高，因此可通过编写脚本，筛选出影响负载的进程一次性全部杀死。  
5. ################################################################  
6. ps aux|grep 指定进程名|grep -v grep|awk '{print $2}'|xargs kill -9  

复制代码

5、从 FTP 服务器下载文件

1. #!/bin/bash  
2. if [ $# -ne 1 ]; then  
3.     echo "Usage: $0 filename"  
4. fi  
5. dir=$(dirname $1)  
6. file=$(basename $1)  
7. ftp -n -v << EOF   # -n 自动登录  
8. open 192.168.1.10  # ftp服务器  
9. user admin password  
10. binary   # 设置ftp传输模式为二进制，避免MD5值不同或.tar.gz压缩包格式错误  
11. cd $dir  
12. get "$file"  
13. EOF  

复制代码

方法2：通过TCP建立的连接

1. #!/bin/bash  
2. COUNT=1  
3. SUM=0  
4. MIN=0  
5. MAX=100  
6. while [ $COUNT -le 5 ]; do  
7.     read -p "请输入1-10个整数：" INT      
8.     if [[ ! $INT =~ ^[0-9]+$ ]]; then  
9.         echo "输入必须是整数！"  
10.         exit 1  
11.     elif [[ $INT -gt 100 ]]; then  
12.         echo "输入必须是100以内！"  
13.         exit 1  
14.     fi  
15.     SUM=$(($SUM+$INT))  
16.     [ $MIN -lt $INT ] && MIN=$INT  
17.     [ $MAX -gt $INT ] && MAX=$INT  
18.     let COUNT++  
19.     done  
20. echo "SUM: $SUM"  
21. echo "MIN: $MIN"  
22. echo "MAX: $MAX  

复制代码

2）屏蔽每分钟SSH尝试登录超过10次的IP
方法1：通过lastb获取登录状态:

1. #!/bin/bash  # 脚本生成一个 100 以内的随机数,提示用户猜数字,根据用户的输入,提示用户猜对了,  
2. # 猜小了或猜大了,直至用户猜对脚本结束。  
3. # RANDOM 为系统自带的系统变量,值为 0‐32767的随机数  
4. # 使用取余算法将随机数变为 1‐100 的随机数num=$[RANDOM%100+1]echo "$num"   
5. # 使用 read 提示用户猜数字  
6. # 使用 if 判断用户猜数字的大小关系:‐eq(等于),‐ne(不等于),‐gt(大于),‐ge(大于等于),  
7. # ‐lt(小于),‐le(小于等于)  
8.   
9. while :  
10.   do      
11.     read -p "计算机生成了一个 1‐100 的随机数,你猜: " cai      
12.     if [ $cai -eq $num ]      
13.     then         
14.         echo "恭喜,猜对了"            
15.         exit         
16.     elif [ $cai -gt $num ]         
17.     then              
18.         echo "Oops,猜大了"           
19.     else              
20.         echo "Oops,猜小了"      
21.     fi  
22.   done  

复制代码

方法2：通过日志获取登录状态

1. #场景：  
2. #1.访问日志文件的路径：/data/log/access.log  
3. #2.脚本死循环，每10秒检测一次，10秒的日志条数为300条，出现502的比例不低于10%（30条）则需要重启php-fpm服务  
4. #3.重启命令为：/etc/init.d/php-fpm restart  
5. #!/bin/bash  
6. ###########################################################  
7. #监测Nginx访问日志502情况，并做相应动作  
8. ###########################################################  
9. log=/data/log/access.log  
10. N=30 #设定阈值  
11. while :do  
12. #查看访问日志的最新300条，并统计502的次数  
13.     err=`tail -n 300 $log |grep -c '502" '`   
14. if [ $err -ge $N ]   
15. then  
16. /etc/init.d/php-fpm restart 2> /dev/null   
17. #设定60s延迟防止脚本bug导致无限重启php-fpm服务  
18.      sleep 60  
19. fi  
20. sleep 10  
21. done  

复制代码

17、根据web访问日志，封禁请求量异常的IP，如IP在半小时后恢复正常，则解除封禁

[code]#!/bin/bash  ####################################################################################  #根据web访问日志，封禁请求量异常的IP，如IP在半小时后恢复正常，则解除封禁  ####################################################################################  logfile=/data/log/access.log  #显示一分钟前的小时和分钟  d1=`date -d "-1 minute" +%H%M`  d2=`date +%M`  ipt=/sbin/iptables  ips=/tmp/ips.txt  block()  {   #将一分钟前的日志全部过滤出来并提取IP以及统计访问次数   grep '$d1:' $logfile|awk '{print $1}'|sort -n|uniq -c|sort -n > $ips   #利用for循环将次数超过100的IP依次遍历出来并予以封禁   for i in `awk '$1>100 {print $2}' $ips`    do   $ipt -I INPUT -p tcp --dport 80 -s $i -j REJECT    echo "`date +%F-%T` $i" >> /tmp/badip.log    done  }  unblock()  {   #将封禁后所产生的pkts数量小于10的IP依次遍历予以解封   for a in `$ipt -nvL INPUT --line-numbers |grep '0.0.0.0/0'|awk '$2