高可用系列文章之三 - NGINX 高可用实施方案

前文链接

• 高可用系列文章之一 - 概述 - 东风微鸣技术博客 (ewhisper.cn)
  
• 高可用系列文章之二 - 传统分层架构技术方案 - 东风微鸣技术博客 (ewhisper.cn)
  

四 NGINX 高可用实施方案

高可用的实施, 主要步骤概述如下:

• NGINX 的安装及基础配置
  
• 负载均衡层高可用: NGINX + Keepalived配置
  
• 应用服务层高可用: NGINX -> 应用服务层 转发配置
  

系统软 硬件详细配置清单
根据制造业高可用架构设计, 以及业务需求, 部署模型建议配置如下:

• 负载均衡服务器(即 NGINX + Keepalived): 2台, 操作系统 Linux. 配置建议如下:
  

名称规格备注CPU2 core内存4 GB硬盘50 GB操作系统SUSE12 64位及补丁网卡至少1块网卡, 支持VRRP 技术

• 软件运行配置环境:
  

软件规格NGINX1.16.1Keepalived2.0.104.1 NGINX 安装及配置

4.1.1 分区及目录

建议至少分为以下3个区:
分区及目录大小备注主分区( /)默认nginx程序及配置文件位于该分区(/etc/nginx)日志分区(/var/log/nginx)10G-20G程序目录分区(/usr/share/nginx/html)10G可选, nginx用作web server时需要用到此目录.4.1.2 程序及依赖版本

程序组件安装包名版本md5nginxnginx-1.16.1-1.sles12.ngx.x86_64.rpm1.16.1396A359F26DD0100CD59545BAFFAFE854.1.3 NGINX程序规范

• nginx程序目录： /etc/nginx
  
• 执行程序路径： /usr/sbin/nginx
  
• 主配置文件路径：/etc/nginx/conf/nginx.conf
  
• 各个应用系统转发配置文件目录：/etc/nginx/conf.d/
  
• 日志目录：/var/log/nginx
  
• 各个应用系统静态文件目录：/usr/share/nginx/html
  

4.1.4 系统级别配置优化

❕ 注意:
需要 root 用户执行.

• 安装组件: logrotate
  
• 修改连接数:
  

1. vi /etc/security/limits.conf
2. # vi编辑
3. *               soft    nofile          65535
4. *               hard    nofile          65535

复制代码

• 修改系统内核配置:
  

1. vi /etc/sysctl.conf
2. # vi编辑
4. # NGINX Tuning Performance
5. fs.file-max = 65535
7. vm.zone_reclaim_mode = 0
9. net.core.somaxconn = 2048
11. net.ipv4.tcp_tw_recycle = 0
12. net.ipv4.tcp_timestamps = 1
13. net.ipv4.tcp_slow_start_after_idle = 0
14. net.ipv4.tcp_mtu_probing = 1
16. # 生效
17. sysctl -p

复制代码

4.1.5 配置NGINX repo

❕ 注意:
本节命令可以根据具体情况, 在公司内部 repo 仓库机器上进行操作.
其他机器只需要配置内部 repo 地址即可.

键入以下 zypper 命令以添加 SLES 的 zypper 存储库

1. $ sudo zypper addrepo -G -t yum -c 'http://nginx.org/packages/sles/12' nginx

复制代码

接下来，您必须验证数字签名以保持下载包的完整性和来源。使用wget命令获取nginx签名密钥：

1. $ wget http://nginx.org/keys/nginx_signing.key

复制代码

示例输出:

1. --2020-01-09 23:48:48--  http://nginx.org/keys/nginx_signing.key
2. Resolving nginx.org (nginx.org)... 206.251.255.63, 95.211.80.227, 2001:1af8:4060:a004:21::e3, ...
3. Connecting to nginx.org (nginx.org)|206.251.255.63|:80... connected.
4. HTTP request sent, awaiting response... 200 OK
5. Length: 1561 (1.5K) [text/plain]
6. Saving to: ‘nginx_signing.key’
8. 100%[==================================================>] 1,561       --.-K/s   in 0s      
10. 2020-01-09 23:48:49 (117 MB/s) - ‘nginx_signing.key’ saved [1561/1561]

复制代码

使用rpm命令将密钥导入rpm：

1. $ sudo rpm --import nginx_signing.key

复制代码

4.1.6 SUSE 上安装NGINX

键入以下 zypper 命令：

1. $ sudo zypper install nginx=1.16.1

复制代码

4.1.7 可选: 配置防火墙

❕ 注意:
如果机房流量入口有其他专用防火墙, 则可以关闭 nginx 服务器上的防火墙, 且不需要执行此步骤.

首先创建Nginx特定服务的配置文件，使用vi命令等文本编辑器打开端口80:

1. $ sudo vi /etc/sysconfig/SuSEfirewall2.d/services/nginx

复制代码

添加以下配置：

1. ## Name: Nginx web server
2. ## Description: Open ports for Nginx Server
4. # space separated list of allowed TCP ports
5. TCP="http"

复制代码

(如果不需要 HTTPS 支持，则只需要允许 TCP 端口号 80 上的通信。)保存并退出 VI/VIM 文本编辑器。现在，只需运行以下命令打开端口80：

1. $ sudo yast firewall

复制代码

必须使用 TAB 和箭头键在 YaST 中跳转。在 YaST 中，跳转到允许的服务，然后按 Enter 键：

使用 TAB 跳转到“Allowed Services”，然后按向下箭头键选择 Nginx web server，然后按回车键。必须按 Alt-A 来将Nginx服务器添加到防火墙：

按 Alt-N 和 Alt-F 保存并完成 SLES 上的防火墙设置。返回 shell 提示符后，列出 sle 上的所有 iptables 规则：

1. $ sudo iptables -S

复制代码

示例输出:

1. -A input_ext -p tcp -m limit --limit 3/min -m tcp --dport 80 --tcp-flags FIN,SYN,RST,ACK SYN -j LOG --log-prefix "SFW2-INext-ACC-TCP " --log-tcp-options --log-ip-options
2. -A input_ext -p tcp -m tcp --dport 80 -j ACCEPT

复制代码

使用 sudo 命令和 grep 命令的组合来确定端口 80 是否打开：

1. sudo sh -c 'iptables -L -n -v | grep :80'

复制代码

4.1.8 启动 NGINX Server

键入以下 systemctl 命令以在系统启动时启用 Nginx： (开机自启)

1. $ sudo systemctl enable nginx

复制代码

启动 Nginx web 服务器：

1. $ sudo systemctl start nginx

复制代码

验证:

1. $ systemctl status nginx

复制代码

要判断 80 端口是否监听, 运行以下 netstat 命令或 ss 命令:

1. $ sudo netstat -tulpn | grep :80
2. $ sudo ss -tulpn | grep :80

复制代码

4.1.9 NGINX 基础操作

停止:

1. $ sudo systemctl stop nginx

复制代码

启动:

1. $ sudo systemctl start nginx

复制代码

重新启动服务：

1. $ sudo systemctl restart nginx

复制代码

更改配置后重新加载 Ngnix：

1. $ sudo systemctl reload nginx

复制代码

ℹ️ 建议:
配置更新后使用 reload 来重新加载nginx.

访问 nginx 页面:
假设 NGINX IP为: 192.168.0.1. 使用浏览器或 curl 访问:

1. http://serve_IP
2. http://your-domain
3. http://192.168.0.1

复制代码

1. $ curl -I 192.168.122.43

复制代码

示例输出:

1. HTTP/1.1 200 OK
2. Server: nginx/1.16.1
3. Date: Sat, 03 Feb 2020 19:18:53 GMT
4. Content-Type: text/html
5. Content-Length: 612
6. Last-Modified: Tue, 17 Oct 2019 13:30:50 GMT
7. Connection: keep-alive
8. ETag: "59e6060a-264"
9. Accept-Ranges: bytes

复制代码

4.1.10 查找有关 SLES 上 Nginx 配置文件的信息

现在 Nginx 已经启动并运行了。接下来可以定制配置。
SLES 的服务器配置文件:

• /etc/nginx/: nginx 默认配置目录
  
• /etc/nginx/nginx.conf: nginx 主配置文件
  
• /etc/nginx/conf.d/default.conf: 默认 virtual host 的配置
  

修改主配置:

1. $ sudo vi /etc/nginx/nginx.conf

复制代码

4.1.11 NGINX 日志

• /var/log/nginx/access.log: 访问日志
  
• /var/log/nginx/error.log: 错误日志
  

4.1.12 nginx.conf

主配置文件详细说明如下:

1. #### 全局块 开始 #####
2. # 配置允许运行Nginx服务器的用户和用户组
3. #user  nginx nginx;
4. # 配置允许Nginx进程生成的worker process数
5. worker_processes  4;
6. #worker_cpu_affinity 0001 0010 0100 1000;
8. # 配置Nginx服务器运行时的错误日志文件存放路径和名称
9. #error_log  logs/error.log;
10. error_log  logs/error.log  info;
12. # 配置Nginx服务器运行时的pid文件存放路径和名称
13. pid        logs/nginx.pid;
14. #### 全局块 结束 #####
17. #### events块 开始 ####
18. events {
19.     # 配置事件驱动模型
20.     use epoll;
21.     accept_mutex off;
22.     multi_accept off;
23.     worker_connections  65535;       
24. }
25. #### events块 结束 ####
28. #### http块 开始 ####
29. http {
30.     # 定义MIME-Type
31.     include       mime.types;
32.     default_type  application/octet-stream;
33.        
34.     # 配置请求处理日志的格式
35.     log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
36.                       '$status $body_bytes_sent $request_time $upstream_response_time "$http_referer" '
37.                       '"$http_user_agent" "$http_x_forwarded_for" "$host"';
39.     access_log  logs/access.log  main;
41.     # 配置允许使用sendfile方式传输
42.     sendfile        on;
43.     #tcp_nopush     on;
44.        
45.     # 配置连接超时时间
46.     #keepalive_timeout  0;
47.     keepalive_timeout  65;
48.        
49.     # nginx允许的客户端请求头部的缓冲区大小
50.     client_header_buffer_size 4k;
52.     # gzip conf
53.     gzip  on;
54.     gzip_min_length 1024;
55.     gzip_buffers 32 4k;
56.     gzip_http_version 1.1;
57.     gzip_comp_level 6;
58.     gzip_types text/plain application/xml image/x-icon image/svg+xml image/png text/css image/jpeg image/gif application/x-javascript application/javascript application/json;
59.     gzip_vary on;
60.     gzip_disable "MSIE [1-6]\.";
61.        
62.     # security
63.     port_in_redirect off;
64.     server_tokens off;
65.        
66.     # proxy buffer
67.     proxy_buffers 8 4k;
68.     proxy_buffer_size 4k;
69.     proxy_temp_file_write_size 4k;
70.     proxy_temp_path proxy_temp;
71.        
72.     # proxy cache
73.     # proxy_cache_path cache/ keys_zone=cache_all:10m;
75.        
76.     #### server块 开始 ####
77.     ## 配置虚拟主机localhost
78.     server {
79.         listen       80 reuseport;
80.         server_name  localhost;
82.         #charset koi8-r;
84.         access_log  logs/host.access.log  main;
86.         location / {
87.            root   html;
88.             index  index.html index.htm;
89.         }
91.         error_page  404              /404.html;
93.         # redirect server error pages to the static page /50x.html
94.         #
95.         error_page   500 502 503 504  /50x.html;
96.         location = /50x.html {
97.             root   html;
98.         }
100.     }
101.         #### server 块 结束 ####
102.        
104.     # HTTPS server
105.     #
106.     #server {
107.     #    listen       443 ssl;
108.     #    server_name  localhost;
110.     #    ssl_certificate      cert.pem;
111.     #    ssl_certificate_key  cert.key;
113.     #    ssl_session_cache    shared:SSL:1m;
114.     #    ssl_session_timeout  5m;
116.     #    ssl_ciphers  HIGH:!aNULL:!MD5;
117.     #    ssl_prefer_server_ciphers  on;
119.     #    location / {
120.     #        root   html;
121.     #        index  index.html index.htm;
122.     #    }
123.     #}
124.        
125.     # virtual hosts
126.     include conf.d/default.conf;
128. }
129. #### http块 结束 ####

复制代码

✔️ 建议:
为了保证主配置文件的干净. 建议通过 include conf.d/default.conf; 类似这样的方式来引入其他virtual hosts配置.

4.1.13 日志转储

• sudo vi /etc/logrotate.d/nginx
  
• 编辑内容:
  1. /var/log/nginx/*.log {
  2.     daily
  3.     rotate 90  # 保留90天, 按需调整
  4.     create
  5.     dateext
  6.     #compress  # 是否启用压缩, 按需调整
  7.     #minsize 1M
  8.     #create 0644 nginx nginx  # nginx日志所属用户和组, 按需调整
  9.     # copytruncate   用于还在打开中的日志文件，把当前日志备份并截断；是先拷贝再清空的方式，拷贝和清空之间有一个时间差，可能会丢失部分日志数据。
  10.     # delaycompress 和compress 一起使用时，转储的日志文件到下一次转储时才压缩
  11.     missingok
  12.     ifempty # default
  13.     nomail
  14.     #noolddir # default
  15.     sharedscripts   # 运行postrotate脚本，作用是在所有日志都轮转后统一执行一次脚本。如果没有配置这个，那么每个日志轮转后都会执行一次脚本
  16.     postrotate  # 在logrotate转储之后需要执行的指令，例如重新启动 (kill -HUP) 某个服务！必须独立成行
  17.         if [ -f /var/log/nginx/nginx.pid ]; then
  18.             kill -USR1 `cat /var/log/nginx/nginx.pid`
  19.         fi
  20.     endscript
  21. }

  复制代码
• 强制运行一次来测试:logrotate -f -v /etc/logrotate.d/nginx(对应目录只能 user 有w权限, 否则会报错)
  
• 配置好即可, logrotate 会自动读取/etc/logrotate.d的配置并自动执行.
  

<blockquote>

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！