ToB企服应用市场:ToB评测及商务社交产业平台

标题: 使用Nginx搭建本身的CDN服务器 [打印本页]

---

作者: 王柳    时间: 2024-7-29 08:04
标题: 使用Nginx搭建本身的CDN服务器
nginx安装

1. sudo apt update
2. sudo apt install nginx

复制代码

nginx配置文件

/etc/nginx/nginx.conf或/etc/nginx/sites-available/default
设置缓存

在Nginx配置中启用缓存，这样可以缓存CDN服务器上的静态内容，以进步性能和速度。

1. http {
2.     # 在http段下设置缓存路径
3.     proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
4.                
5.     # 设置缓存的过期时间
6.     proxy_cache_valid 200 302 10m;
7.     proxy_cache_valid 404 1m;
9.     # 设置代理缓存使用的密钥和缓存的最大大小
10.     proxy_cache_key "$scheme$request_method$host$request_uri";
12.     server {
13.         # 其他服务器设置
14.         location / {
15.             # 使用代理缓存
16.             proxy_cache my_cache;//启用缓存
17.             proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
18.             proxy_cache_bypass $http_cache_control;//http头
19.             proxy_ignore_headers Cache-Control;
20.             proxy_pass http://backend_server;//后端数据源服务器
21.         }
22.     }
23. }

复制代码

正向署理（Forward Proxy）和反向署理（Reverse Proxy）是网络通讯中两种常见的署理服务器类型：

方向：正向署理面向客户端，反向署理面向服务器。
位置：正向署理位于客户端旁边，反向署理位于服务器旁边。
作用：正向署理用于客户端访问控制和匿名访问，反向署理用于负载均衡和安全性。
目标：正向署理资助客户端“前进”访问互联网，反向署理资助服务器“反向”处理外部请求。
设置域名

为你的CDN服务器配置域名并确保域名正确剖析到你的服务器，你必要按照以下步骤操作：
步骤1：域名注册和购买

• 选择一个域名注册商，如GoDaddy、Namecheap、阿里云等。
  
• 搜索你想要注册的域名，确保它是可用的。
  
• 完成购买流程并支付相应的费用。
  

步骤2：DNS管理

• 登录你的域名注册商的控制面板。
  
• 找到DNS管理或域名管理的部分。
  

步骤3：设置DNS记录

• A记录：创建一个A记录将域名指向你的CDN服务器的公网IP地址。例如，如果你的CDN服务器IP是1.2.3.4，创建一个A记录，将yourdomain.com指向1.2.3.4。
  
• CNAME记录：如果必要将子域名重定向到CDN服务器，可以创建CNAME记录。例如，cdn.yourdomain.com可以CNAME到yourdomain.com。
  

步骤4：在CDN服务器上配置Web服务器

• 确保你的CDN服务器上安装了Web服务器软件，如Nginx或Apache。
  
• 配置Web服务器，使其能通过你的域名来提供服务。例如，在Nginx中，你必要配置一个server块来监听80端口（HTTP）或443端口（HTTPS）：
  1. server {
  2.         listen 80;
  3.         server_name www.yourdomain.com;
  4.         root /path/to/your/web/root;
  5.         index index.html index.htm;
  6.         location / {
  7.              try_files $uri $uri/ =404;
  8.          }
  9. }

  复制代码
• 如果你使用了SSL/TLS证书，确保配置了HTTPS并监听443端口。
  

步骤5：部署SSL/TLS证书（推荐）

• 如果你想启用HTTPS，可以通过Let’s Encrypt获取免费的SSL/TLS证书。
  
• 安装并配置证书，使Web服务器使用SSL/TLS加密。
  

步骤6：测试域名剖析

• 等待DNS更改全球生效，这大概必要一些时间（通常是几分钟到48小时）。
  
• 使用下令行工具如ping或nslookup来检查域名是否已经指向了正确的IP地址。
  

步骤7：验证配置

• 在Web浏览器中输入你的域名，看是否可以或许乐成访问你的CDN服务器上的内容。
  
• 检查Web服务器的访问日志，确认有来自不同地域的访问记录。
  

步骤8：监控和维护

• 定期检查域名的DNS记录和CDN服务器的状态，确保统统正常运行。
  

完成以上步骤后，你的域名就应该正确地指向你的CDN服务器，并且用户可以通过该域名访问你的网站内容了。记得在进行任何更改时，都要仔细检查配置文件的语法，并在保存更改后重新启动Web服务器。
启用Gzip压缩：

启用Nginx的Gzip压缩功能，以减小传输内容的大小，进步网站的加载速度。你可以在Nginx配置文件中添加以下内容：

1. http {
2.     gzip on;
3.     gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
4. }

复制代码

设置内容源：

配置Nginx以从你的源服务器(通常是你的网站服务器)获取内容。你可以使用proxy_pass指令将请求转发到源服务器。

1. proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:10m max_size=1g;
2. server {
3.     ...
4.     location / {
5.         proxy_pass http://backend;
6.         proxy_cache my_cache;
7.         proxy_cache_bypass $http_cache_control;
8.         ...
9.     }
10. }

复制代码

测试和调优：

完成上述配置后，测试你的CDN服务器，确保它按预期工作。你大概必要根据实际情况对配置进行调整以优化性能。
常见如何调优CDN：

1. 调优CDN（内容分发网络）通常需要综合考虑多种因素，包括缓存策略、节点选择、网络优化等。以下是一些具体的调优步骤和例子：
3. 1. **缓存策略调优**：
4.    - **例子**：如果你的网站有大量的静态资源，如图片、CSS和JavaScript文件，可以通过设置更长的`Cache-Control`头部值来提高缓存命中率。例如，可以在Nginx中设置：
5.      ```nginx
6.      location ~* \.(jpg|jpeg|png|gif|js|css)$ {
7.          expires 30d;
8.      }
9.      ```
11. 2. **节点选择优化**：
12.    - **例子**：使用CDN提供商的地理DNS或任意cast DNS功能，将用户定向到最近的服务器节点，减少延迟。例如，在阿里云CDN中，可以配置DNS解析策略，确保用户就近访问。
14. 3. **内容预热**：
15.    - **例子**：在新产品发布前，使用CDN的内容预热功能，提前将资源分发到各个边缘节点，避免在高流量时段对源站造成压力。
17. 4. **动态内容优化**：
18.    - **例子**：对于频繁变动的内容，可以配置CDN缓存为较短的过期时间或使用“no-cache”指令，以确保用户获取最新数据。
20. 5. **HTTPS优化**：
21.    - **例子**：启用SSL/TLS加速功能，如使用SPDY或HTTP/2协议，减少HTTPS握手时间。同时，确保CDN支持OCSP Stapling，减少SSL证书验证时间。
23. 6. **网络连接优化**：
24.    - **例子**：如果`traceroute`显示用户到CDN节点的路由路径不理想，可以联系CDN提供商优化路由策略。
26. 7. **资源压缩**：
27.    - **例子**：启用Gzip压缩，减少传输数据的大小。在Nginx中可以设置：
28.      ```nginx
29.      location ~* \.(html|css|js|json|xml|ld\+json|ejs|svg|png|jpg|jpeg|gif|ico)$ {
30.          gzip on;
31.      }
32.      ```
34. 8. **HTTP/2 启用**：
35.    - **例子**：在支持HTTP/2的CDN节点上启用该协议，利用其多路复用、服务器推送等特性提高性能。
37. 9. **图片优化**：
38.    - **例子**：使用CDN的图片处理功能，自动进行图片压缩和格式转换，如将JPG转换为WebP格式。
40. 10. **性能监控与日志分析**：
41.     - **例子**：定期检查CDN日志，分析错误码、访问模式和性能指标，使用工具如GoAccess或AWStats进行日志分析。
43. 11. **定制化配置**：
44.     - **例子**：根据网站特性，定制CDN的配置。例如，对于视频网站，可以配置CDN以支持视频流的平稳传输。
46. 12. **使用性能测试工具**：
47.     - **例子**：使用WebPageTest或阿里云的云拨测产品，定期测试CDN性能，分析不同条件下的性能表现。
49. 13. **故障排查**：
50.     - **例子**：如果发现某些资源加载缓慢，检查资源URL是否被CDN正确缓存，确认没有因为意外的查询字符串导致缓存失效。
52. 14. **用户行为分析**：
53.     - **例子**：分析用户访问模式，识别热门内容和高流量时段，据此调整CDN策略，如增加热门内容的缓存或在高峰时段增加带宽。
55. 通过上述调优步骤，可以显著提升CDN的性能，改善网站加载速度和用户体验。调优是一个持续的过程，需要定期进行性能测试和配置调整。

复制代码

对于视频网站，可以配置CDN以支持视频流的安稳传输。

1. 对于视频网站，确保视频内容的平稳传输是提升用户体验的关键。以下是一些具体的配置步骤和例子：
3. 1. **视频内容的缓存策略**：
4.    - 例子：在Nginx中配置视频文件的缓存时间，使用`proxy_cache_valid`指令为不同类型的视频内容设置不同的缓存时间。
5.      ```nginx
6.      location ~* \.(mp4|avi|mov)$ {
7.          proxy_cache my_cache;
8.          proxy_cache_valid 200 1h;
9.          proxy_cache_valid 404 1m;
10.      }
11.      ```
13. 2. **视频切片和分块传输**：
14.    - 例子：使用Apple HLS(HTTP Live Streaming)或DASH(Dynamic Adaptive Streaming over HTTP)技术，将视频切分为多个小片段，允许客户端按需加载视频的不同部分。
15.    - 配置CDN以支持这些协议，确保客户端可以有效地从最近的节点请求视频切片。
17. 3. **自适应比特率流**：
18.    - 例子：在视频服务器上启用自适应比特率流，允许客户端根据当前网络条件选择最合适的视频质量。这通常通过HLS或DASH实现。
20. 4. **内容预热**：
21.    - 例子：对于即将发布的热门视频内容，使用CDN的内容预热功能，提前将视频内容分发到各个边缘节点，减少发布时的源站压力。
23. 5. **视频编码和压缩**：
24.    - 例子：使用FFmpeg工具对视频进行压缩和转码，生成不同分辨率和比特率的视频流，以适应不同用户的带宽条件。
25.      ```bash
26.      ffmpeg -i input.mp4 -c:v libx264 -crf 24 -preset veryfast -c:a aac -b:a 128k -movflags +faststart output.mp4
27.      ```
29. 6. **启用HTTP/2**：
30.    - 例子：在服务器上启用HTTP/2，利用其多路复用特性减少连接数，提高视频传输效率。
31.      ```nginx
32.      server {
33.          listen 80;
34.          listen 443 ssl http2;
35.          server_name example.com;
36.          ...
37.          http2_push_preload on;
38.      }
39.      ```
41. 7. **负载均衡和故障转移**：
42.    - 例子：在CDN配置中设置负载均衡策略，如轮询、最少连接或IP哈希，确保视频请求均匀分配到各个节点。同时，配置故障转移机制，以便在节点故障时自动切换。
44. 8. **视频播放器配置**：
45.    - 例子：使用支持自适应比特率流的播放器，如Video.js或JW Player，并配置播放器以从CDN节点获取视频流。
47. 9. **监控和日志分析**：
48.    - 例子：利用CDN提供商的监控工具，如AWS CloudFront的日志分析，监控视频流的性能，如请求量、错误率和传输速度。
50. 10. **带宽预留和QoS**：
51.     - 例子：在CDN上为视频流预留足够的带宽，并设置优先级，确保在高流量时段也能保持视频传输的质量。
53. 11. **使用QUIC协议**：
54.     - 例子：如果CDN支持QUIC协议，可以启用它以减少连接建立时间，并提高视频传输的稳定性。
56. 12. **客户端适配**：
57.     - 例子：在视频播放器中实现网络条件自动检测，根据用户的带宽和设备性能自动选择最合适的视频质量。
59. 通过上述配置，可以显著提高视频网站的性能，减少缓冲和中断，提供更加流畅的视频观看体验。这些措施需要根据具体的CDN提供商和视频网站需求进行调整和优化。

复制代码

测试

1. 测试CDN（内容分发网络）性能通常涉及以下几个步骤：
3. 1. **选择测试工具**：
4.    - 使用在线工具如WebPageTest、GTmetrix或Google PageSpeed Insights进行初步测试。
5.    - 例子：访问WebPageTest网站，输入你的网站URL，并选择不同的测试位置和网络条件进行测试。
7. 2. **性能基准测试**：
8.    - 在实施任何CDN配置更改之前，进行性能基准测试，以便于后续比较优化效果。
9.    - 例子：记录下初始的加载时间、TTFB（首字节时间）、缓存命中率等关键指标。
11. 3. **全球性能测试**：
12.    - 使用全球分布式的测试工具，如Akamai’s CloudTest或Gomez，测试不同地理位置下的性能。
13.    - 例子：使用CloudTest从北美、亚太和欧洲等多个地区测试网站的加载时间和响应时间。
15. 4. **资源加载测试**：
16.    - 使用工具如Apache JMeter或Siege模拟高并发请求，测试CDN对资源加载的处理能力。
17.    - 例子：在JMeter中配置多个线程组模拟用户并发访问，测试CDN的负载均衡和响应能力。
19. 5. **视频和流媒体测试**：
20.    - 如果网站包含视频内容，使用视频特定的测试工具，如Wireshark或Nagios，监控视频流的稳定性和质量。
21.    - 例子：使用Wireshark捕获视频流传输过程中的数据包，分析延迟和丢包情况。
23. 6. **SSL/TLS测试**：
24.    - 对于使用HTTPS的网站，使用SSL Labs的SSL Test工具测试CDN服务器的SSL/TLS配置。
25.    - 例子：输入网站URL进行测试，获取SSL/TLS配置的评级和改进建议。
27. 7. **缓存策略测试**：
28.    - 检查CDN是否正确地实现了缓存策略，如验证`Cache-Control`和`Expires`头部。
29.    - 例子：使用curl命令测试资源的HTTP头部信息：
30.      ```bash
31.      curl -I https://www.example.com/image.jpg
32.      ```
34. 8. **DNS解析测试**：
35.    - 使用`dig`或`nslookup`命令测试CDN的DNS解析速度和准确性。
36.    - 例子：执行`dig example.com`查看DNS解析结果和时间。
38. 9. **监控和日志分析**：
39.    - 利用CDN提供商的监控系统，分析实时性能数据和日志文件。
40.    - 例子：在AWS CloudFront中查看实时日志，分析请求量、错误率和流量模式。
42. 10. **用户体验测试**：
43.     - 使用Real User Monitoring (RUM) 工具收集真实用户的性能反馈。
44.     - 例子：集成New Relic或Google Analytics的RUM功能，追踪实际用户的性能体验。
46. 11. **故障转移测试**：
47.     - 模拟网络故障，测试CDN的故障转移机制是否有效。
48.     - 例子：使用网络模拟器如Clumsy中断连接，看CDN是否能够自动切换到健康节点。
50. 12. **性能调优测试**：
51.     - 根据测试结果调整CDN配置，如修改缓存时间、负载均衡策略等，然后重新测试以验证改进效果。
52.     - 例子：在Nginx中调整缓存策略后，再次使用WebPageTest进行测试，比较前后性能差异。
54. 通过上述步骤，你可以全面地测试CDN的性能，识别瓶颈，并根据测试结果进行调优。记住，CDN测试和调优是一个持续的过程，需要定期进行以适应网站流量和内容的变化。

复制代码

多路复用

多路复用（Multiplexing）是一种通讯方式，允许多个数据流共享单一的物理链路，通过不同的标识符区分不同的数据流。在网络协议中，多路复用计数通常指的是在多路复用上下文中，可以同时传输的独立数据流的数量。
在HTTP/2协议中，多路复用是一个核心特性，它允许客户端和服务器在单一的TCP连接上同时发送多个请求和响应，从而减少了连接的创建和关闭的开销，进步了传输服从。
多路复用计数的一些关键点：

• 并行传输：在HTTP/2中，多路复用允许在同一个TCP连接上并行传输多个请求和响应，而不是像HTTP/1.x那样必要为每个请求/响应创建和关闭一个连接。
  
• 流ID：每个HTTP/2的请求或响应流都被分配一个唯一的流ID，用于区分不同的数据流。
  
• 性能提升：多路复用减少了连接的创建和关闭时间，减少了HTTP头部信息的冗余传输，从而进步了网页的加载速度。
  
• 流优先级：HTTP/2支持流的优先级和权重，允许客户端和服务器控制不同流的传输序次。
  
• 头部压缩：HPACK算法用于压缩HTTP头部，进一步减少了数据传输量。
  
• 流量控制：HTTP/2使用流控制窗口来控制数据的发送速率，制止网络拥塞。
  

例子：

假设一个网页必要加载多个资源，如HTML、CSS、JavaScript文件和图片。在HTTP/1.x中，这些资源大概必要通过多个TCP连接序次加载。而在HTTP/2中，所有这些资源可以同时在单一的TCP连接上加载，每个资源分配一个流ID，客户端和服务器通过流ID来区分和管理这些并行的传输流。
例如，客户端大概发送如下的HTTP/2请求：

1. HEADERS (stream_id=1): :method: GET
2.                    :scheme: https
3.                    :path: /css/style.css
4.                   :authority: www.example.com
5.                  :priority: 1
6. BLOCK (stream_id=1): [data for stream 1]

复制代码

1. HEADERS (stream_id=3): :method: GET
2.                    :scheme: https
3.                    :path: /js/script.js
4.                   :authority: www.example.com
5.                  :priority: 3
6. BLOCK (stream_id=3): [data for stream 3]

复制代码

在这个例子中，流1和流3是两个独立的请求，它们通过不同的流ID进行区分，并且可以同时在单一的TCP连接上传输。
总的来说，多路复用计数指的是在多路复用连接中可以打开的流的数量，它是衡量多路复用能力的一个指标。在HTTP/2中，多路复用允许更高效的数据传输，减少了网页加载时间，改善了用户体验。
其他参考文档链接：
   Nginx实现负载均衡&Nginx缓存功能：tengine-nginx，Memcached
https://www.cnblogs.com/keerya/p/7819842.html
  利用 Nginx 反向署理和缓存功能自建及优化 CDN 加速节点详细教程
https://vpsxb.net/3934/
  nginx反向署理+缓存开启+url重写+负载均衡(带健康探测)的部署方案 NGINX反代缓存
https://www.bnxb.com/nginx/27505.html

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

---

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)

Powered by Discuz! X3.4