一篇适合躺收藏夹的 Nexus3 搭建 NuGet&Docker 私有库的安装使用总结 ...

前进之路  金牌会员 | 2023-12-8 11:20:56 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 843|帖子 843|积分 2529

前言

Nexus 是支持 Nuget、Docker、Npm 等多种包的仓库管理器，可用做私有包的存储分发，缓存官方包。本篇将手把手教学使用 Nexus 搭建自己的 NuGe t& Docker 私有仓库。
特点


  • 私有化仓库管理
  • 支持权限管理
  • 缓存依赖包
  • 支持插件机制和 REST API
  • 成熟稳定强大
  • 支持的仓库/包管理

使用情况


  • 成熟文档，使用四平八稳，部署完基本就不需要操心太多
  • 功能强大，启动起来内存大概 1.4G+，目前团队使用4G内存的服务器部署，差不多是够用的
  • 支持 docker 仓库，尝试一番终于搞定，后续会在 DevOps 系列中使用
  • 文档比较完善，遇到问题可以多理解理解文档
安装部署

使用 docker compose 安装


  • 创建数据挂载目录并赋予权限：以 UID 200 的形式运行 mkdir ./data && chown -R 200 ./data
  • 指定版本：sonatype/nexus3:3.61.0
  • 默认端口：8081
  • 指定访问前缀：/
  • 指定网络：devopsnetwork （docker network create devopsnetwork）
  • 部署服务器 IP：192.168.123.214
  • 创建 compose.yml
    1. version: '3.1'
    2. services:
    3.    nexus:
    4.      image: sonatype/nexus3:3.61.0
    5.      container_name: nexus_3_61
    6.      restart: always
    7.      environment:
    8.      # Nexus 上下文路径
    9.         NEXUS_CONTEXT: /      
    10.      # 指定jvm参数
    11.         INSTALL4J_ADD_VM_PARAMS: -Xms1g -Xmx1g -XX:MaxDirectMemorySize=3g
    12.      volumes:
    13.      # 需要先给权限 chown -R 200 ./data
    14.      - ./data:/nexus-data
    15.      ports:
    16.        - "8081:8081"
    17.       
    18.      networks:
    19.        - devopsnetwork
    21. networks:
    22.    devopsnetwork:
    23.      external: true
    复制代码
  • 运行：docker compose up -d
  • 运行需要时间，耐心等待 2-3 分钟，访问：http://192.168.123.214:8081/
  • 可以看到提示默认 admin 的密码在 ./data/admin.password ，获取后点击右上角 Sign In 进行登录

  • 登录成功会进行引导修改密码 devops666 和禁用匿名访问

使用 nginx 配置域名访问


  • 使用 ./02.build-ssl.sh nexus.devops.test.com 生成证书，重载配置即可
  1. server {
  2.     listen       80;
  3.     listen       443 ssl;
  4.     server_name  nexus.devops.test.com;
  5.     # allow large uploads of files
  6.     client_max_body_size 1G;
  8.     ssl_certificate      /certs/nexus.devops.test.com/server.crt;
  9.     ssl_certificate_key  /certs/nexus.devops.test.com/server.key;
  10.     ssl_session_cache    shared:SSL:1m;
  11.     ssl_session_timeout  5m;
  12.     ssl_ciphers  HIGH:!aNULL:!MD5;
  13.     ssl_prefer_server_ciphers  on;
  15.     location / {
  16.       proxy_pass   http://nexus_3_61:8081/;
  17.       proxy_set_header Host $host;
  18.       proxy_set_header X-Real-IP $remote_addr;
  19.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  20.     }
  21. }
复制代码
落地实践

使用 Nexus 管理 Nuget 包

默认项说明


  • nuget-group：组合存储库，可以将多个远程或本地存储库组合成一个虚拟存储库，默认包含 nuget-hosted，nuget.org-proxy。拉取包的地址一般配置此仓库地址
  • nuget-hosted：托管存储库，本地发布的包可以存储到此存储库。推送包的地址需要配置此仓库地址
  • nuget.org-proxy：代理存储库，缓存 nuget.org 的包并从本地服务器上提供它们

账号的规划及创建

一个企业可能存在着多个团队或项目组，每个团队的包可以分开或者约定好不同的名称前缀
包的读写权限需要分离，即上传者和使用者分开，上传者包含读写权限，使用者只需要有访问权限
创建角色

权限说明：文档
拉取角色：pull-man ，设置权限：nx-repository-view-*-*-browse nx-repository-view-*-*-read
推送角色：push-man ，设置权限：nx-component-upload nx-repository-view-*--

创建账号

拉取账号：puller ， 设置密码 devops666，设置角色：pull-man
推送账号：pusher，设置密码 devops666，设置角色：push-man，nuget 使用的 APIKey 所以暂时没有用到，后面管理 docker 的时候使用

生成 NuGet API 密钥

推送 NuGet 包时需要使用，点击管理员头像->NuGet API 密钥->生成密钥

启用 NuGet API 密钥领域

上一步获取了密钥，还无法直接使用，还需要在设置中 Security>Realms 中启用 NuGet API-Key Realm。
类似启用的验证方式，领域说明见文档

设置部署策略

默认 nuget 包托管是启用了， 而为了防止包被恶意篡改，可以将 nuget-hosted 仓库修改为禁用重新部署，多人协同开发时可防止包被被其他人覆盖，相关文档说明 。在设置了禁用重新部署时，推送重复包的时候将会返回 400 错误

使用 Nexus 的 NuGet 包源

因为前面配置关闭了匿名访问以及配置了相应的账号，所以为了方便的从 Nexus 服务中拉取 Nuget 包，可以通过配置文件 nuget.config （文档）来指定 nuget 源为 Nexus 服务 nexus.devops.test.com

  • 指定配置节的名称和源（默认使用 NuGet V3，V2 不需要加 index.json）
  • 指定使用包源的账号密码
  • 将其放到和解决方案同级目录即可生效

  • nuget.config 文件
    1. <?xml version="1.0" encoding="utf-8"?>
    2. <configuration>
    3.    <packageSources>
    4.      <add key="nexus.devops.test.com" value="https://nexus.devops.test.com/repository/nuget-group/index.json" />
    5.    </packageSources>
    6.    <packageSourceCredentials>
    7.      <nexus.devops.test.com>
    8.        <add key="Username" value="puller" />
    9.        <add key="ClearTextPassword" value="devops666" />
    10.      </nexus.devops.test.com>
    11.    </packageSourceCredentials>
    12. </configuration>
    复制代码
推送 NuGet 包到 Nexus

从本地推送一个 NuGet 包到 Nexus 服务进行托管，需要两步，打包，推送。为了更好的使用，可以结合脚本来快速打包，以之前的一个计算字段封装为例将其打包成 NuGet 包推送到 Nexus 中

  • 目录结构如下

  • 首先新建配置一个 .nuspec 模板，根据需要修改库的相关信息，nuspec 配置文档
    1. <?xml version="1.0" encoding="utf-8"?>
    2. <package xmlns="http://schemas.microsoft.com/packaging/2010/07/nuspec.xsd">
    3.      <metadata>
    4.          <id>Devops.Common.EvalSDK</id>
    5.          <version>0.0.15</version>
    6.          <authors>yimo</authors>
    7.          <description>计算字段</description>
    8.          <projectUrl>https://github.com/yimogit/MeDevOps</projectUrl>
    9.          <tags>Devops.Common.EvalSDK</tags>
    10.          <repository type="git" url="https://github.com/yimogit/MeDevOps.git" branch="main"/>
    11.      </metadata>
    12.      <files>
    13.        <file src="..\Devops.Common.EvalSDK\bin\Release***.dll" target="lib" />
    14.        <file src="..\Devops.Common.EvalSDK\bin\Release***.pdb" target="lib" />
    15.      </files>
    16. </package>
    复制代码
  • 打包库的参考，多个版本使用 TargetFrameworks
    1.   <Project Sdk="Microsoft.NET.Sdk">
    3.     <PropertyGroup>
    4.       <TargetFrameworks>netstandard2.1;netcoreapp3.1;net5.0;net7.0;</TargetFrameworks>
    5.     </PropertyGroup>
    7.     <PropertyGroup>
    8.       <DocumentationFile>bin$(Configuration)$(TargetFramework)\Devops.Common.EvalSDK.xml</DocumentationFile>
    9.     </PropertyGroup>
    10.    
    11.   </Project>
    复制代码
  • 新建打包脚本，修改密钥和地址，后续每次执行前修改版本号，执行即可
    1. #!/bin/bash
    2. pwd
    3. current_dir=`pwd`
    4. #nuget api密钥
    5. nuget_key="aa7890bf-8dfb-33e3-bed9-c1571e5b9b96"
    6. #托管仓库地址
    7. nuget_source="https://nexus.devops.test.com/repository/nuget-hosted/"
    8. #包的版本
    9. package_version="0.0.2"
    10. #包名
    11. nupkg_pakcage_name="Devops.Common.EvalSDK.${package_version}.nupkg"
    12. #项目库路径
    13. csproj_path="../Devops.Common.EvalSDK/Devops.Common.EvalSDK.csproj"
    14. #包配置
    15. nuspec_path="Devops.Common.EvalSDK.nuspec"
    16. #nuspec path , relative csproj path
    17. nuspec_path_relative_csproj="../pack/Devops.Common.EvalSDK.nuspec"
    19. #git pull
    20. #删除旧版本
    21. rm -f nupkg_pakcage_name
    22. cd ${current_dir}
    23. #替换版本号
    24. sed -i 's|<version>.*</version>|<version>'${package_version}'</version>|g' ${nuspec_path}
    26. echo pack ${nupkg_pakcage_name}
    27. #打包nupkg文件到当前pack目录 包名.x.x.x.nupkg
    28. dotnet pack ${csproj_path}  -p:NuspecFile=${nuspec_path_relative_csproj} -c Release --output ../pack  -v m
    30. #判断是否打包成功
    31. echo
    32. if [ ! -f "${nupkg_pakcage_name}" ]; then
    33.      echo "pack ${nupkg_pakcage_name} is error"
    34.      exit -1
    35. fi
    37. #推送包
    38. echo push ${nupkg_pakcage_name}
    39. dotnet nuget push ${nupkg_pakcage_name} -k ${nuget_key} -s ${nuget_source}
    复制代码
  • 执行成功，在使用 Nexus 源的包管理器中就能搜索使用了


使用 Nexus 管理 Docker 镜像

当前版本支持 docker 镜像的管理，使用发现通过 docker-group 推送镜像是需要企业版的，不过还是可以根据拉取和推送的域名/端口分开来达到推送的效果。
可以先看下面这个流程图，再看后续如何配置就很清晰了

创建角色

权限说明：文档 这里给了所有仓库的拉取以及推送权限，和前面一样，可以只创建对应的 docker 权限
拉取角色：pull-man ，设置权限：nx-repository-view-*-*-browse nx-repository-view-*-*-read
推送角色：push-man ，设置权限：nx-component-upload nx-repository-view-*--
创建账号

拉取账号：puller ， 设置密码 devops666，设置角色：pull-man
推送账号：pusher，设置密码 devops666，设置角色：push-man
创建 Docker 仓库

和前面 nuget 的三个仓库一样，docker 的仓库也新建三个

  • docker-group：组合存储库，可以将多个远程或本地存储库组合成一个虚拟存储库，默认包含 docker-hosted，docker-proxy。拉取包的地址配置此仓库地址（企业版才支持推送，开源版可以推送到 hosted 库）
  • docker-hosted：托管存储库，本地发布的包可以存储到此存储库。推送包的地址需要配置此仓库地址
  • docker-proxy：代理存储库，缓存 官方 docker 包并从本地服务器上提供它们


  • 创建 docker-hosted 托管库，禁用重新部署，勾上允许部署 latest，存储位置可以自行选择。
  • 除此之外，还需要准备一个推送镜像的域名：push.nexus.devops.test.com（开源版不支持使用 group 推送镜像）


  • 创建 docker-proxy 代理库，配置代理地址：https://registry-1.docker.io并使用 Use Docker Hub 的索引


  • 创建 docker-group 分组库：选择成员仓库：docker-hosted，docker-proxy 到右边，保存即可

推送和拉取域名的 nginx 代理配置

根据文档与实际使用，https 是必须的，所以依托于之前 nginx 的证书申请以及 dns 服务的使用，我们可以在局域网中配置域名来访问 nexus3 提供的 docker 镜像仓库服务
默认拉取使用 nexus.devops.test.com，推送则使用：push.nexus.devops.test.com
以下为 nginx 的配置，根据官方文档所修改，主要替换其中域名与证书，因为是局域网的自定义域名，需要在客户端安装证书才不会有不安全的提示，同理 linux 下使用，也需要安装对应 pem 证书
  1. server {
  2.     listen       80;
  3.     listen       443 ssl;
  4.     server_name  nexus.devops.test.com;
  5.     # allow large uploads of files
  6.     client_max_body_size 10G;
  8.     ssl_certificate      /certs/nexus.devops.test.com/server.crt;
  9.     ssl_certificate_key  /certs/nexus.devops.test.com/server.key;
  10.     ssl_session_cache    shared:SSL:1m;
  11.     ssl_session_timeout  5m;
  12.     ssl_ciphers  HIGH:!aNULL:!MD5;
  13.     ssl_prefer_server_ciphers  on;
  15.      location /v2 {
  16.       proxy_pass http://nexus_3_61:8081/repository/docker-group/$request_uri;
  17.       proxy_set_header Host $host:$server_port;
  18.       proxy_set_header X-Real-IP $remote_addr;
  19.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  20.       proxy_set_header X-Forwarded-Proto "https";
  21.     }
  22.     location /v1 {
  23.       proxy_pass http://nexus_3_61:8081/repository/docker-group/$request_uri;
  24.       proxy_set_header Host $host:$server_port;
  25.       proxy_set_header X-Real-IP $remote_addr;
  26.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  27.       proxy_set_header X-Forwarded-Proto "https";
  28.     }
  29.     location / {
  30.       proxy_pass   http://nexus_3_61:8081/;
  31.       proxy_set_header Host $host;
  32.       proxy_set_header X-Real-IP $remote_addr;
  33.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  34.       #proxy_set_header X-Forwarded-Proto $scheme;
  35.       proxy_set_header X-Forwarded-Proto "https";
  36.     }
  37. }
  39. server {
  40.     listen       80;
  41.     listen       443 ssl;
  42.     server_name  push.nexus.devops.test.com;
  43.     # allow large uploads of files
  44.     client_max_body_size 10G;
  46.     ssl_certificate      /certs/push.nexus.devops.test.com/server.crt;
  47.     ssl_certificate_key  /certs/push.nexus.devops.test.com/server.key;
  48.     ssl_session_cache    shared:SSL:1m;
  49.     ssl_session_timeout  5m;
  50.     ssl_ciphers  HIGH:!aNULL:!MD5;
  51.     ssl_prefer_server_ciphers  on;
  53.      location /v2 {
  54.       proxy_pass http://nexus_3_61:8081/repository/docker-hosted/$request_uri;
  55.       proxy_set_header Host $host:$server_port;
  56.       proxy_set_header X-Real-IP $remote_addr;
  57.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  58.       proxy_set_header X-Forwarded-Proto "https";
  59.     }
  60.     location /v1 {
  61.       proxy_pass http://nexus_3_61:8081/repository/docker-hosted/$request_uri;
  62.       proxy_set_header Host $host:$server_port;
  63.       proxy_set_header X-Real-IP $remote_addr;
  64.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  65.       proxy_set_header X-Forwarded-Proto "https";
  66.     }
  67.     location / {
  68.       proxy_pass   http://nexus_3_61:8081/;
  69.       proxy_set_header Host $host;
  70.       proxy_set_header X-Real-IP $remote_addr;
  71.       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  72.       #proxy_set_header X-Forwarded-Proto $scheme;
  73.       proxy_set_header X-Forwarded-Proto "https";
  74.     }
  75. }
复制代码
重载配置生效后访问确认 https 是否生效，以及可以查看 restapi 接口是否可以访问


至此，私有的 docker 仓库已经搭建好了，本文基于局域网的自定义域名，如果是服务器，正常解析域名到服务器，申请 ssl 证书等踩的坑都会少一点。接下来就是如何使用 nexus.devops.test.com，push.nexus.devops.test.com 来拉取&推送 docker 镜像了
CentOS8 中使用 Nexus 的 Docker 仓库

因为本文域名是局域网中的 dns 解析，所以需要在 linux 中设置 dns，确保域名能够访问到 nexus 访问，服务器则不需要考虑，跳过直接使用即可

  • 使用机器 IP：192.168.123.219
CentOS8 设置 DNS

编辑 dns 配置文件：vi /etc/resolv.conf
  1. nameserver 192.168.123.214
  2. nameserver 114.114.114.114
复制代码
写入后重启网络生效：systemctl restart NetworkManager
ping nexus.devops.test.com
ip 是 192.168.123.214 就对了

安装自签证书



  • 上传或写入证书 myCA.pem 到需要使用的主机 192.168.123.219
  • 复制证书到证书安装目录 cp ./myCA.pem /etc/pki/ca-trust/source/anchors/
  • 更新证书信任库：update-ca-trust -f
  • 重启 openssl 服务（查找 openssl ps aux | grep openssl的 pid: xxx xxx pid 号 pts/0 R+，kill 掉 pid，会自动重新启动 kill pid号） 或直接重启服务器生效（reboot）
因为是自签证书，如果未安装证书就使用 docker login  nexus.devops.test.com会提示：tls: failed to verify certificate: x509: certificate signed by unknown authority
Docker 镜像源认证
  1. docker login nexus.devops.test.com -u puller -p devops666
  2. docker login push.nexus.devops.test.com -u pusher -p devops666
复制代码
登录成功后可以查看配置的源：cat /root/.docker/config.json

拉取镜像


  • 从 nexus.devops.test.com （docker-group）拉取一个 nginx 镜像： docker pull nexus.devops.test.com/nginx


  • 拉取完成后，在 docker-proxy 代理库中也可以查看到对应的镜像信息了

推送镜像


  • 确保 push.nexus.devops.test.com 镜像源已认证：docker login  push.nexus.devops.test.com -u pusher -p devops666
  • 将上面拉取的镜像打包成新的镜像：
docker tag  nexus.devops.test.com/nginx push.nexus.devops.test.com/nginx_custom

  • 将新的镜像推送到 push.nexus.devops.test.com（docker-hosted） : docker push push.nexus.devops.test.com/nginx_custom


踩坑记录


  • 数据目录不设置权限启动失败
    数据目录权限：此目录需要可由 Nexus 写入 进程，以 UID 200 的形式运行chown -R 200 ./data

  • NuGet V2 和 NuGet V3 配置对比

  • NuGet 的 API 密钥生成，但是没有启用领域配置，无法推送包到 Nexus

    • 如果直接使用密钥推送，提示 401，检查 apikey 是否正确，以及设置 NuGet API 密钥领域

    • 启用 NuGet API-Key Realm


  • 禁用重新部署时，但是推送了相同的包时，会返回 400

  • Linux 上安装证书，看到很多资料都是执行update-ca-trust 就结束了，按着步骤来设置了但无效。最后才想到可能是因为没生效，重启完发现真是，想了下应该是 openssl 需要重启，试了下果然，才得以解决进行下一步。如果不适用局域网域名问题会少很多～
  • Docker 仓库新建的时候那个协议设置理解了半天，找到的文章都是设置端口，配置域名的方式也是一点点理解文档，然后试出来的。
  • 解决了之前 Windows 生成自签证书时不能自动输入信息的问题，需要像下面这样写，参考
    1. winpty openssl req -new -key $DOMAIN/server.key -out $DOMAIN/server.csr -subj "//C=CN\ST=Beijing\L=Beijing\O=TestOrganization\OU=TestOU\CN=TestRootCA\emailAddress=admin@test.com"
    复制代码
相关文档

后语

本篇呕心沥血，绝对是值得收藏的，同时也希望看官们能顺手再点个赞～
书山有路勤为径，学海无涯苦作舟。
沉迷学习，无法自拔。jpg

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

前进之路

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表