万字干货! 使用docker部署jenkins和gitlab

阅读本文, 需要有基础的Git, Linux, Docker, Java, Maven, shell知识, 并最少有一台内存16G以上并已经安装好了Docker的机器.

• 1. 概述
  
• 2. 容器互联
  
• 3. 应用容器
  
  
  
  • 3.1 部署应用容器
    
  • 3.2 配置SSH
    
  
  
• 4. Jenkins
  
  
  
  • 4.1 部署Jenkins
    
  • 4.2 安装插件
    
  • 4.3 安装maven
    
  • 4.4 配置maven
    
  • 4.5 配置远程服务器
    
  
  
• 5. GitLab
  
  
  
  • 5.1 部署GitLab
    
  • 5.2 配置GitLab
    
  • 5.3 上传项目
    
  
  
• 6. 联动
  
  
  
  • 6.1 手动触发Jenkins
    
  • 6.2 通过GitLab自动出发Jenkins构建
    
  
  
• 7. 参考
  

1. 概述

Jenkins是是一个CI/CD工具, GitLab是一个类似与GitHub代码托管平台, 本文将实现通过docker部署Jenkins与GitLab, 并自动化发布应用: 本地机器将代码推送到GitLab, GitLab通过web hook触发Jenkins流水线, Jenkins获取GitLab的代码并生成jar包, 将jar包推送到应用服务器, 并运行jar包. 只需一个push操作, 即可自动发布应用.
综上, 我们需要三个容器, 一个Jenkins容器, 一个GitLab容器, 一个运行jar包的容器(本文称其为应用容器, 即运行java应用的容器), 以及还要有一台写Java代码的个人电脑. 部署容器的电脑(本文称其为服务器)可以是同一个个人电脑, 也可以是其他电脑或服务器, 部署容器的电脑的内存推荐16G以上, 因为GitLab比较吃内存, 配置不够可能带不动. 本文是一台个人电脑写代码, 一台服务器部署三个容器.
为了方便大家理解与阅读, 在个人电脑执行的命令, 其命令提示符为$$; 服务器的命令提示符为$; 容器内的命令提示符为>.

2. 容器互联

因为Jenkins需要从GitLab中拉取代码, Jenkins也需要向应用服务器上传jar包, 即容器间需要通信, 所以我们需要创建一个桥接网络, 将容器都部署在桥接网络上, 容器间就可以互联互通了.
通过下面的命令, 创建一个名为my-bridge的桥接网络:

1. $ docker network create --driver bridge --subnet 172.12.0.0/16 --gateway 172.12.0.1 my-bridge

复制代码

3. 应用容器

3.1 部署应用容器

执行下面的命令运行应用容器, 这里我们选择Ubuntu 20.04作为基础镜像, 使用其他的发行版也可以, 这里使用Ubuntu只是因为我对Ubuntu最了解.

1. $ docker run --interactive --tty --detach \
2.     --name app \
3.     --hostname app \
4.     --restart on-failure \
5.     --network my-bridge \
6.     --publish 31022:22 \
7.     --publish 31808:8080 \
8.     --volume $PWD/app:/root/app \
9.     ubuntu:20.04

复制代码

3.2 配置SSH

Jenkins向服务器传输jar包一般是通过SSH, 所以我们还需要在应用容器中安装SSH. 运行应用也需要java, 没装java也需要安装java.

1. # 进入应用容器
2. $ docker exec -it app bash
4. # 修改apt源之前, 备份apt源
5. > cp /etc/apt/sources.list /etc/apt/sources.list.org
7. # 更换apt源(默认的apt源非常慢)
8. > echo "
9. deb http://archive.canonical.com/ubuntu focal partner
10. deb http://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse
11. deb http://mirrors.aliyun.com/ubuntu/ focal main restricted
12. deb http://mirrors.aliyun.com/ubuntu/ focal multiverse
13. deb http://mirrors.aliyun.com/ubuntu/ focal-security main restricted
14. deb http://mirrors.aliyun.com/ubuntu/ focal-security multiverse
15. deb http://mirrors.aliyun.com/ubuntu/ focal-security universe
16. deb http://mirrors.aliyun.com/ubuntu/ focal universe
17. deb http://mirrors.aliyun.com/ubuntu/ focal-updates main restricted
18. deb http://mirrors.aliyun.com/ubuntu/ focal-updates multiverse
19. deb http://mirrors.aliyun.com/ubuntu/ focal-updates universe
20. " > /etc/apt/source.list
22. # 安装SSH和java
23. > apt update && apt install -y openssh-server openjdk-8-jdk-headless

复制代码

平时我们用的服务器, SSH一般都是开机自启动, 所以我们几乎不会去启动SSH, 但是容器中都没有SSH, 更别说开机自启了, 所以安装好之后还要启动SSH.
注意: 容器内一般直接使用root用户, 默认情况下SSH不允许root用户使用密码登录, 我们需要将PermitRootLogin yes加入到SSH配置文件中, 使root用户可以通过密码登录.

1. # 备份ssh配置
2. > cp /etc/ssh/sshd_config /etc/ssh/sshd_config.org
4. # 使root可以用密码登录
5. > echo 'PermitRootLogin yes' >> /etc/ssh/sshd_config
7. # 启动ssh
8. > /sbin/sshd
10. # 第一次启动可能会报错, 显示/run/sshd不存在, 不存在手动新建就好了
11. > mkdir /run/sshd
13. # 再次启动ssh
14. > /sbin/sshd
16. # 修改root密码
17. > passwd

复制代码

4. Jenkins

4.1 部署Jenkins

使用docker部署Jenkins, 我们当然需要Jenkins的容器, 但是请注意, jenkins有两个官方容器: jenkins和jenkins/jenkins. jenkins在2018年就已经弃用, 不再更新, 现在应该使用jenkins/jenkins, 现在大部分镜像的命名都采用组织名称/镜像名称的格式了.
使用如下命令来启动Jenkins:

1. $ docker run --detach \
2.     --user root \
3.     --name jenkins \
4.     --hostname jenkins \
5.     --restart on-failure \
6.     --network my-bridge \
7.     --publish 37808:8080 \
8.     --publish 37500:50000 \
9.     --volume $PWD/jenkins:/var/jenkins_home \
10.     jenkins/jenkins:2.385

复制代码

4.2 安装插件

启动Jenkins后, 使用浏览器输入服务器地址:37808进入Jenkins界面, 默认的用户为admin, 密码的话我们有两种方式知道密码

• 网页会提示我们密码储存在/var/jenkins_home/secrets/initialAdminPassword, 所以我们查看这个文件就行了, 使用docker exec -t jenkins cat /var/jenkins_home/secrets/initialAdminPassword即不进入容器查看文件
  
• Jenkins的启动日志中也有密码所在文件的路径以及密码, 使用docker logs jenkins查看Jenkins的日志, 也能找到密码
  

接下来选择安装推荐的插件就好了

然后点击右下角的使用admin账户继续

接下来我们还要做一些准备工作, 比如安装插件, 配置mavan, 配置ssh...... 配置好之后我们才会正式的构建项目.
进入主页后, 点击 Manage Jenkins -> Manage Plugins -> Available plugins, 安装以下三个插件:

• Publish Over SSH
  
• Maven Integration
  
• Build Authorization Token Root
  

4.3 安装maven

Jenkins默认是没有maven的, 所以我们还需要安装maven, 使用docker exec -it jenkins bash进入到容器, 再查看下系统

1. > cat /etc/*release
2. PRETTY_NAME="Debian GNU/Linux 11 (bullseye)"
3. NAME="Debian GNU/Linux"
4. VERSION_ID="11"
5. VERSION="11 (bullseye)"
6. VERSION_CODENAME=bullseye
7. ID=debian
8. HOME_URL="https://www.debian.org/"
9. SUPPORT_URL="https://www.debian.org/support"
10. BUG_REPORT_URL="https://bugs.debian.org/"

复制代码

这里使用的是Debian, 先换下apt源, 不然会很慢

1. # 备份apt源
2. > cp /etc/apt/sources.list /etc/apt/sources.list.org
4. # 更换apt源
5. > echo "
6. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye main contrib non-free
7. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-updates main contrib non-free
8. deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bullseye-backports main contrib non-free
9. deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bullseye-security main contrib non-free
10. " > /etc/apt/sources.list

复制代码

然后执行apt update && apt install maven安装maven, 安装好后运行mvn -v查看maven版本, 有对应的输出说明已经安装好了

1. # 注意, 此处显示了 Maven home
2. > mvn -v
3. Apache Maven 3.6.3
4. Maven home: /usr/share/maven
5. Java version: 11.0.17, vendor: Eclipse Adoptium, runtime: /opt/java/openjdk
6. Default locale: en, platform encoding: UTF-8
7. OS name: "linux", version: "3.10.0-1160.80.1.el7.x86_64", arch: "amd64", family: "unix"

复制代码

4.4 配置maven

安装好之后, 还要告诉Jenkins安装好了Maven, 点击主页的 Manage Jenkins -> Global Tool Configuration -> Maven -> 新增Maven 新增一个maven

• Name 只是一个标识, 可以随便取. 假如安装了多个版本的maven的话, 在Name上有所区分就好了
  
• Maven home 填写mvn -v的输出
  
• 取消勾选自动安装
  

4.5 配置远程服务器

远程服务器指的是, Jenkins构建好jar包之后, 上传jar到的服务器, 同样也需要配置, 在主页点击Manage Jenkins -> Configure System
找到 Publish over SSH, 点击新增

• Name 随便取, 只是一个标识
  
• Hostname 为应用服务器地址, 因为我们用的是docker桥接网络, 所以不需要输入IP, 直接填应用容器的名字即可
  
• Username 为应用服务器用户名
  
• Remote Directory 表示远程目录(应用服务器), 默认为/root,
  
• 勾选上 Use password authentication, or use a different key, 不然没地方输密码
  
• Passphrase/Password 表示应用服务器密码
  

右下角有个Test Connecttion, 可以测试连接, 能看到Success就说明配置没问题了

5. GitLab

5.1 部署GitLab

执行下面的命令运行GitLab容器. 请注意, 如果不使用默认的端口, 除了使用--publish映射端口外, 还需要在环境变量GITLAB_OMNIBUS_CONFIG中注明端口.

1. $ docker run --detach \
2.     --env GITLAB_OMNIBUS_CONFIG="external_url='http://127.0.0.1:35080'; gitlab_rails['gitlab_ssh_host'] = '127.0.0.1'; gitlab_rails['gitlab_shell_ssh_port'] = 35022" \
3.     --memory 12GB \
4.     --memory-swap 16GB \
5.     --name gitlab \
6.     --hostname gitlab \
7.     --restart on-failure \
8.     --network my-bridge \
9.     --publish 35080:80 \
10.     --publish 35022:22 \
11.     --volume $PWD/gitlab/config:/etc/gitlab \
12.     --volume $PWD/gitlab/logs:/var/log/gitlab \
13.     --volume $PWD/gitlab/data:/var/opt/gitlab \
14.     gitlab/gitlab-ce:15.6.3-ce.0

复制代码

5.2 配置GitLab

Gitlab启动需要几分钟, 启动好之后浏览器输入 http://服务器地址:35080 进入Gitlab的登录页面, 默认用户名为root, 密码通过docker exec -it gitlab grep 'Password:' /etc/gitlab/initial_root_password查看.
在主页点击 头像 -> Preferences -> SSH Keys 可以配置SSH密钥.
在主页点击 头像 -> Preferences -> Password 可以修改密码.
5.3 上传项目

GitLab配置好之后就可以推送代码了, 在推送代码前, 需要GitLab有对应的项目, 我们先来新建一个项目,
点击主页右上角加号 -> New project -> Create blank project新建一个项目.
接下来推送代码. 大家可以推送自己的项目; 我也准备了一个简单的Spring Boot项目, 地址为 https://github.com/yuanpeilin/spring-boot-demo, 项目比较简单, 就一个类, 访问URL:8080/hello就能返回当前时间.
这里比较简单不做过多描述, 唯一需要注意的是, 我给了一个GitHub地址, 如果用的是我的GitHub项目, 不注意的话推送到GitLab会失败, 因为从GitHub clone已经用了origin这个名字了, 推送到GitLab要换个名字, 下述三条命令中的origin随便改个名字, 把三条命令的origin改成一样的就行.

1. $$ git remote add origin ssh://git@127.0.0.1:35022/root/gitlab-test.git
3. $$ git remote set-url origin ssh://git@dell.com:35022/root/gitlab-test.git
5. $$ git push -u origin HEAD

复制代码

6. 联动

6.1 手动触发Jenkins

在Jenkins主页点击 新建项目 -> 构建一个maven项目

接下来就到了配置界面模块

• 源码管理要选择Git
  
• Repository URL要填从GitLab复制来的HTTP形式URL, 例如http://gitlab/root/spring-boot-demo.git, 填完之后点击下空白的地方, 可能会有报错, 这是因为git仓库可能被设置为私有的, 要有权限才能访问
  
• 点击下方的Credentials模块的添加GitLab的用户名和密码, 再次点击空白处, 红色的报错已经消失了
  

下一步配置post step模块, 这是在Jenkins构建好jar包后执行的操作, 点击Add post-build step选择Send build artifacts over SSH

• SSH Server选择配置远程服务器配置的应用服务器, jar包会传到这个服务器上
  
• Source files选择jar包相对路径, 用我的项目的话是target/spring-boot-demo-1.0.jar
  
• Remove prefix填入target, 就会自动移除target目录, 之上传jar包, 不然传到应用服务器会将target目录也一起上传, 且jar包也在target目录下
  
• Remote directory填入/app, 会在配置远程服务器配置的Remote Directory的基础上追加, 本文中最终的路径为/root/app/, jar包在应用服务器的路径为/root/app/spring-boot-demo-1.0.jar
  
• Exec command填入 bash /root/app/start.sh, 这是在执行了上面的步骤后会执行的命令
  

在到应用容器中写入以下内容到 /root/app/start.sh

1. #!/bin/bash
3. BASE_HOME=/root/app
4. JAR_NAME=spring-boot-demo-1.0.jar
5. LOG_NAME=app.log
6. # 停止应用
7. ps -ef | grep $JAR_NAME | grep -v grep | awk '{print $2}' | xargs -i kill {}
8. # 备份日志
9. if [ -f $BASE_HOME/$LOG_NAME ]; then
10.     mv $BASE_HOME/$LOG_NAME $BASE_HOME/$LOG_NAME.`date +%Y%m%d%H%M%S`
11. fi
12. # 备份jar包
13. if [ -f $BASE_HOME/$JAR_NAME ]; then
14.     cp $BASE_HOME/$JAR_NAME $BASE_HOME/$JAR_NAME.`date +%Y%m%d%H%M%S`
15. fi
16. # 启动应用
17. nohup java -jar $BASE_HOME/$JAR_NAME &>$BASE_HOME/$LOG_NAME &

复制代码

点击保存后, 点击左边的立即构建, 再到浏览器里面输入 http://服务器地址/hello , 能看到返回了, 就说明应用已经启动好了.
6.2 通过GitLab自动出发Jenkins构建

点击Jenkins主页的 Item -> 配置 -> 构建触发器, 勾选上触发远程构建, 填入token, 随便填入一个值就可以, 这里设置为aabbcc


配置Token的下方提示了我们可以用JENKINS_URL/job/spring-boot-demo/build?token=TOKEN_NAME触发, 现在我们再开启一个无痕窗口, 输入服务器地址:37808/job/spring-boot-demo/build?token=aabbcc, 发现要登录?!
之前我们安装了一个Build Authorization Token Root插件, 这是因为默认情况下远程出发jenkins需要登录, 有了这个插件不需要登录也可以出发Jenkins构建. 再到浏览器开个无痕窗口, 根据这个插件的文档, 我们访问的地址与上面有所区别, 访问 http://服务器地址:37808/buildByToken/build?job=spring-boot-demo&token=aabbcc , 然后我们回到Jenkins会发现已经在构建项目了.
现在就简单了, 回到Gitlab, 在主页点击头像 -> Settings -> Web Hooks, 在URL中填入http://服务器地址:37808/buildByToken/build?job=spring-boot-demo&token=aabbcc, 并取消勾选 Enable SSL verification, 点击保存就可以了.

现在再随便改点代码, 执行git push 远程仓库名, 将代码推送到GitLab后, GitLab会自动往配置的地址发生请求, Jenkins就会出发构建, 构建好了后就会自动换包并重启应用, 至此, 大功告成!!!
7. 参考

• 【尚硅谷】Jenkins教程（从配置到实战） https://www.bilibili.com/video/BV1bS4y1471A/?p=16&share_source=copy_web&vd_source=1df973656734dfeb952c3969e308a1d1
  
• Build Authorization Token Root插件文档 https://plugins.jenkins.io/build-token-root/
  
• GitLab官方文档 https://docs.gitlab.com/ee/install/docker.html
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！