论坛 › 开源技术 › gitea+drone+harbor实现CICD

惊落一身雪 发表于 2024-10-2 23:17:13

gitea+drone+harbor实现CICD

前言

之前cicd一直是gitlab + jenkins实现，当前情况用了一套完全没用过的gitea + drone，研发自己管理手中项目标pipline和Dockerfile，往利益想省去了运维的部分工作，固然这种场景必须是小型团队。我自己做了一套demo测试下流程，CI流程是紧张的，CD部分只做了推送镜像和测试镜像输出变量。
一、gitea摆设

1.1、docker-compose文件准备

官方文档地址
https://docs.gitea.com/installation/install-with-docker
version: "3"

networks:
gitea:
    external: false

services:
server:
    image: gitea/gitea:1.18.5
    container_name: gitea
    environment:
      - USER_UID=1000
      - USER_GID=1000
      - GITEA__database__DB_TYPE=mysql
      - GITEA__database__HOST=db:3306
      - GITEA__database__NAME=gitea
      - GITEA__database__USER=gitea
      - GITEA__database__PASSWD=gitea
    restart: always
    networks:
      - gitea
    volumes:
      - ./gitea:/data
      - /etc/timezone:/etc/timezone:ro
      - /etc/localtime:/etc/localtime:ro
    ports:
      - "3000:3000"
      - "222:22"
    depends_on:
      - db

db:
    image: mysql:8.0
    restart: always
    environment:
      - MYSQL_ROOT_PASSWORD=gitea
      - MYSQL_USER=gitea
      - MYSQL_PASSWORD=gitea
      - MYSQL_DATABASE=gitea
    networks:
      - gitea
    volumes:
      - ./mysql:/var/lib/mysql
1.2、docker-compose启动gitea

docker-compose up -d
映射了3000端口，可以按需修改。第一次访问web时需要初始化配置，修改基础URL和站点名称，并配置管理员账号设置，账号待会儿drone compose文件中会用到
https://i-blog.csdnimg.cn/direct/572b6c2518b842c182e39b310feba131.png
1.3、gitea用户配置ssh key

用于是demo情况，就不创建平凡用户测试了，使用刚刚创建的管理员账号登录
通常第一个操纵就是添加ssh key
https://i-blog.csdnimg.cn/direct/0bafd742121a46398153bb625bca8bf9.png
https://i-blog.csdnimg.cn/direct/6fdd72571b534770bcdd0b2bea02ec7a.png
1.4、gitea用户配置OAuth2 token

这个token是给drone集成gitea用的，重定向URL写drone的url，我drone映射到宿主机的端口是8888，注意按需修改，/login是固定的哦，
http://1982.168.31.30:8888/login
https://i-blog.csdnimg.cn/direct/d61f18e516344039896004c5bfd1d896.png
二、drone摆设

2.1、docker-compose文件准备

version: "3"

services:
drone:
    image: drone/drone:latest
    restart: always
    container_name: drone
    ports:
      - "8888:80" #端口映射
      #- "443:443"         environment:             .31.20:3000 #gitea地址
      - DRONE_GITEA_CLIENT_ID=1e9b7f4e-6194-4d8f-b534-73e31f4589f5 # 上面创建的OAuth token
      - DRONE_GITEA_CLIENT_SECRET=gto_7nqtr3op5llqkrm2n7wmuijtgabn3labr7nb4eyaobcmpycvriia
      - DRONE_RPC_SECRET=8899 #密钥，与runner中的相同
      - DRONE_SERVER_HOST=192.168.31.30:8888#drone服务器地址

      - DRONE_SERVER_PROTO=http
      - DRONE_REPO_TRUSTED=true# 排错增加 没什么用
      - DRONE_USER_CREATE=username:baga,admin:true # 创建的drone管理员用户需要和gitea管理员相同，都是baga，不相同后面会有报错
      - DRONE_GIT_USERNAME=baga
      - DRONE_GIT_PASSWORD=AbC123,. #可选字符串值。覆盖用于验证和克隆私有仓库的默认 git 用户名和密码。
      - TZ=Asia/Shanghai
    volumes:
      - ./drone_data:/data
      
runner:
    image: drone/drone-runner-docker:latest
    container_name: runner
    restart: always
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      - DRONE_RPC_PROTO=http #http 或 https
      - DRONE_RPC_HOST=drone #连接 Drone 服务器的主机名（和可选端口）
      - DRONE_RPC_SECRET=8899 #设置密钥
      - DRONE_RUNNER_CAPACITY=2 #限制运行程序可同时执行的管道数量
      - DRONE_RUNNER_NAME=runner
      - DRONE_TRACE=true #跟踪级别日志记录
      - DRONE_DEBUG=true #启用调试级日志记录
      - TZ=Asia/Shanghai
    ports:
      - "3030:3000"
    depends_on:
      - drone
2.2、启动drone，gitea允许授权

docker-compose up -d
我映射了drone web 8888端口，drone-runner端口我们配置项目用不到
http://192168.31.30:8888
https://i-blog.csdnimg.cn/direct/fc89e564518d43f9b6a00ddef0966d6a.png
这个步调是我- DRONE_USER_CREATE=username:baga,admin:true没有配置的时候出来的，配置了以后不确定有没有，是无关紧急的一些信息
https://i-blog.csdnimg.cn/direct/9329e908a0bc412ca1d49882bafeaf18.png
三、配置构建情况

3.1、gitea创建并导入项目

我的项目路径 /Users/sijia/Desktop/jarvan-test/go-1
目录之前如果是有git配置，rm -fr .git清空一下
然后一套连招，注意我这里映射的代码拉取端口为222
git init
git add .
git commit -m "first commit"
git remote add origin ssh://git@192.168.31.20:222/baga/go-1.git
git push -u origin master
确认项目
https://i-blog.csdnimg.cn/direct/48479650b2d14bba9e2be1cfa6b28bae.png
3.2、drone同步项目

https://i-blog.csdnimg.cn/direct/76da9bc4baec459aae182787d47fa0ed.png
https://i-blog.csdnimg.cn/direct/bc17fa437dd84c8eab73908d223b0b64.png
3.3、为项目准备文件和secret

drone中配置全局secret，harbor的用户名和密码，在drone.yml中引用
这里名称大概有歧义，按需修改
https://i-blog.csdnimg.cn/direct/ba3e72488d3a49a696c6d443376bc1ec.png
.drone.yml和Dockerfile
文件.drone.yml
---
kind: pipeline
type: docker   
name: sijia-test

platform:
os: linux
arch: amd64

steps:
- name: build-sijia-test # 阶段任务的名称
    image: plugins/docker:20.13 # drone构建使用docker版本
    environment:
      GOPRIVATE_TOKEN:
      from_secret: GOPRIVATE_TOKEN # 这个是drone中配置的secret，这次demo中没有作用，可以忽略
    settings:
      registry: harbor.baga.live # 指定harbor仓库
      repo: harbor.baga.live/baga/go-1 # 推送镜像的路径
      username:
      from_secret: gitea_registry_username # 从drone全局变量中读取的secret，是harbor的用户名
      password:
      from_secret: gitea_registry_password # 同上，harbor的密码
      no_cache: false
      dockerfile: docker/Dockerfile# 代码中dockerfile的路径和名称
      pull_image: false
      purge: true
      tags: [ "${DRONE_BRANCH}", "${DRONE_BRANCH}-${DRONE_COMMIT_SHA:0:7}" ] # 镜像的tag
      build_args_from_env:
      - GOPRIVATE_TOKEN
    volumes:   # 下方进行了此操作解释
      - name: docker.sock
      path: /var/run/docker.sock
    commands:
      - /usr/local/bin/dockerd-entrypoint.sh /bin/drone-docker

- name: test-deploy# 也是一个步骤，生产环境是更新服务镜像，这里用测试操作代替
    image: alpine
    commands:
      - 'echo $DRONE_BRANCH $GOPRIVATE_TOKEN'# 输出当前构建的分支名称


trigger:
branch:
    - main
    - master
    - release
    - feature-*
event:
    - push
    - cron
    - custom

volumes:
- name: docker.sock
    host:
      path: /var/run/docker.sock
volumes配置把宿主机上的 /var/run/docker.sock 文件挂载到 drone 构建容器的同一位置。简单来讲drone构建docker拥有了宿主机docker进程的能力，例如宿主机的login以及daemon.json配置（“insecure-registries” : [“192.168.31.20:3000”]）
文件docker/Dockerfile
FROM golang:1.22.6-alpine3.20 AS base
ARG GOPRIVATE_TOKEN

# Install dependencies only when needed
FROM base AS deps
ARG GOPRIVATE_TOKEN

ENV GOPROXY=https://goproxy.cn,direct # 国内配代理，不然拉包超时

RUN apk add git
RUN git config --global url."http://oauth2:${GOPRIVATE_TOKEN}@192.168.31.20:3000/".insteadOf "http://192.168.31.20:3000/" # 配置git，由于drone和gitea集成，这里配置好权限自动拉取代码
ENV GOPRIVATE=192.168.31.20:3000/*   # 定义了gitea的地址，后面.drone.yml中也用到了此ENV

WORKDIR /app

# Copy the go.mod and go.sum files to download dependencies
COPY go.mod go.sum ./
RUN go mod download -x# 我开始没配置代理加了-x

# Build the Go application
FROM base AS builder
WORKDIR /app
COPY --from=deps /go/pkg/ /go/pkg/
COPY . .
RUN go build -o main .

# Use the alpine base image for the production image
FROM alpine:3.17
WORKDIR /app

# Copy the built executable and any other necessary files
COPY --from=builder /app/main .
#COPY --from=builder /go/bin/gops /usr/local/bin/

# Expose the port the application listens on
EXPOSE 8080

# Run the application
CMD ["./main"]
3.4、项目必做修改项

push上面的文件后就可以进行drone构建了，构建开始后会有很多报错
3.4.1 gitea无法触发webhook

我们在drone.yml中配置了触发构建，但是上面文件提交后没有成功触发drone的构建
通过查看gitea的日志发现是webhook的白名单里没有drone地址
2024/08/31 17:17:35 …s/webhook/webhook.go:122:handle() webhook.Deliver failed: Post “http://192.168.31.30:8888/hook?secret=VnTPAuVZzMQMMfBixM4zpA54Nv8rP82w”: dial tcp 192.168.31.30:8888: webhook can only call allowed HTTP servers (check your webhook.ALLOWED_HOST_LIST setting), deny ‘192.168.31.30(192.168.31.30:8888)’
解决方法：
我们之前已经将gitea的配置文件映射到了本地
/data/gitea/gitea/gitea/conf/app.ini
文件末了增加内容，然后重启gitea容器让其生效

ALLOWED_HOST_LIST = *
3.4.2 drone信任项目

允许push会出现untrusted错误
https://i-blog.csdnimg.cn/direct/013a62f086824c71bab295db48e2c424.png
此操纵需要管理员执行，在项目中启用Trusted
https://i-blog.csdnimg.cn/direct/3d1fe60f363d4ddf9eb057a7dc08efdd.png
如果没有Trusted,详细查抄是否在docker-compose中启用了DRONE_USER_CREAT,需要和gitea管理员用户名对的上
https://i-blog.csdnimg.cn/direct/6cee5529c78b4dabac5bcc8c7924d47c.png
3.4.3 dockerfiel git验证失败

time=“2024-08-31T10:20:47Z” level=fatal msg=“Error authenticating: exit status 1”
Error response from daemon: Get “https://192.168.31.20:3000/v2/”: http: server gave HTTP response to HTTPS client
https://i-blog.csdnimg.cn/direct/500a80055eef444182f1e3e483549eaf.png
这里确认了Dockerfile中url是http协议，还需要在daemon.json中新增
"insecure-registries" : ["192.168.31.20:3000"]
添加后重启docker
3.4.4 拉取git镜像失败

docker pull drone/git:latest 失败，这个需要宿主机开启docker proxy了，开启proxy后login harbor等内网操纵会失败，需要机动开关。
还可以开启镜像堆栈
"registry-mirrors": ["http://hub-mirror.c.163.com"]
四、构建体验

4.1、开始一个build

可以提交代码触发，也可以手动新增
https://i-blog.csdnimg.cn/direct/36eca6e824ec49258ad5802732d9bd46.png
4.2、pipline执行

上面报错调整了很多次，包括添加国内镜像堆栈源，可以看到DRONE的分支情况变量打印出来了，$GOPRIVATE_TOKEN是废弃变量
https://i-blog.csdnimg.cn/direct/7d4866effcee466f833b4e78631a3372.png
4.3、确认镜像推送结果

镜像堆栈中也存在镜像
https://i-blog.csdnimg.cn/direct/a35e281da52641f895e6264dfcbd4c13.png
另外这里要增补一下，我的harbor是本地配置了hosts文件，并且开启了SSL，证书文件和jenkins构建一样放在了/etc/docker/certs.d/下，
推送失败后需要查抄harbor用户的用户名密码和账号权限，我直接login是可以登录的
$ cat /etc/docker/certs.d/login
docker login harbor.baga.live -u 'robot$baga' -p 'tKHmmQvhF8e1l8Vut5WXlIB4CwudyBK1'
出现题目后查看3.4.x部分
至此demo测试已经完成~

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

查看完整版本: gitea+drone+harbor实现CICD