Golang持续集成与自动化测试和部署

概述

Golang是一门性能优异的静态范例语言，但因其奇快的编译速度，结合DevOps, 使得它也非常适合快速开发和迭代。
本文讲述怎样使用Golang, 进行持续集成与自动化测试和部署。主要使用了以下相关技术：

• dep： 进行包的依赖管理
  
• gin： 搭建 api 服务
  
• gorm：ORM, 数据CRUD
  
• mysql: 存储数据
  
• testfixtures： 测试夹具，在自动化测试时，自动向数据库填充用于测试的数据
  
• httpexpect: HTTP 测试包，用于API测试
  
• GoDotEnv: 情况变量处理
  
• go test: 使用test命令进行单元测试, 基准测试和 HTTP 测试
  
• GitLabCI: DevOps 工具
  
• golint: Golang 静态查抄工具
  
• migrate: 数据库迁移工具
  
• Docker: 使用 zacksleo/golang 镜像, 该镜像默认安装了 curl,git,build-base,dep 和 golint
  
• db2struct: 将数据库表结构一键天生为 struct(gorm的model)
  
• apig: 基于 gorm 和 gin 一键天生 CRUD API
  

开发流程

• 使用 apig 脚手架工具初始化项目结构和目录
  
• 使用 dep 安装相关依赖
  
• 使用 migrate 编写数据库迁移方法，并实行迁移创建数据表
  
• 使用 db2struct 天生 models
  
• 使用 apig 天生 crud 代码
  
• 使用 httpexpect 编写 api 测试代码，并通过 testfixtures 实现数据的自动填充
  
• 编写 GitLabCI 脚本进行持续集成
  

在上述过程中，如需连接数据库时，可通过 GoDotEnv 来实现情况变量的使用
相关CI脚本

1. # golang-devops-and-auto-deploy
2. image: zacksleo/golang
3. stages:
4.     - test
5.     - build
6.     - deploy
8. variables:
9.     GOPATH: /root
11. before_script:
12.     - mkdir -p ~/src/github.com/zacksleo/projectname
13.     - cp -r . ~/src/github.com/zacksleo/projectname
14.     - cd ~/src/github.com/zacksleo/projectname
15. lint:
16.     stage: test
17.     script:
18.         - golint -set_exit_status
19. unit-tests:
20.     stage: test
21.     services:
22.         - mysql:5.6
23.     variables:
24.         MYSQL_ROOT_PASSWORD: root
25.         MYSQL_DATABASE: web
26.         MYSQL_USER: web
27.         MYSQL_PASSWORD: web
28.     script:
29.         - dep ensure
30.         - cp tests/.env .env
31.         - migrate -database "mysql://web:web@tcp(mysql:3306)/web" -path "./db/migrations/" up
32.         - go test -tags=unit_tests $(go list ./... | grep -v /vendor/ ./tests/api) -v -coverprofile .testCoverage.txt
33.     coverage: '/^coverage:\s(\d+(?:\.\d+)?%)/'
34. integration-tests:
35.     stage: test
36.     services:
37.         - mysql:5.6
38.     variables:
39.         MYSQL_ROOT_PASSWORD: root
40.         MYSQL_DATABASE: web
41.         MYSQL_USER: web
42.         MYSQL_PASSWORD: web
43.     script:
44.         - dep ensure
45.         - cp tests/.env .env
46.         - migrate -database "mysql://web:web@tcp(mysql:3306)/web" -path "./db/migrations/" up
47.         - go test -tags=integration $(go list ./tests/... | grep -v /vendor/) -v
48. build-bin:
49.     stage: test
50.     script:
51.         - dep ensure
52.         - env GOOS=linux GOARCH=386 go build -o $CI_PROJECT_DIR/debug
53.     artifacts:
54.       expire_in: 60 mins
55.       untracked: true
56.       name: "app"
57.       paths:
58.         - debug
59.       when: on_success
60. build-image:
61.     image: docker
62.     stage: build
63.     dependencies:
64.         - build-bin
65.     script:
66.         - docker login -u gitlab-ci-token -p $CI_JOB_TOKEN $CI_REGISTRY
67.         - docker build -t $CI_REGISTRY_IMAGE:$CI_COMMIT_TAG .
68.         - docker push $CI_REGISTRY_IMAGE:$CI_COMMIT_TAG
69.         - docker rmi $CI_REGISTRY_IMAGE:$CI_COMMIT_TAG
70.     only:
71.         - tags
72.     tags:
73.         - go
74. deploy:
75.     image: zacksleo/node
76.     stage: deploy
77.     before_script:
78.         - eval $(ssh-agent -s)
79.         - echo "$SSH_PRIVATE_KEY" > ~/deploy.key
80.         - chmod 0600 ~/deploy.key
81.         - ssh-add ~/deploy.key
82.         - mkdir -p ~/.ssh
83.         - '[[ -f /.dockerenv ]] && echo -e "Host *\n\tStrictHostKeyChecking no\n\n" > ~/.ssh/config'
84.     script:
85.         - cd deploy/production
86.         - rsync -rtvhze ssh . root@$DEPLOY_SERVER:/data/gitlab/projectname --stats
87.         - ssh root@$DEPLOY_SERVER "docker login -u gitlab-ci-token -p $CI_JOB_TOKEN $CI_REGISTRY"
88.         - ssh root@$DEPLOY_SERVER "cd /data/gitlab/projectname && echo -e '\nTAG=$CI_COMMIT_TAG' >> .env && docker-compose pull app && docker-compose stop app && docker-compose rm -f app && docker-compose up -d app"
89.     only:
90.         - tags

复制代码

集成测试

1. // +build integration
3. package api
5. import (
6.         "log"
7.         "os"
8.         "testing"
10.         "github.com/gin-gonic/gin"
11.         "github.com/jinzhu/gorm"
12.         "github.com/joho/godotenv"
13.         "gitlab.com/moguyun/api/debug/db"
14.         "gitlab.com/moguyun/api/debug/server"
15.         testfixtures "gopkg.in/testfixtures.v2"
16. )
18. var (
19.         fixtures *testfixtures.Context
20.         s        *gin.Engine
21. )
23. // PrepareTestDatabase for test
24. func PrepareTestDatabase(db *gorm.DB) {
25.         var fixtures *testfixtures.Context
26.         var err error
27.         testfixtures.SkipDatabaseNameCheck(true)
28.         fixtures, err = testfixtures.NewFolder(db.DB(), &testfixtures.MySQL{}, "../fixtures")
29.         if err != nil {
30.                 log.Fatal(err)
31.         }
32.         if err = fixtures.Load(); err != nil {
33.                 log.Fatal(err)
34.         }
35. }
37. // TestMain setup database
38. func TestMain(m *testing.M) {
39.         // Open connection with the test database.
40.         godotenv.Load("../.env")
41.         database := db.Connect()
42.         s = server.Setup(database)
43.         PrepareTestDatabase(database)
44.         os.Exit(m.Run())
45. }
47. func TestToken(t *testing.T) {
48.         t.Run("CreateToken", TestCreateToken)
49. }
51. func TestCustomer(t *testing.T) {
52.         t.Run("GetCustomers", TestGetCustomers)
53.         t.Run("GetCustomer", TestGetCustomer)
54.         t.Run("CreateCustomer", TestCreateCustomer)
55.         t.Run("UpdateCustomer", TestUpdateCustomer)
56.         t.Run("DeleteCustomer", TestDeleteCustomer)
57. }

复制代码

留意事项

在测试中，假如需要区分单元测试和集成测试，可以使用 build tags 实现，如在文件头部中添加 // +build integration, 运行测试使用 - go test -tags=integration $(go list ./tests/... | grep -v /vendor/) -v 可以只实行集成测试
参考文档

• Go Test
  
• How to write benchmarks in Go
  
• Go 性能调优之 —— 基准测试
  
• Go语言圣经（中文版）
  
• 使用tags区隔单元测试和集成测试
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告