CICD实战(2) - 使用Arbess+GitLab+SonarQube实现Java项目快速扫描/构建/部署
Arbess 是一款国产开源免费的 CI/CD 工具,包含流水线管理、流水线设计、流水线执行、测试报告、统计分析等模块。本文将详细介绍如何安装配置使用GitLab、SonarQube、Arbess系统,进行代码扫描,构建并部署到主机。
1、Gitlab 安装与配置
本章节将介绍如何使用CentOS9搭建Gitlab服务器,并将代码存放在Gitlab服务器,提供给Arbess克隆源码。
1.1 安装
-
安装基础依赖。
sudo yum update -y
sudo yum install -y curl policycoreutils-python-utils openssh-server perl
sudo systemctl enable --now sshd
-
获取Gitlab安装包。
curl -LO https://packages.gitlab.cn/repository/el/8/gitlab-jh-17.7.0-jh.0.el8.x86_64.rpm
-
安装Gitlab安装包。访问URL可以自己设置。
export EXTERNAL_URL="http://192.168.10.211" && sudo rpm -ivh gitlab-jh-x.x.x.rpm
-
安装完成之后,使用
sudo gitlab-ctl status
检查服务状态。 -
浏览器访问配置的http://192.168.10.211 ,使用用户名root,密码 /etc/gitlab/initial_root_password 中获取,进行登录。
1.2 配置
-
创建项目
gitlab配置完成之后,需要将代码推送到仓库中。首先在gitlab创建一个新的项目。
创建项目
-
配置本地Git
项目创建完毕之后,在本地代码文件夹,右击空白处,选择 Open Git Bash here 。
Git推送
使用git init
初始化本地仓库。添加gitlab刚创建的远程仓库地址。
git remote add origin https://jihulab.com/ceshi4455420/tiklab-gitpuk.git
添加远程仓库地址
进入gitlab创建的项目,点击右上角的代码,获取远程仓库地址。
远程仓库地址
-
推送代码
首先,使用命令git add .
需要添加文件到暂存区,提交更改。
git commit -m "Initial commit"
推送到远程仓库。
git push -u origin master
代码推送完毕之后,需要创建GItlab的个人令牌,用于Arbess访问Gitlab。点击极狐GitLab头像→偏好设置进行创建。
创建个人令牌
令牌创建完毕,请妥善保存好您的令牌。
个人令牌
2、SonarQube 安装与配置
本章节将介绍如何使用CentOS9搭建SonarQube25.1服务,在SonarQube创建项目,提供给Arbess调用。
2.1 安装
-
安装依赖
安装SonarQube依赖Java17和PostgreSQL ,首先先安装Java17。
sudo dnf install -y java-17-openjdk
java -version
其次安装PostgreSQL,SonarQube 25.1要求PostgreSQL 13-16版本。依次执行如下命令,添加官方仓库→安装→初始化数据库→重启服务。
sudo dnf install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-9-x86_64/pgdg-redhat-repo-latest.noarch.rpm
sudo dnf install -y postgresql15-server postgresql15-contrib
sudo /usr/pgsql-15/bin/postgresql-15-setup initdb
sudo systemctl enable --now postgresql-15
安装PostgreSQL数据库之后,执行如下命令,创建数据库sonarqube→创建用户名密码→赋予权限。
sudo -u postgres psql
CREATE DATABASE sonarqube WITH ENCODING 'UTF8' TEMPLATE template0;
CREATE USER sonar WITH PASSWORD 'sonar';
GRANT ALL PRIVILEGES ON DATABASE sonarqube TO sonar;
创建数据库
数据库创建完成之后,可以修改数据库认证配置,编辑/var/lib/pgsql/15/data/pg_hba.conf
,在最下方添加如下内容,并重启服务。
host sonarqube sonar 127.0.0.1/32 scram-sha-256
重启服务:sudo systemctl restart postgresql-15
-
安装SonarQube
依赖安装完毕之后,安装SonarQube 25.1。
wget https://binaries.sonarsource.com/Distribution/sonarqube/sonarqube-25.1.0.77747.zip
sudo unzip sonarqube-*.zip -d /opt
sudo mv /opt/sonarqube-* /opt/sonarqube
创建专用用户。
sudo useradd -M -d /opt/sonarqube -s /bin/false sonar
sudo chown -R sonar:sonar /opt/sonarqube
修改SonarQube数据连接信息。编辑/opt/sonarqube/conf/sonar.properties
。
sonar.jdbc.url=jdbc:postgresql://localhost:5432/sonarqube
sonar.jdbc.username=sonar
sonar.jdbc.password=sonar
sonar.web.port=9000
修改完成后进入,启动SonarQube服务。
sudo -u sonar /opt/sonarqube/bin/linux-x86-64/sonar.sh start
启动SonarQube
安装成功后访问 http://127.0.0.1:9000 地址使用用户名密码:admin\admin,访问SonarQube。
启动系统
2.2 配置
登录SonarQube系统后,需要创建项目,以及将代码导入项目进行分析。在SonarQube首页,点击Create Project,创建项目。
创建项目
输入项目名称、项目Key,点击下一步进行创建。
创建项目
项目创建完成之后,需要生成项目Token,点击右上角头像 → My Account → Security。
创建Token
输入Token名称 → 点击 Generate , 复制生成的Token。
创建Token
创建完毕之后,需要记住token和项目名称,Arbess集成SonarQube需要用到。
3、Arbess 安装与配置
3.1 安装
本文以CentOS为例,其他系统安装请访问TikLab官网进行查看:官网。
-
下载,服务端安装包含Agent安装,CentOS安装包下载地址:Arbess下载,点击CentOS下载,下载完成后得到类似tiklab-arbess-x.x.x.rpm的文件。
-
安装,上传到服务器上,在文件同级目录执行npm命令安装。
rpm -ivh --replacefiles --nodeps tiklab-arbess-x.x.x.rpm
-
启动,系统默认安装路径为/opt目录,进入/opt/tiklab-arbess/bin目录下,执行sh startup.sh即可启动成功。
启动Arbess
使用 http://ip:9200 进行访问。使用初始用户名密码admin\123456登录,首次登录需要修改管理员密码,修改完成之后成功登录。
登录
成功登录后展示Arbess首页。
首页
3.2 配置
Arbess流水线采用可视化设计,实现Java项目自动化部署,在流水线中可克隆Gitlab仓库代码、集成SonarQube进行代码扫描。创建流水线,进入流水线设计页面进行操作。
3.2.1 配置GitLab任务
流水线配置GitLab源码任务之前,需要添加GitLab服务集成,在系统设置→集成与开放→服务集成页面添加相关服务。授权类型选择Gitlab、填写名称、AccessTocken(个人密钥,即文章1.2部分创建的个人访问令牌)。
添加源码集成
如需要添加自建的Gitlab,授权类型选择自建Gitlab、填写名称、服务地址、AccessTocken(个人密钥)。
添加源码集成
服务集成添加完毕之后,进入流水线详情→设计,设计流水线,创建流水线会默认通用Git源码,一个流水线只能配置一个源码类型的的任务,修改其他类型的源码仓库,需要先删除之前的源码仓库。鼠标移动到通用Git源码,点击右侧删除按钮。
删除源码
删除后,点击流水线最左侧“+”号,添加任务,点击新阶段→源码→GitLab。
添加源码
需要填入任务名称、Git版本、GitLab授权信息(AccessTocken)、仓库、分支等信息。
添加源码
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
Git版本 | Arbess所在服务器Git安装路径。 |
GitLab授权信息 | 私人令牌,AccessTocken。 |
仓库 | 选择授权信息后点击仓库,程序会自动获取凭证权限下的仓库列表,管理者只需选择需要配置的仓库即可。 |
分支 | 选择代码的分支。填写需要拉取远程仓库具体的分支,不填默认为master分支,填写错误会导致任务执行失败。 |
当Gitlab授权信息错误,选择仓库,界面会给出提醒,需要确认Gitlab的个人令牌是否正常。
令牌无效
确认令牌无误并且添加源码任务完毕之后,可点击右上角运行进行测试,查看能否成功从Gitlab克隆代码。
运行克隆源码
成功克隆源码
显示√,则证明源码克隆成功,Arbess可以正常从Gitlab克隆源码。
3.2.2 配置SonarQube任务
流水线配置SonarQube任务之前,需要添加SonarQube服务集成,在系统设置→集成与开放→服务集成页面添加相关服务。授权类型选择Sonar、填写名称、服务地址、认证类型(用户名密码、密钥)、用户名、密码。
添加SonarQube服务
服务集成添加完毕之后,进入流水线详情→设计,设计流水线,点击新阶段→代码扫描→SonarQube代码扫描。
代码扫描
添加成功之后,弹出代码扫描的配置。
SonarQube代码扫描
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
扫描代码语言 | 扫描代码语言。 |
JDK版本 | 所在服务器JDK安装路径。 |
Maven版本 | 所在服务器Maven安装路径。 |
项目名称 | 扫描的项目名称,在SonarQube中创建的项目名称。 |
扫描代码地址 | 扫描代码存放路径,默认为${DEFAULT_CODE_ADDRESS},也可输入绝对路径。 |
SonarQube服务 | 安装SonarQube的服务器地址、用户名、密码。 |
3.2.3 配置构建任务
代码扫描添加完毕之后,添加构建安装包任务。根据代码构建方式选择Maven构建,点击新阶段→构建→Maven构建。
构建
输入构建信息,输入完成后,点击空白处进行保存。
构建
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。 |
JDK版本 | Arbess所在服务器JDK安装路径。 |
Maven版本 | Arbess所在服务器Maven安装路径。 |
模块地址 | 构建路径,默认为${DEFAULT_CODE_ADDRESS},也可输入绝对路径。 |
执行命令 | 执行Maven构建的命令。 |
3.2.4 配置部署任务
代码扫描添加完毕之后,添加构建安装包任务。点击新阶段→部署→主机部署。
主机部署
输入部署信息,部署的内容可以使用变量,添加变量后使用${变量名称}进行引用,输入完成后,点击空白处进行保存。
部署
字段 | 描述 |
任务名称 | 任务名称清晰地标识项目或对象。默认主机部署。 |
主机地址 | 部署主机远程SSH认证凭证。 |
部署文件 | 需要部署的文件,可以写绝对路径,也可以写泛路径,泛路径需要配合部署文件规则来匹配到部署文件。 |
部署文件匹配规则 | 文件匹配规则,支持正则表达式。 |
部署位置 | 部署远程主机位置。 |
部署命令 | 文件部署命令。 |
至此流水线设计完毕,下面介绍流水线运行以及查看代码扫描报告。
4、运行流水线
- 运行流水线
流水线设计完毕之后,Arbess支持自动触发、Webhook触发、手动触发三种运行模式。点击右上角“运行”按钮,手动触发流水线。
运行流水线
流水线运行同时,点击认为标签右下角“日志”,可查看运行实时日志。
查看运行信息
实时运行详情日志
- 查看代码扫描报告
全部任务显示为√则运行成功,运行完毕之后,可以在测试报告页面查看SonarQube代码扫描报告,点击测试报告→代码扫描→SonarQube,查看SonarQube代码扫描报告。
测试报告
点击SonarQube代码扫描报告名称,进入跳转到SonarQube查看详细报告。
详细报告
- 查看运行历史
可以在Arbess历史页面查看到流水线运行历史。点击运行历史序号,即可查看详细的运行日志。
运行历史
至此,使用Arbess成功搭建流水线,用来拉取GitLab源码、使用SonarQube代码扫描,构建安装包并主机部署。