app开发公司怎么学东西_装饰公司电话_知乎营销推广_互联网推广是什么

https://blog.csdn.net/u011564831/article/details/144007981文章浏览阅读1.2k次，点赞31次，收藏21次。本文使用 Jenkins 结合 CodeBuild, CodeDeploy 实现 Serverless 的 CI/CD 工作流，用于自动化发布已经部署 lambda 函数。在 AWS 海外区，CI/CD 工作流可以用 codepipeline 这项产品来方便的实现，由于中国区暂时未发布此款产品，此文采用做替代方案管理 CICD 工作流。本文在此所涵盖的所有产品在中国区都可以使用。_aws github cicdhttps://blog.csdn.net/u011564831/article/details/144007981

在上次使用jenkins 作为webhook中间组件响应 github push event实现简单的lambda 函数部署以后，这次要实现springboot后端和vue前端测试用例的代码静态检查后ECS部署

准备工作

使用下面规制的EC2
t3.large 作为Jenkins的EC2
t2.medium 作为sonar的EC2

安装jdk命令

# 卸载命令
sudo dnf remove java-17-amazon-corretto -y
sudo dnf clean all

# 安装命令
sudo dnf install java-17-amazon-corretto -y

# 查看JAVA_HOME
sudo alternatives --config java

jenkins的机器上需要安装git

yum install git -y

还需要安装的插件

SonarQube Scanner
Github
NodeJS

在jenkins机器上配置AAK 和ASA

Text plain
region = ap-xx-2
output = json
aws_access_key_id = xx
aws_secret_access_key = xx

利用本地跳板机进行文件上传，下面是一个例子方便操作

Text plain
IP_ADDRESS='43.200.129.240' #后面替换为自己的地址
PEM_FILE='jenkins.pem' #替换为自己的pem文件路径
scp -i $PEM_FILE -r $YOUR_FILES ec2-user@$IP_ADDRESS:/home/ec2-user/

使用 RDS 启动mysql 5.7 （两小时1美金稍贵，自己练习推荐EC2安装mysql）

sonar机器上安装sonarqube，使用docker方式

在sonarqube准备的t2.medium 机器上，执行下面命令

# 安装docker
yum install docker -y
systemctl enable docker
systemctl start docker

# 拉取镜像, 使用jdk1.8的版本
docker pull sonarqube:7.9.6-community

创建持久化卷，用来存储docker下持久化数据，防止丢失

//创建卷，不要使用直接挂载的方式。直接使用挂载会导致安装的插件不可用
docker volume create --name sonarqube_data
docker volume create --name sonarqube_logs
docker volume create --name sonarqube_extensions
//用于挂载以创建的卷
mkdir -p /usr/sonar/conf
mkdir -p /usr/sonar/data
mkdir -p /usr/sonar/logs
mkdir -p /usr/sonar/extensions

启动SonarQube

docker run -d --name sonarqube \
    -p 9000:9000 \
    -v sonarqube_data:/usr/sonar/data \
    -v sonarqube_extensions:/usr/sonar/extensions \
    -v sonarqube_logs:/usr/sonar/logs \
    -v /opt/sonarqube/conf:/usr/sonar/ \
    sonarqube:7.9.6-community

访问9000端口看到sonar_qube页面

jenkins机器上配置maven

需要使用mvn来编译jar

在Jenkins EC2机器上配置mvn，下载地址Download Apache Maven – Maven

apache-maven-3.8.8-bin.zip 解压重命名到/usr/local/maven路径，配置~/.bashrc

Plain Text
export MVN_HOME=/usr/local/maven
export PATH=$MVN_HOME/bin:$PATH

export JAVA_HOME=/usr/lib/jvm/java-17-amazon-corretto
export PATH=$JAVA_HOME/bin:$PATH

export SONAR_RUNNER_HOME=/usr/local/sonar-scanner
export PATH=$SONAR_RUNNER_HOME/bin:$PATH

配置aliyun的mavenc仓库

Plain Text
<mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
</mirror>

配置成功后控制查看安装

[root@ip-10-0-17-14 maven]# mvn -v
Apache Maven 3.8.8 (4c87b05d9aedce574290d1acc98575ed5eb6cd39)
Maven home: /usr/local/maven
Java version: 17.0.13, vendor: Oracle Corporation, runtime: /usr/local/jdk-17.0.13
Default locale: en, platform encoding: UTF-8
OS name: "linux", version: "6.1.115-126.197.amzn2023.x86_64", arch: "amd64", family: "unix"

jenkins机器上配置nvm 通过nvm安装node

需要使用npm来给前端打包

执行脚本先安装nvm

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.5/install.sh | bash

安装完成后，您需要在终端中加载 NVM。可以通过将以下内容添加到您的 shell 配置文件中（如 ~/.bashrc 等）来实现：

export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh" # This loads nvm

使用nvm安装node 18

nvm install 18

jenkins机器上配置docker

会使用docker把构建的镜像推送到ECR

# 安装docker
yum install docker -y
systemctl enable docker
systemctl start docker

补充一点，后面会使用docker login的操作是需要配置aws configure的

jenkins机器上安装sonar scanner

推荐版本 SonarScanner 3.0 或更高版本： SonarQube 7.6 支持 SonarScanner 3.0 及更高版本。建议使用最新的 3.x 版本，以确保获得最新的功能和修复。

打开浏览器地址https://binaries.sonarsource.com/?prefix=Distribution/sonar-scanner-cli/

找到sonar-scanner-cli-3.3.0.1492-linux.zip 进行下载

下载后上传文件到EC2 上解压放重命名到 /usr/local/sonar-scanner

修改 ~/.bashrc 文件，添加

Text plain
export SONAR_SCANNER_HOME=/usr/local/sonar-scanner
export PATH=$SONAR_SCANNER_HOME/bin:$PATH

source ~/.bashrc 生效

编辑 /usr/local/sonar-scanner/conf/sonar-scanner.properties

Text plain
sonar.host.url=http://<sonarqube_url>:9000

查看安装

Text plain
[root@node125 conf]# sonar-scanner --version
INFO: Scanner configuration file: /usr/local/sonar-scanner/conf/sonar-scanner.properties
INFO: Project root configuration file: NONE
INFO: SonarQube Scanner 3.3.0.1492
INFO: Java 1.8.0_121 Oracle Corporation (64-bit)
INFO: Linux 3.10.0-1160.118.1.el7.x86_64 amd64

回到github项目，在测试maven项目pom.xml项目同一级目录下创建sonar-project.properties

Text plain
sonar.projectKey=项目名称
sonar.projectName=项目名称
sonar.projectVersion=1.0
sonar.sources=.
sonar.java.binaries=target/classes
sonar.language=java
sonar.sourceEncoding=UTF-8

一定要配置sonar.java.binaries=target/classes 表示要扫描的jar的文件位置

jenkins机器上手动测试sonar-scanner

在项目jenkins 拉取github的workspace目录下找到

/root/.jenkins/workspace/xx/springTest2

目录下执行sonar-scanner

查看扫描结果

配置jenkins集成

安装SonarQube Scanner 插件

Sonarqube 上生成token, 用admin/admin(原始密码，系统会提示需要修改后再登录)登录以后

MyAccount - security - generate token

复制这个key 在jenkins -> setting -> system下找sonarqube加上

配置qube server的访问url

添加刚在sonar_qube上成成的token

Jenkins setting ->全局工具，配置里配置sonar_scanner的安装位置

填写 /usr/local/sonar-scanner 作为SONAR_RUNNER_HOME

Jenkins 配置后端作业配置

Build Steps 先添加一个shell 执行

Text plain
cd /root/.jenkins/workspace/xx/springTest2
/usr/local/maven/bin/mvn clean install

在下面再添加一个execute sonarqube_scanner

sonar_scaner只配置sonar-project.properties 文件位置

填写相对位置 ./springTest2/sonar-project.properties

查看job控制台输出发现使用的jdk版本不对

因为在jenkins里执行sonar-scanner会使用这个 /usr/local/sonar-scanner/jre/bin/java

执行

cd /usr/local/sonar-scanner/jre/bin
rm -rf java
ln -s /usr/local/jdk-17.0.13/bin/java $PWD/java

补充一个sonar-scanner检查的问题

ERROR: Unable to create symbol table for : 'springTest2/src/main/java/com/example/springTest2/controller/HelloController.java'

java.lang.IllegalArgumentException: Unsupported class file major version 61

是因为mvn使用了jdk17做编译，但是sonarqube低版本，这个时候配置JAVA_HOME

遇到这个报错

配置--add-opens java.base/java.lang=ALL-UNNAMED 到JVM Options

遇到No files nor directories matching 'target/classes' 需要在项目位置找到target/classes 的相对路径

再次跑作业查看页面上会有passed的标志

Sonarqube 配置强制登录

有强制登录后可以从上面位置点击跳转过来

Jenkins 再添加一个shell构建阶段

增加下面脚本内容

Text plain
cd /root/.jenkins/workspace/xx/springTest2
image_version='xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/backend:latest'
docker build -t $image_version .
aws ecr get-login-password --region ap-northeast-2 | docker login --username AWS --password-stdin xx.dkr.ecr.ap-northeast-2.amazonaws.com

docker push $image_version

再次执行

检查ECR 推送成功

Jenkins 配置前端作业配置

在shell构建里加上

Text plain
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh"

cd /root/.jenkins/workspace/frontend_job/vue_test_login

nvm use 18
/root/.nvm/versions/node/v18.20.5/bin/npm run build

image_version='xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/frontend:latest'
docker build -t $image_version .
aws ecr get-login-password --region ap-northeast-2 | docker login --username AWS --password-stdin xx.dkr.ecr.ap-northeast-2.amazonaws.com

docker push $image_version

测试一下，构建推送成功

复习 ECS 后端部署

任务定义

把重要的镜像和使用的端口配置上

1 ECS 下创建集群，我们使用Fargate这种更加方便的方式

2 创建服务

创建负载均衡

其他不用动

完毕后看到

codepipeline 后端部署配置

1, Choose creation option 选择build custom pipeline

2 选择流水线设置

3 添加源阶段 , 选择S3

新建imagedefinitions.json

Text plain
[
{
"name": "backend",
"imageUri": "xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/backend:latest"
}
]

把这个文件压缩为zip,上传到s3

记得S3 开启版本控制

4 跳过构建阶段

5 添加部署阶段

jenkins后端job配置codepipeline的触发

Text plain
aws codepipeline start-pipeline-execution --name jenkins_pipe

执行时间较长

复习 ECS 前端部署

创建任务

把使用的镜像和使用的端口写清楚

其余不用动点击创建

在ECS集群下创建服务

选择任务

联网里选择VPC

把负载均衡加上

找到负载均衡的DNS地址

codepipeline 前端部署配置

创建一个zip包含vue_imagedefination.json的文件，json文件格式为

Text plain
[
{
"name": "frontend",
"imageUri": "xx.dkr.ecr.ap-northeast-2.amazonaws.com/xx/frontend:latest"
}
]

上传这个zip到s3

1, Choose creation option 选择build custom pipeline

2 选择流水线设置

3 添加S3作为源

4 跳过构建阶段

5 添加部署阶段

jenkins 前端job配置codepipeline的触发

Text plain
aws codepipeline start-pipeline-execution --name vue_pip

实现一个完整的github push -> jenkins -> codepipeline -> ecs service部署

本地代码git push, github上显示推送成功

触发了codepipeline 的构建

查看codepipline

再看ECS，部署任务版本+1了

检查LBS 地址，部署更新了

RDS 太贵，使用免费的EC2安装mysql

# 安装docker
yum install docker -y
systemctl enable docker
systemctl start docker

# 拉取镜像
docker pull mysql:5.7.41

# 启动 mysql
docker run -d --name mysql-1 -p 3306:3306 -e MYSQL_ROOT_PASSWORD='xx' mysql:5.7.41

再复习下如何把github push event 触发jenkins构建

1 github上生成token

2 在github项目上创建指向jenkins的webhook

地址填写http://<jenkins_host>:9001/github-webhook/

3 jenkins上system configure 上配置access token

添加认证方式

在箭头处填写github access token

记得在jenkins job上把push 构建选项勾上

app开发公司怎么学东西_装饰公司电话_知乎营销推广_互联网推广是什么

最新新闻

热搜词