阅读全文

⭐⭐⭐ Spring Boot 项目实战	⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》	《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》	《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》	《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》	《Java 面试题 + Java 学习指南》

摘要: 原创出处 qingmu.io 「网络」欢迎转载，保留摘要，谢谢！

• 前言
• 打包 Docker 镜像
• Operator 快速体验
  • 快速安装
  • 部署 OperatorDemo 应用
  • 验证
  • 清理 operator-demo
  • 部署自己的应用
  • 一个完整的 Spring Boot Application Yaml
  • 优雅停机的路径
  • node 亲和的使用
  • Operator 自定义安装
  • 自定义安装之后部署
• 附录

---

🙂🙂🙂关注**微信公众号：【芋道源码】**有福利：

1. RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表
2. RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址
3. 您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。
4. 新的源码解析文章实时收到通知。每周更新一篇左右。
5. 认真的源码交流微信群。

---

使用 Spring Boot Operator 部署 Spring Boot 到 K8S。

前言

在 Kubernetes 中部署 Spring Boot 应用整体上来说是一件比较繁琐的事情，而 Spring Boot Operator 则能带给你更清爽简单的体验。

Spring Boot Operator 基于 Kubernetes 的 Custom Resource Definitions (CRDs) 扩展 API 进行的开发。

打包 Docker 镜像

在讲部署之前我们需要先将我们的 Spring Boot 应用打包成标准的 Docker Image。

Java 项目打包镜像用 Maven/Gradle 插件比较多，这里在介绍一个新的 Google 开源插件 Jib，该插件使用起来比较方便。

注意：Jib 打包的镜像会导致 Java 应用的 pid=1。在使用 Spring Boot Operator 进行发布时候，Operator 会设置 Kubernetes 的 ShareProcessNamespace 参数为 true（v1.10+版本都可使用）来解决该问题。

下面就来演示一下通过 https://start.spring.io 生成一个标准的 Spring Boot 项目 operator-demo，然后使用 Jib 插件进行镜像打包。

mvn com.google.cloud.tools:jib-maven-plugin:build 
-Djib.to.auth.username=${{ secrets.MY_USERNAME }} 
-Djib.to.auth.password=${{ secrets.MY_PASSWORD }} 
-Djib.container.jvmFlags=--add-opens,java.base/sun.nio.ch=ALL-UNNAMED 
-Djib.from.image=freemanliu/oprenjre:11.0.5 
-Dimage=registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

执行上面的命令之后我们将得到一个标准的 Docker 镜像，该镜像会被推送到远程仓库。

Operator 快速体验

完成了镜像的构建之后，我们紧接着来安装我们的 Operator 到 Kubernetes 集群。当然了首先你需要一套集群，可以参考本机搭建三节点 k8s 集群。

快速安装

此处快速安装只是为了快速体验 Demo。

kubectl apply -f https://raw.githubusercontent.com/goudai/spring-boot-operator/master/manifests/deployment.yaml

apply 成功之后控制台输出：

namespace/spring-boot-operator-system created
customresourcedefinition.apiextensions.k8s.io/springbootapplications.springboot.qingmu.io created
role.rbac.authorization.k8s.io/spring-boot-operator-leader-election-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-manager-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-proxy-role created
clusterrole.rbac.authorization.k8s.io/spring-boot-operator-metrics-reader created
rolebinding.rbac.authorization.k8s.io/spring-boot-operator-leader-election-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-manager-rolebinding created
clusterrolebinding.rbac.authorization.k8s.io/spring-boot-operator-proxy-rolebinding created
service/spring-boot-operator-controller-manager-metrics-service created
deployment.apps/spring-boot-operator-controller-manager created

稍等片刻查看是否已经安装成功：

kubectl  get po -n spring-boot-operator-system

成功如下输出：

NAME                                                       READY   STATUS    RESTARTS   AGE
spring-boot-operator-controller-manager-7f498596bb-wcwtn   2/2     Running   0          2m15s

部署 OperatorDemo 应用

完成了 Operator 的部署之后，我们来部署我们第一个应用。这里我们就发布上面我们编写的 Spring Boot 应用 opreator-demo。

首先，我们需要先编写一个 Spring Boot Application 的 CRD 部署 yaml，如下：

# Demo.yaml
apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo 
spec:
  springBoot:
    version: v1.0.0
#    image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0

细心的同学可能发现了，为啥连 Image 都没有这怎么发布？就 name、version 就能完成发布？

是的没错！就能完成发布，后面我讲详细讲到他是如何完成的。

接着我们 apply 一下：

kubectl apply -f Demo.yaml

看到 console 输出：

springbootapplication.springboot.qingmu.io/operator-demo created

验证

表示创建成功了，接着我们来看下我们部署的第一个应用，这里我们直接用上面的 yaml 中的 name 过滤即可。

查看 pod。

~# kubectl  get po | grep operator-demo
operator-demo-7574f4789c-mg58m             1/1     Running   0          76s
operator-demo-7574f4789c-ssr8v             1/1     Running   0          76s
operator-demo-7574f4789c-sznww             1/1     Running   0

查看下我们的 pid 不等于 1 的设置是否生效。

根据下面的结果可以看到通过设置 ShareProcessNamespace 该参数我们可以在 Kubernetes 层面来解决这个 pid=1 的问题。

kubectl exec -it operator-demo-7574f4789c-mg58m bash
bash-5.0# ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 02:06 ?        00:00:00 /pause
root         6     0 26 02:06 ?        00:00:09 java --add-opens java.base/sun.nio.ch=ALL-UNNAMED -cp /app/resources:/app/classes:/app/libs/* io.qingmu.operator.operatordemo.Oper...
root        38     0  0 02:07 pts/0    00:00:00 bash
root        44    38  0 02:07 pts/0    00:00:00 ps -ef

查看 svc。

~# kubectl  get svc | grep operator-demo
operator-demo             ClusterIP   10.101.128.6     <none>        8080/TCP            2m52s

我们来访问一下试试：

root@server1:~# curl -i http://10.101.128.6:8080
HTTP/1.1 200 
Content-Type: text/plain;charset=UTF-8
Content-Length: 9
Date: Wed, 08 Apr 2020 08:45:46 GMT

hello !!!

我们来试着缩减副本数到 1 个。

编辑我们的 Demo.yaml，加入一个新的属性 replicas：

# Demo.yaml
apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo 
spec:
  springBoot:
    version: v1.0.0
    replicas: 1

应用一下：

root@server1:~# kubectl apply -f Demo.yaml 
springbootapplication.springboot.qingmu.io/operator-demo configured

再次查看 pod，会发现我们的 pod 已经缩放为一个副本了：

~# kubectl  get po | grep operator-demo
operator-demo-7574f4789c-sznww             1/1     Running   0

清理 operator-demo

要删除该 pod 我们只需要执行 delete 即可：

~# kubectl delete -f Demo.yaml 
springbootapplication.springboot.qingmu.io "operator-demo" deleted

再次查看 pod，已经没了：

kubectl  get po | grep operator-demo

部署自己的应用

部署自己私有仓库的应用需要需要先创建 secret（如果已经创建跳过即可）。

创建 docker-registry 的 secret：

kubectl create  
secret docker-registry aliyun-registry-secret 
--docker-server=registry-vpc.cn-hangzhou.aliyuncs.com 
--docker-username=*** 
--docker-password=*** 
--docker-email=***

自己应用的 crd Yaml：

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: 你的应用的名称
spec:
  springBoot:
    version: v1.0.0
    replicas: 1 
    image: 你的image地址
    imagePullSecrets: 
      - 上面创建的secret

一个完整的 Spring Boot Application Yaml

下面是一个完整的 yaml 属性结构，大部分属性我们都可以用默认配置的即可。

不设置属性，默认使用 Operator 中设置的通用值。详见后面的自定义安装 Operator。

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: operator-demo
  namespace: default
spec:
  springBoot:
    # image 可以不设置，如果不设置默认使用 IMAGE_REPOSITORY+/+mate.name+:+spec.springBoot.version
    # registry.cn-shanghai.aliyuncs.com/qingmuio + / + operator-demo + : + v1.0.0
    image: registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo:v1.0.0
    clusterIp: "" 
    version: v1.0.0 
    replicas: 1 
    resource:
      cpu:
        request: 50m
        limit: "" 
      memory:
        request: 1Gi
        limit: 1Gi 
    path:
      liveness: /actuator/health 
      readiness: /actuator/health 
      hostLog: /var/applog 
      shutdown: /spring/shutdown 
    imagePullSecrets: 
      - aliyun-docker-registry-secret
    env: 
      - name: EUREKA_SERVERS
        value: http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/
    nodeAffinity: 
      key: "failure-domain.beta.kubernetes.io/zone"
      operator: "In"
      values:
        - "cn-i"
        - "cn-h"
        - "cn-g"

优雅停机的路径

由于优雅停机默认是关闭的，并且并不支持 GET 请求，所以我们需要开启和搭个桥。

首先，在 application.yml 中启用：

management:
  endpoints:
    web:
      exposure:
        include: "*"
  endpoint:
    shutdown:
      enabled: true

然后，桥接一个 GET 方法：

@RestController
public class ShutdownController {
    @Autowired
    private ShutdownEndpoint shutdownEndpoint;

    @GetMapping("/spring/shutdown")
    public Map<String, String> shutdown(HttpServletRequest request) {
        return shutdownEndpoint.shutdown();
    }
}

node 亲和的使用

举一个例子：我们有一个 Spring Boot 应用 user-service，希望它能分布到 3 个可用区的 6 个节点上:

首先，我们把机器划分多个可用区：

cn-i区(node-i1,node-i02)
cn-h区(node-g1,node-g02)
cn-g区(node-h1,node-h02)

现在，我们有 3 个可以区，每个区有2台 workload，一共6台。然后，我们需要给这些机器分别打上 label。

将全部的 i 区机器标注为 cn-i：

kubectl label node node-i1 failure-domain.beta.kubernetes.io/zone=cn-i
kubectl label node node-i2 failure-domain.beta.kubernetes.io/zone=cn-i

同理将 h 区的标注为 h，g 区同理。

kubectl label node node-h1 failure-domain.beta.kubernetes.io/zone=cn-i
kubectl label node node-ih2 failure-domain.beta.kubernetes.io/zone=cn-i

准备工作我们就绪了，现在我们来设置让它达到我们的调度效果，像如下编写：

spec:
  springBoot:
    nodeAffinity: #可以不设置 节点亲和 这里演示的是尽量将pod分散到 i h g 三个可用区，默认设置了pod反亲和
      key: "failure-domain.beta.kubernetes.io/zone"
      operator: "In"
      values:
        - "cn-i"
        - "cn-h"
        - "cn-g"

Operator 自定义安装

上面我们快速的安装了好了，接着我们来讲解下如何自定义安装，以及有哪些自定义的参数，可以个性化的参数我们用环境变量的方式注入。

下面来修改 Deployment 完成自己个性化的配置部署。从我提供的部署 yaml 中拉到最后，找到 name 是 spring-boot-operator-controller-manager 的 Deployment，我们将修改它。

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    control-plane: controller-manager
  name: spring-boot-operator-controller-manager
  namespace: spring-boot-operator-system
.....
        
        #注意：一下配置针对通用全局的spring boot默认配置，对crd的spring boot生效，这里不配置也可以在部署的yaml中指定

        # 私有仓库的地址，比如我的最终打包的镜像地址是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo/operator-demo:v1.0.0
        # 那么配置的值是 registry.cn-shanghai.aliyuncs.com/qingmuio/operator-demo
        # 配置这个值之后，我们我们如果在发布的yaml中不写image，那么使用的image就是 IMAGE_REPOSITORY+"/"+mate.name+spec.springBoot.version
        - name: IMAGE_REPOSITORY
          value: registry.cn-shanghai.aliyuncs.com/qingmuio
        # 请求CPU限制
        - name: REQUEST_CPU
          value: 50m
        # 限制最大能用最大CPU java应用可以不用限制，限制不合理会导致启动异常缓慢
        - name: LIMIT_CPU
          value: ""
        # 请求内存大小
        - name: REQUEST_MEMORY
          value: 500Mi
        # 限制最大内存大小 一般和request一样大即可
        - name: LIMIT_MEMORY
          value: 500Mi
        # 就绪检查Path，spring boot actuator 默认Path
        - name: READINESS_PATH
          value: /actuator/health
        # 就绪存活Path，spring boot actuator 默认Path
        - name: LIVENESS_PATH
          value: /actuator/health
        # 就绪存活Path，优雅停机Path
        - name: SHUTDOWN_PATH
          value: /spring/shutdown
        # 复制级 即副本数
        - name: REPLICAS
          value: "3"
        # 将日志外挂到主机磁盘Path，默认两者相同
        - name: HOST_LOG_PATH
          value: /var/applog
        # 用于pull 镜像的secrets
        - name: IMAGE_PULL_SECRETS
          value: ""
        # 用于pull 镜像的secrets
        - name: SPRING_BOOT_DEFAULT_PORT
          value: "8080"
        # node亲和，比如我可以设置pod尽量分散在不同可用区cn-i,cn-g,cn-h区
        - name: NODE_AFFINITY_KEY
          value: ""
        - name: NODE_AFFINITY_OPERATOR
          value: ""
        - name: NODE_AFFINITY_VALUES
          value: ""
        # 全局的环境变量，会追加到每个spring boot的每个pod中，格式 k=v;k1=v2,
        # 如 EUREKA_SERVERS=http://eureka1:8761/eureka/,http://eureka2:8761/eureka/,http://eureka3:8761/eureka/;k=v
        - name: SPRING_BOOT_ENV
          value: ""
        image: registry.cn-shanghai.aliyuncs.com/qingmuio/spring-boot-operator-controller:latest

.....

自定义安装之后部署

yaml 可以简化为如下。

apiVersion: springboot.qingmu.io/v1alpha1
kind: SpringBootApplication
metadata:
  name: 你的应用的名称
spec:
  springBoot:
    version: v1.0.0

附录

环境变量表格。