介绍
Velero 是由 Vmware 捐献给 CNCF 的,云原生的,对 Kubernetes 进行备份、还原和迁移的工具,它使用 Golang 开发、且开源。
github: https://github.com/vmware-tanzu/velero
官网:https://velero.io/
工作原理:
需要部署一个 Velero 服务端到集群,该服务端拥有访问集群资源的权限;
通过 velero 二进制程序部署服务端的同时,其也会向 kubernetes 集群中同时注册一些 crd 资源,这些 crd 资源可以对我们备份、还原的资源做抽象;
通过 crd 资源创建一个备份请求对象,服务端控制器会根据请求内容完成目标预期的备份,并将备份后的文件上传至配置的远端存储(需要支持 S3 协议,如 Ceph、Minio 都可以);
备份完毕后,可以通过获取特定的 crd 资源来查看备份的记录(文件);
通过 crd 资源创建一个还原请求对象,服务端控制器会根据请求内容对应的备份文件,将备份内容恢复到集群;
示例
下面演示一下在两个集群迁移 kubernetes 资源需要进行的动作,以将 a 集群 tmp 名称空间及其下的资源迁移到 b 集群为例。
粗略步骤:
部署一个 minio,用来作为 Velero 上传备份文件的远端存储;
在两个 kubernetes 集群中都部署一个 Velero 服务端,这两个服务端的远端存储都配置为上一步部署的 minio,且指定使用同一个 bucket;
在 a 集群中创建一个对 tmp 名称空间的备份请求,确认备份动作执行完毕;
因为远端存储是相同的,所以此时可以在 b 集群看到备份的记录文件;
在 b 集群创建一个还原请求,将 a 集群备份的文件还原到 b 集群;
安装 Minio
我这里直接使用 Docker 安装:
$ docker run --name minio \
-d \
--env MINIO_ROOT_USER="root" \
--env MINIO_ROOT_PASSWORD="root" \
--publish 9000:9000 \
--publish 9001:9001 \
--volume /data/minio:/data \
bitnami/minio:2022.11.11
在 Minio 创建名为 velero 的 bucket。
下载二进制程序
$ wget https://github.com/vmware-tanzu/velero/releases/download/v1.9.4/velero-v1.9.4-linux-amd64.tar.gz
$ tar -zxvf velero-v1.9.4-linux-amd64.tar.gz
$ cp velero-v1.9.4-linux-amd64/velero /usr/local/bin
部署服务端到集群
创建远端存储认证文件:
$ cat minio-auth.txt
[default]
aws_access_key_id = root
aws_secret_access_key = admin123
部署服务端到 a 集群:
velero install \
--kubeconfig ./a.kubeconfig \
--provider aws \
--plugins velero/velero-plugin-for-aws:v1.5.0 \
--bucket velero \
--secret-file ./minio-auth.txt \
--use-volume-snapshots=false \
--namespace velero-system \
--backup-location-config region=minio,s3ForcePathStyle="true",s3Url="http://10.0.1.200:9000"
部署服务端到 b 集群:
velero install \
--kubeconfig ./b.kubeconfig \
--provider aws \
--plugins velero/velero-plugin-for-aws:v1.5.0 \
--bucket velero \
--secret-file ./minio-auth.txt \
--use-volume-snapshots=false \
--namespace velero-system \
--backup-location-config region=minio,s3ForcePathStyle="true",s3Url="http://10.0.1.200:9000"
注意:
- 使用 --kubeconfig 选项指定部署到的集群;
- 使用 --namespace 指定部署到的名称空间;
- 使用 s3Url 指定备份使用的远端存储 Url,这里我指定的是 Minio 地址;
在 a、b 集群确认 Velero 服务端已成功启动并就绪:
$ kubectl get pod -n velero-system
NAME READY STATUS RESTARTS AGE
velero-fbb9469f6-c7t77 1/1 Running 0 14h
a 集群执行备份动作
先查看一下 tmp 名称空间的资源:
$ kubectl get all -n tmp
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-jpt2t 1/1 Running 0 10m
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/nginx ClusterIP 10.105.123.117 \<none\> 80/TCP 10m
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/nginx 1/1 1 1 10m
`NAME DESIRED CURRENT READY AGE
replicaset.apps/nginx-85b98978db 1 1 1 10m`
使用 velero 二进制程序创建备份请求,通过 --namespace 指定 Velero 服务端所在名称空间,--include-namespaces 指定要备份的名称空间:
$ DATE=`date +%Y%m%d%H%M%S`
$ velero backup create \
tmp-${DATE} \
--namespace velero-system \
--include-namespaces tmp \
--kubeconfig ./a.kubeconfig
Backup request "tmp-20221202103428" submitted successfully.
Run `velero backup describe tmp-20221202103428` or `velero backup logs tmp-20221202103428` for more details.
查看备份:
$ kubectl -n velero-system get backups.velero.io
NAME AGE
tmp-20221202103428 14s
登录 Minio 进入名为 velero 的 bucket 可以看到对应的备份文件。
b 集群执行还原动作
先确认在 b 集群也可以看到备份:
$ kubectl -n velero-system get backups.velero.io
NAME AGE
tmp-20221202103428 6m15s
使用 velero 二进制程序创建还原请求,通过 --namespace 指定 Velero 服务端所在名称空间,--from-backup 指定要还原的备份文件:
$ velero restore create \
--namespace velero-system \
--kubeconfig ./b.kubeconfig \
--from-backup tmp-20221202103428 --wait
Restore request "tmp-20221202103428-20221202104444" submitted successfully.
Waiting for restore to complete. You may safely press ctrl-c to stop waiting - your restore will continue in the background.
`Restore completed with status: Completed. You may check for more information using the commands ``velero restore describe tmp-20221202103428-20221202104444`` and ``velero restore logs tmp-20221202103428-20221202104444``.`
查看还原日志:
$ velero -n velero-system restore logs tmp-20221202103428-20221202104444
查看恢复后的资源:
$ kubectl get all -n tmp
NAME READY STATUS RESTARTS AGE
pod/nginx-85b98978db-jpt2t 1/1 Running 0 80s
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
service/nginx ClusterIP 10.68.17.205 \<none\> 80/TCP 80s
NAME READY UP-TO-DATE AVAILABLE AGE
deployment.apps/nginx 1/1 1 1 80s
`NAME DESIRED CURRENT READY AGE
replicaset.apps/nginx-85b98978db 1 1 1 80s`