部署到 Google Cloud GKE

​

安装环境控制台

​

准备 GKE 集群和必要的节点池等资源

​

步骤 1：创建 GKE Standard 集群

• 集群类型：选择 GKE Standard。
• 集群位置：建议选择 Regional 集群，以便后续创建跨多个可用区的 AutoMQ 实例。
• 网络模式：启用 VPC-native traffic routing，并为 Pod 和 Service 准备 Secondary IP range。
• Dataplane：建议启用 Dataplane V2。
• 身份模型：启用 Workload Identity Federation for GKE。
• 节点 metadata：不要关闭 GKE Metadata Server。AutoMQ Pod 通过 Kubernetes ServiceAccount 绑定到 Google Service Account（GSA）时，需要依赖 GKE Metadata Server。

• Service Project：创建 GKE 集群、Console VM、AutoMQ 实例、数据 Bucket、实例 GSA 等资源。
• Host Project：承载 VPC、子网、路由、NAT、防火墙等网络资源。

​

步骤 2：配置网络和防火墙

• AutoMQ 控制台可以访问 GKE API Server。
• AutoMQ 控制台可以访问 AutoMQ Pod 或 Service 暴露的端口。这是必需访问路径。
• Kafka 客户端网络可以访问业务需要的 AutoMQ 服务端口，例如 Kafka Bootstrap、Broker 或相关代理端口。
• 如果 GKE 节点不配置公网 IP，且需要访问 Cloud Storage、IAM、Cloud DNS 等 Google APIs，请为节点所在子网开启 Private Google Access，并确认访问 Google APIs 所需的路由和 DNS 配置正确。访问外部镜像仓库等非 Google 端点仍需要 Cloud NAT 或其他出网路径。

HOST_PROJECT_ID="<host-project-id>"
VPC_NAME="<vpc-name>"
AUTOMQ_NODE_SA_EMAIL="<dedicated-automq-node-service-account-email>"
# 如果暂不需要放行 Kafka 客户端网段，可以只保留控制台所在子网 CIDR。
SOURCE_CIDRS="<console-subnet-cidr>,<client-cidr>"

gcloud compute firewall-rules create "automq-gke-allow-automq-service" \
  --project="${HOST_PROJECT_ID}" \
  --network="${VPC_NAME}" \
  --direction=INGRESS \
  --action=ALLOW \
  --source-ranges="${SOURCE_CIDRS}" \
  --target-service-accounts="${AUTOMQ_NODE_SA_EMAIL}" \
  --rules=tcp:8083,tcp:9090,tcp:9092,tcp:9093,tcp:9102,tcp:9103,tcp:9112,tcp:9113

​

步骤 3：准备 AutoMQ 工作负载节点池

• GKE Metadata Server：必须启用。
• 污点：设置 dedicated=automq:NoSchedule，确保只有 AutoMQ 工作负载调度到该节点池。
• 机型和数量：参考概述▸中的节点池要求选择机型，并根据业务规模设置最小、期望和最大节点数。
• 自动扩缩容：建议开启 Cluster Autoscaler，并使用 Balanced 策略。

​

步骤 4：确认 AutoMQ 工作负载身份

​

创建 AutoMQ 实例，选择部署到 Kubernetes

1. 部署类型：选择 Kubernetes。
2. Kubernetes 集群：选择目标 GKE 集群。通过 API 或自动化工具传参时，GKE 集群 ID 使用完整资源名称，格式为 projects/<project-id>/locations/<location>/clusters/<cluster-name>。
3. 节点池：选择或填写用于部署 AutoMQ Broker 的节点池名称。节点池需要满足概述▸中的节点池要求。
4. 数据 Bucket：选择由 AutoMQ 托管创建，或填写已有 GCS Bucket。
5. Private DNS Zone：选择由 AutoMQ 托管创建，或填写已有 Cloud DNS private managed zone。
6. 实例身份：
   • 选择托管身份时，AutoMQ 控制台会创建实例 GSA 并配置所需 IAM 绑定。
   • 选择已有身份时，填写已有 GSA 的完整资源名称，并确认权限已按控制台展示内容完成配置。
7. 命名空间和 ServiceAccount：仅在自行管理 Kubernetes 身份时需要指定。该 ServiceAccount 需要和实例 GSA 完成 Workload Identity 绑定。
8. 预览配置信息，完成创建。

​

附录：为 AutoMQ 工作负载配置 GKE Workload Identity

1. 创建 namespace 和 Kubernetes ServiceAccount。
   kubectl create namespace <automq-namespace>
   kubectl create serviceaccount <automq-service-account> -n <automq-namespace>
   
2. 为 GSA 添加 roles/iam.workloadIdentityUser binding。
   gcloud iam service-accounts add-iam-policy-binding <gsa-email> \
     --role roles/iam.workloadIdentityUser \
     --member "serviceAccount:<project-id>.svc.id.goog[<automq-namespace>/<automq-service-account>]"
   
3. 为 Kubernetes ServiceAccount 添加 GSA 注解。
   kubectl annotate serviceaccount <automq-service-account> \
     -n <automq-namespace> \
     iam.gke.io/gcp-service-account=<gsa-email>
   

​

附录：部署 AutoMQ Placeholder Deployment（可选）

1. 下载并创建低优先级声明。
   curl -fLO https://download.automq.com/k8s-placeholder/automq-low-priority.yaml
   kubectl apply -f automq-low-priority.yaml
   
2. 下载 GKE Placeholder Deployment 示例。
   curl -fLO https://download.automq.com/k8s-placeholder/automq-gke-placeholder.yaml
   
3. 根据实际 AutoMQ 工作负载节点池修改 automq-gke-placeholder.yaml 中的关键参数：
   • metadata.name：建议修改为有业务含义的名称，例如 placeholder-for-automq-nodepool-a。
   • replicas：预留的 Placeholder Pod 数量。多可用区部署时，可按每个可用区 1 个 Pod 评估。
   • affinity.nodeAffinity：用于匹配 AutoMQ 工作负载节点池。GKE 上常用 cloud.google.com/gke-nodepool 匹配节点池名称，也可以用 node.kubernetes.io/instance-type 匹配节点机型。
   • resources：limits 可按节点规格配置，requests 建议略小于节点规格，避免 Placeholder 自身无法调度。
4. 应用 Placeholder Deployment。
   kubectl apply -f automq-gke-placeholder.yaml
   
5. 检查 Placeholder Pod 是否运行在预期节点池。
   kubectl get pods -l app=low-priority-placeholder -o wide