Skip to main content

部署到 Google Cloud GKE

参考 概述▸，AutoMQ 支持部署到 K8s 上。本文介绍 AutoMQ 部署到 Google Cloud GKE 平台的安装过程。

本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ，均特指 AutoMQ HK Limited及其附属公司。

前置条件：准备 VPC 网络​

AutoMQ BYOC 环境部署在用户 VPC 内，以保障数据隐私和安全。安装 AutoMQ 环境前需要准备一个可用的 VPC。VPC 需要满足如下条件：

  • 可用区要求 ：根据业务需求，如果后续需要创建三可用区实例，则至少需要分配三个可用区和子网。

  • 子网 CIDR 要求： AutoMQ 数据面集群使用用户 VPC 部署，会消耗 VPC 子网的 IP，建议每个子网下分配充足的可用 IP（建议每个子网不低于 1000 个可用 IP），以免后续无法部署和扩容集群。

  • 访问公网要求： 部署 AutoMQ 数据面集群需要从公网环境拉取 Docker 镜像和 Helm Chart 产物。因此需要 VPC 环境支持通过 SNAT 等方式出公网。

操作流程​

步骤 1：安装 AutoMQ 环境控制台​

在 Google Cloud 上可以通过 Terraform 安装 AutoMQ 环境控制台。用户可参考使用 Terraform Module 安装环境▸文档，进行操作。

安装 AutoMQ 完成后，从 Terraform output 输出菜单获取环境控制台地址、初始用户名、密码以及 AutoMQ 所需的服务账户。该服务账户将用于步骤 2 创建 GKE 节点池。

步骤 2： 创建 GKE 集群​

参考概述▸，用户需要提前创建独立的 GKE 集群分配给 AutoMQ 使用。用户可访问Google Cloud GKE 产品控制台按下方步骤操作，也可参考 AutoMQ 提供的 Terraform 模板快速创建。

创建方式一：通过 GKE 控制台创建 CCE 集群​

  1. 登录 Google Cloud GKE 控制台。点击创建集群 。
  1. 选择集群类型为 Standard: You manage your cluster。

  1. 填写集群名称、地域信息：

    • Location Type： 选择 Regional ，这样后续可以创建三可用区的 AutoMQ 实例。

    • Target Release Channel： 建议选择稳定版本。

  1. 切换至 Networking 配置 ，选择目标 VPC 和子网 。

注意：

Google Cloud 中多个子网之间默认的 Fire Wall 策略是默认无法互通。因此建议将 GKE 和 AutoMQ 环境控制台安装在相同的子网内。

如果 GKE 和 AutoMQ 环境控制台以及 Kafka 客户端应用不在相同的子网，则需要前往 VPC 设置防火墙策略。

如需手工添加防火墙策略，建议对 AutoMQ 环境控制台所在的子网 IP 范围全部放行。端口列表为：9090，9092-9093，9102-9103，22。

  1. 修改网络配置。需要确保设置如下选项：

    1. 开启 VPC-native traffic routing 。

    2. 开启 Dataplane V2 。

  1. 切换到 NODE POOLS 配置项 ，参考以下参数修改默认节点池配置。

开启 Cluster AutoScaler。 并配置为 Balanced 类型均衡， 大小限制设置为 Total limits ，设置合适的上限（建议上限设置 50-100）。

在 Nodes 标签页中，参考概述▸配置符合 AutoMQ 要求的机型列表。

在 Security 标签页中，绑定步骤 1 安装 BYOC 环境时返回的Service Account。

  1. 检查所有配置无误后，点击下方 Create，创建 GKE 集群 。

  2. GKE 集群创建完成后，复制集群 Name 。用于步骤 3 配置使用。

  1. 查看 GKE 集群列表找到集群，对该集群添加 Tag，用于约定后续 AutoMQ 控制台的管理权限。

AutoMQ 控制台仅支持管理包含 automqAssigned: automq 的 GKE 集群。因此，需要对 GKE 集群添加上述标签。

步骤 3： 进入环境控制台，配置 K8s 集群信息​

首次进入 AutoMQ BYOC 控制台，需要配置 K8s 集群信息后才可正常使用。按照控制台指引页面填写步骤 2 创建的 GKE 集群 Name ，完成环境初始化。

注意：

如果 AutoMQ 环境控制台（Kafka 客户端应用）和 GKE 集群 部署在不同的 VPC 子网 ，则需要用户前往 VPC 防火墙页面添加通行规则。否则因网络不通，会影响实例的创建和使用。

添加的防火墙策略，建议将环境控制台所在的子网 IP 来源全部放行。端口列表为：9090，9092-9093，9102-9103，22。