Skip to main content

准备 VPC

AutoMQ Cloud BYOC 环境的所有组件部署在用户 VPC 内，以确保数据隐私和安全。安装 AutoMQ 之前需要提前准备 VPC 。本文介绍如何在 AWS 公有云上创建 AutoMQ 需要的 VPC。

本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ，均特指 AutoMQ HK Limited及其附属公司。

VPC 要求​

对于 POC 测试场景，推荐创建一个全新的 VPC，并在新的 VPC 内部署 AutoMQ 以及测试程序；对于生产场景，往往已经存在了已有的 VPC，此时应该检查该 VPC 是否满足 AutoMQ 的安装要求，并做相应的变更调整。

安装 AutoMQ BYOC 环境，需要在 AWS 上提供 VPC，并满足如下条件：

VPC 检查项
说明
公网子网：1 个
  • 公网子网用于部署 AutoMQ BYOC 环境控制台。环境控制台提供 WebUI，用户需要通过公网环境访问环境控制台。
内网子网：1 个或 3 个
  • 内网子网用于部署 AutoMQ 数据面集群。
  • AutoMQ 支持单可用区部署和三可用区部署 ，每个可用区需要一个子网。
S3 终端节点：1 个
  • AutoMQ 各组件通过 S3 终端节点，使用内网访问 S3，避免公网传输。
  • S3 终端节点创建在 VPC 层面，终端节点路由表需要覆盖所有内网子网 。
EC2 终端节点：1 个
  • AutoMQ 各组件通过 EC2 终端节点，使用内网访问 EC2、ASG API。
  • EC2 终端节点创建在 VPC 层面，生效范围需要覆盖所有内网子网 。
DNS 主机名和解析：开启
  • AutoMQ 通过 Route53 分配 VPC 内网 DNS 解析。因此 VPC 需要开启 DNS 主机名和 DNS 解析。

前提条件​

创建 BYOC 环境，需要操作的云账号为主账号 或者是已经被授权相关操作权限的 IAM 子账号 。如果当前操作 AWS 控制台使用了 IAM 子账号，需要先授权再进行服务开通操作。相关的授权策略和云产品列表如下：

  • AmazonVPCFullAccess：管理专有网络 VPC 的权限。

  • AmazonS3FullAccess：管理对象存储 S3 的权限。

  • AmazonRoute53FullAccess：管理 Route 53 服务的权限。

上述权限策略均为 AWS 推荐的默认系统策略模板，实际授权时用户可根据自身的管理习惯缩小范围实现精细化授权。

场景一：创建一个新的 VPC​

当前如果没有可用的 VPC 资源，或者在 POC测试场景，希望用一个全新的 VPC 时，可以参考下方文档创建新的 VPC。

操作流程​

步骤 1：创建 VPC 并开启 S3 终端节点​

使用 AWS 云账号登录 VPC 控制台，以新加坡地域为例，访问 VPC 控制台，点击创建 VPC。

快捷创建 VPC 时，可以选择同时创建 VPC 等资源，确认选择如下选项，并点击创建：

  1. VPC 名称：设置 VPC 名称为自定义名称。

  2. CIDR：设置合理的 CIDR 网段。

  3. 可用区：建议根据业务部署情况选择 1-3 个。

  4. 公网配置：如果需要从公网访问 AutoMQ 环境控制台则需要配置。

  5. VPC 终端节点：务必确保打开配置，创建 S3 网关。

  6. DNS 选项：确保启用 DNS 主机名和 DNS 解析，后续 Kafka 集群接入点将依赖 DNS 服务提供域名解析。

步骤 2：创建 EC2 终端节点​

在当前 VPC 内创建 EC2 Endpoint，方便后续 AutoMQ 数据节点通过 VPC 私网访问 EC2 API。

创建 EC2 接入点时，需要注意以下配置项：

  1. 服务类型：选择 AWS 服务。

  2. VPC：选择当前需要部署 AutoMQ 的 VPC。

  3. 可用区和子网：选择所有需要部署 AutoMQ 的可用区以及子网。

  4. 安全组：建议创建一个新的安全组，并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口 。

    AutoMQ 集群运行需要通过 VPC 内网访问 EC2 API，因此创建 EC2 Endpoint 时需要确保可用区子网配置以及安全组配置务必完整，否则会导致 AutoMQ 集群无法启动。

    必须覆盖所有计划部署 AutoMQ 集群的子网和可用区，不能遗漏可能的子网。

    安全组规则必须确保 443 端口和访问来源畅通，建议允许通过0.0.0.0/0 来源。

场景二：配置已有 VPC​

如果当前生产环境已经有一个可用的 VPC 网络，且应用已经部署在当前 VPC，则需要将 AutoMQ 环境安装到已有的 VPC 网络。此时仍然需要按照约束检查当前 VPC 的配置是否满足。

操作流程​

步骤 1：检查并开启 DNS 配置​

访问已有 VPC 网络，点击详情，查看 VPC 配置。

确认当前 VPC 网络已经配置开启 DNS。

步骤 2：检查并创建 S3 终端节点​

确认当前 VPC 是否已经创建 S3 网关型终端节点，如果没有 S3 终端节点，则需要创建。

创建 S3 终端节点（如果上一步没有配置）。

需要注意的是，创建 S3 终端节点时，添加路由表时，务必将当前 VPC 下所有可能部署 Kafka 集群的子网全部覆盖，否则后续 Kafka 集群将无法通过内网访问 S3 服务。

步骤 3：检查并创建 EC2 终端节点​

在当前 VPC 内检查并创建 EC2 Endpoint，方便后续数据节点通过私网访问 EC2 API。

创建 EC2 接入点时，需要注意以下配置项：

  1. 服务类型：选择 AWS 服务。

  2. VPC：选择当前需要部署 AutoMQ 的 VPC。

  3. 可用区和子网：选择所有需要部署 AutoMQ 的可用区以及子网。

  4. 安全组：建议创建一个新的安全组，并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口 。

后续步骤​

在完成 VPC 网络的准备后，即可开始安装 AutoMQ BYOC 环境。在 AWS 上，AutoMQ 支持通过以下两种方式安装：