本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指 AutoMQ HK Limited及其附属公司。
准备 VPC
您可以选择在安装 AutoMQ 时使用现有的 VPC,或者为 AutoMQ 创建一个全新的 VPC。对于生产环境,我们建议您检查并调整现有 VPC 的配置以满足 AutoMQ 的要求。对于 POC 测试,创建一个新 VPC 是更快捷的选择。VPC 要求
在 AWS 上部署 AutoMQ BYOC 环境,您的 VPC 必须满足以下条件:场景一:创建新 VPC
如果您需要为 AutoMQ 创建一个全新的 VPC,建议您使用 AWS VPC 控制台的 VPC and more 功能。- 登录到 AWS VPC 控制台。
- 在左侧导航栏中,选择 Your VPCs,然后点击 Create VPC。
- 在 VPC settings 中,选择 VPC and more。
- 在 Name tag auto-generation 部分,为您的 VPC 设置一个清晰的名称。
- 配置 IPv4 CIDR block,Number of Availability Zones,Number of public subnets 和 Number of private subnets。
- 根据您的部署需求,选择是否创建 NAT gateway(s) 和 VPC endpoints。
- NAT Gateway:如果您计划在 EKS 上部署 AutoMQ,请至少选择 1 per AZ。
- VPC Endpoints:选择 S3 Gateway,这将自动创建一个网关类型的 S3 终端节点。
- 确保 DNS options 下的 Enable DNS hostnames 和 Enable DNS resolution 均已勾选。
- 点击 Create VPC。
- 在 AWS VPC 控制台 的左侧导航栏中,选择 Endpoints。
- 点击 Create endpoint。
- Name tag:为终端节点命名。
- Service category:选择 AWS services。
- Services:搜索并选择
com.amazonaws.<region>.ec2接口服务。 - VPC:选择您刚刚创建的 VPC。
- Subnets:选择所有用于部署 AutoMQ 的内网子网。
- Security groups:选择或创建一个安全组,并添加入站规则,允许来自您的 VPC CIDR 的 HTTPS (443) 流量。
- 点击 Create endpoint。
场景二:配置现有 VPC
如果要在现有 VPC 中部署 AutoMQ,请逐一核对以下配置是否满足要求。1. 检查 DNS 配置
- 在 AWS VPC 控制台 的左侧导航栏中,选择 Your VPCs。
- 选择您的目标 VPC,然后查看 Details 标签页。
- 确认 DNS hostnames 和 DNS resolution 的值均为 Enabled。如果不是,请点击 Actions -> Edit VPC settings 进行修改。
2. 检查 S3 终端节点
- 在 AWS VPC 控制台 的左侧导航栏中,选择 Endpoints。
- 搜索并检查是否存在一个类型为 Gateway 的 S3 终端节点(服务名称为
com.amazonaws.<region>.s3)已关联到您的 VPC。 - 如果不存在,请点击 Create endpoint 创建一个。
- 创建时,请确保其路由表(Route tables)关联了所有将用于部署 AutoMQ 的内网子网。
3. 检查 EC2 终端节点
- 在 Endpoints 页面,继续搜索并检查是否存在一个类型为 Interface 的 EC2 终端节点(服务名称为
com.amazonaws.<region>.ec2)已关联到您的 VPC。 - 如果不存在,请点击 Create endpoint 创建一个。
- Subnets:确保选择了所有将用于部署 AutoMQ 的内网子网。
- Security groups:选择或创建一个安全组,并添加入站规则,允许来自您的 VPC CIDR 的 HTTPS (443) 流量。
- Enable DNS name:务必勾选 Enable DNS name,开启 Private DNS 解析,以确保 AutoMQ 组件能够通过私有 DNS 名称正确访问 EC2 API。
准备 Private DNS(可选)
AutoMQ 集群通过 Private DNS 对应用暴露服务地址,这依赖于 VPC 内的私有域名解析,因此需要配置 Private DNS 来提供可靠的域名解析服务。您可以选择由 AutoMQ 控制台自动创建 Private DNS Zone 或者参考下方教程自行准备 Private DNS Zone。Private DNS Zone 要求
配置 Private DNS 时,必须满足以下两个关键条件:配置 Private DNS 步骤
步骤 1:检查现有 Private DNS
- 登录 AWS 控制台,访问 Route53 控制台。
- 在左侧导航栏选择 Hosted zones。
- 查看是否已经存在与目标 VPC 关联的 Private DNS。
步骤 2:创建或配置 Private DNS
如果已有 Private DNS:- 选择目标 Private DNS,点击 Details。
- 确认 Type 为 Private hosted zone。
- 检查 VPCs 部分,确保包含部署 AutoMQ 的 VPC。
- 记录域名信息,用于后续 TLS 功能配置。
- 点击 Create hosted zone
- 配置基本信息:
- Domain name:输入私有域名(如:internal.example.com)。
- Type:选择 Private hosted zone。
- VPC:选择部署 AutoMQ 的 VPC 和对应区域。
- 点击 Create hosted zone。
步骤 3:验证配置
- 在 Private DNS 详情页面,确认 VPC 关联状态。
- 检查域名配置是否符合 TLS 功能规划需求。
- 记录 Private DNS 的 ID 和域名,后续安装时需要提供给 AutoMQ 组件使用。
准备集群安全组(可选)
在集群部署过程中,您可以选择使用一个预先配置好的安全组来精确控制网络访问策略。如果您选择此方式,需要预先创建一个安全组,并根据下表配置其入站规则。如果您希望简化网络配置,也可以选择在创建集群时由 AutoMQ 自动为您创建一个新的、已包含所有必需规则的安全组,在这种情况下,您无需执行本章节的操作。配置跨 VPC 访问
使用 Route 53 私有托管区域的 AutoMQ 实例,默认只能由关联到该托管区域的 VPC 解析。应用需要从其他 VPC 访问实例时,需要完成以下两项配置:- 在 AutoMQ VPC 与应用 VPC 之间建立网络连接,例如使用 VPC 对等连接或 AWS Transit Gateway,并更新相关路由表和安全组以允许 Kafka 流量。
- 将 AutoMQ 实例使用的 Route 53 私有托管区域关联到应用 VPC。
查找私有托管区域
从 AutoMQ 控制台复制实例接入地址,并确定其域名后缀。在 Route 53 控制台中选择 Hosted zones,打开匹配的私有托管区域,并记录 Hosted Zone ID。