步骤一:使用 AMI 镜像安装环境
参考概述▸ ,使用AutoMQ Cloud 需要先安装环境。本文介绍如何在 AWS 公有云环境直接使用 AMI 镜像创建 BYOC 环境。
本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指安托盟丘(杭州)科技有限公司。
前提条件
条件一:依赖云产品
在 AWS 上创建 BYOC 环境,需要用户的 AWS 账号可以访问如下云产品,否则将无法使用。
EC2,AutoMQ Kafka 使用EC2 实例 部署计算节点。
S3 对象存储,AutoMQ Kafka 使用 S3 对象存储来存储数据。
Route 53,AutoMQ Kafka 使用 Route 53 提供 Kafka 集群在 VPC 内的接入点域名解析。
条件二:云账号操作权限
创建 BYOC 环境,需要操作的云账号为主账号 或者是已经被授权相关操作权限的 IAM 子账号 。如果当前操作 AWS 控制台使用了 IAM 子账号,需要先授权再进行服务开通操作。相关的授权策略和云产品列表如下:
AmazonVPCFullAccess:管理专有网络 VPC 的权限。
AmazonEC2FullAccess:管理 EC2 产品的权限。
AmazonS3FullAccess:管理对象存储 S3 的权限。
AmazonRoute53FullAccess:管理 Route 53 服务的权限。
上述权限策略均为 AWS 推荐的默认系统策略模板,实际授权时用户可根据自身的管理习惯缩小范围实现精细化授权。
操作流程
AutoMQ Cloud BYOC 环境安装包在 AWS 上通过共享 AMI 镜像提供分发,用户可以在创建 EC2 实例时选择 AutoMQ 提供的 AMI 镜像,实现安装环境。
AutoMQ Cloud BYOC 环境当前支持在 AWS 以下地域:新加坡、欧洲(法兰克福)创建。
步骤 1:获取安装镜像
安装镜像由 AutoMQ 提供分发和维护。用户在 AWS 安装环境前参考获取人工服务▸联系 AutoMQ 工作人员,并提供 AWS 账号 ID。AutoMQ 工作人员会将镜像分享到用户账号下。
用户可以访问 AWS AMI 目录页面查看当前被分享的镜像列表,具体的明细如下:
地域 | 镜像信息 | 版本描述 |
---|---|---|
新加坡 |
|
|
新加坡 |
|
|
美东东部(弗吉尼亚北部) |
|
|
美东东部(弗吉尼亚北部) |
|
|
步骤 2:初始化 VPC 网络
BYOC 环境需要安装到用户 VPC 网络内,因此需要确认当前是否已经有一个可用的 VPC 网络。建议将 AutoMQ 部署到和应用相同的 VPC 网络内,避免跨网络传输。
AutoMQ 对 VPC 网络存在如下要求和约束:
VPC 配置 S3 终端节点(必须): AutoMQ 使用 S3 作为消息存储介质,数据节点访问 S3 建议通过 S3 终端节点内网访问,可以避免流量费用。
VPC 配置支持公网访问(可选): BYOC 环境控制台是一个 Web 系统,在本地浏览器环境访问环境控制台时可以配置从公网访问。如果企业办公网环境已经通过 VPN 专线连接到 VPC,则可以不开启公网访问。
情况 1:创建一个新的 VPC 网络
对于新业务测试场景,如果当前还没有可用的 VPC 网络,可以参考上述对 VPC 网络的约束创建一个新的 VPC 网络,操作如下:
- 使用 AWS 云账号登录 VPC 控制台,以新加坡地域为例,访问 VPC 控制台,点击创建 VPC。
快捷创建 VPC 时,可以选择同时创建 VPC 等资源,确认选择如下选项,并点击创建:
VPC 名称:设置 VPC 名称为自定义名称。
CIDR:设置合理的 CIDR 网段。
可用区:建议根据业务部署情况选择 1-3 个。
公网配置:如果需要从公网访问 AutoMQ 环境控制台则需要配置。
VPC 终端节点:务必确保打开配置,创建 S3 网关。
DNS 选项:确保启用 DNS 主机名和 DNS 解析,后续 Kafka 集群接入点将依赖 DNS 服务提供域名解析。
- 在 当前 VPC 内创建 EC2 Endpoint,方便后续 AutoMQ 数据节点通过 VPC 私网访问 EC2 API。
创建 EC2 接入点时,需要注意以下配置项:
服务类型:选择 AWS 服务。
VPC:选择当前需要部署 AutoMQ 的 VPC。
可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。
安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口。
AutoMQ 集群运行需要通过 VPC 内网访问 EC2 API,因此创建 EC2 Endpoint 时需要确保可用区子网配置以及安全组配置务必完整,否则会导致 AutoMQ 集群无法启动。
必须覆盖所有计划部署 AutoMQ 集群的子网和可用区,不能遗漏可能的子网。
安全组规则必须确保 443 端口和访问来源畅通,建议允许通过0.0.0.0/0 来源。
- 完成 VPC 创建后,记录当前 VPC 的名称,后续安装部署环境到当前 VPC。
情况 2:配置已有 VPC 网络
如果当前生产环境已经有一个可用的 VPC 网络,且应用已经部署在当前 VPC,则需要将 AutoMQ 环境安装到已有的 VPC 网络。此时仍然需要按照约束检查当前 VPC 的配置是否满足。
- 访问已有 VPC 网络,点击详情,查看 VPC 配置。
- 确认当前 VPC 网络已经配置开启 DNS。
- 确认当前 VPC 已经创建 S3 网关型终端节点,如果没有 S3 终端节点,则需要创建。
- 创建 S3 终端节点(如果上一步没有配置)。
需要注意的是,创建 S3 终端节点时,添加路由表时,务必将当前 VPC 下所有可能部署 Kafka 集群的子网全部覆盖,否则后续 Kafka 集群将无法通过内网访问 S3 服务。
- 在 当前 VPC 内创建 EC2 Endpoint,方便后续数据节点通过私网访问 EC2 API。
创建 EC2 接入点时,需要注意以下配置项:
服务类型:选择 AWS 服务。
VPC:选择当前需要部署 AutoMQ 的 VPC。
可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。
安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口。
步骤 3:启动 EC2 实例安装环境
在 VPC 网络已经配置完成的情况下,可以前往 EC2 控制台启动 EC2 实例安装环境。AutoMQ 环境控制台使用 AMI 镜像进行安装部署。
AutoMQ 环境控制台需要一台 2c4g50GB 的 EC2 实例进行安装部署。推荐使用
前往 EC2 控制台,前往实例列表,点击启动新实例。
镜像选择: 选择我的 AMI->与我分享- >选中 AutoMQ 环境控制台镜像。
实例类型: 建议至少选择 2vCPU4GiB 规格的实例,此处以t2.medium 规格为例。
网络配置: 需要选择步骤 2 的 VPC 网络,并创建一个符合条件的安全组 。
AutoMQ 建议使用独立的安全组,该安全组用来管理 AutoMQ 的环境控制台以及后续的 Kafka 集群的机器。
VPC 设置:选择上述步骤 2 的 VPC 网络。
子网设置:选择 vpc 下的子网,如果选择从公网访问控制台,则需要选择支持公网出口的子网。
分配公网 IP:如果期望以公网方式访问环境控制台,则需要打开。
安全组配置:需要配置以下端口的访问策略:
22 端口:建议 0.0.0.0/0 网段放行,用于登录机器排查问题。
8080 端口:建议 0.0.0.0/0 网段放行,该端口用来访问环境控制台 Web 页面。
9090/9092/9093/9102/9103 端口:建议 0.0.0.0/0 网段放行,该端口用来访问 Kafka 服务。
- 存储配置: AutoMQ 环境控制台机器在系统盘基础上务必需要额外配置一个 50GB 的数据卷,用于存储控制台元数据。
创建 EC2 实例时,如果不配置数据卷,控制台将无法工作和升级维护。
- 启动实例: 等待环境控制台安装启动完成,即可通过环境控制台机器的公网 IP 或者私网 IP 访问服务(http://{EC2 实例的公网 IP 或其他 IP }:8080)。默认的服务端口是 8080。
如果企业不希望直接使用 EC2 公网 IP 访问环境控制台,也可在环境控制台机器前方挂载负载均衡 LB 实例进行访问。用户也可以为 AutoMQ Cloud BYOC 控制台添加域名解析。
后续步骤
环境安装完成后,可以根据快速开始的流程完成如下配置:
步骤二:初始化环境: 环境安装完成后,首次访问环境控制台时仍然需要配置环境运行所需的权限策略、对象存储 Bucket 等配置。步骤二:初始化环境▸
体验 AutoMQ for Kafka 服务: 完成第二步环境初始化后,即可进入环境控制台创建实例,并体验产品功能。体验 AutoMQ for Kafka▸