Skip to main content

步骤一:使用 AMI 镜像安装环境

参考概述▸ ,使用AutoMQ Cloud 需要先安装环境。本文介绍如何在 AWS 公有云环境直接使用 AMI 镜像创建 BYOC 环境。

本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指安托盟丘(杭州)科技有限公司。

前提条件

条件一:依赖云产品

在 AWS 上创建 BYOC 环境,需要用户的 AWS 账号可以访问如下云产品,否则将无法使用。

  1. EC2,AutoMQ Kafka 使用EC2 实例 部署计算节点。

  2. S3 对象存储,AutoMQ Kafka 使用 S3 对象存储来存储数据。

  3. Route 53,AutoMQ Kafka 使用 Route 53 提供 Kafka 集群在 VPC 内的接入点域名解析。

条件二:云账号操作权限

创建 BYOC 环境,需要操作的云账号为主账号 或者是已经被授权相关操作权限的 IAM 子账号 。如果当前操作 AWS 控制台使用了 IAM 子账号,需要先授权再进行服务开通操作。相关的授权策略和云产品列表如下:

  • AmazonVPCFullAccess:管理专有网络 VPC 的权限。

  • AmazonEC2FullAccess:管理 EC2 产品的权限。

  • AmazonS3FullAccess:管理对象存储 S3 的权限。

  • AmazonRoute53FullAccess:管理 Route 53 服务的权限。

上述权限策略均为 AWS 推荐的默认系统策略模板,实际授权时用户可根据自身的管理习惯缩小范围实现精细化授权。

操作流程

AutoMQ Cloud BYOC 环境安装包在 AWS 上通过共享 AMI 镜像提供分发,用户可以在创建 EC2 实例时选择 AutoMQ 提供的 AMI 镜像,实现安装环境。

AutoMQ Cloud BYOC 环境当前支持在 AWS 以下地域:新加坡、欧洲(法兰克福)创建。

步骤 1:获取安装镜像

安装镜像由 AutoMQ 提供分发和维护。用户在 AWS 安装环境前参考获取人工服务▸联系 AutoMQ 工作人员,并提供 AWS 账号 ID。AutoMQ 工作人员会将镜像分享到用户账号下。

用户可以访问 AWS AMI 目录页面查看当前被分享的镜像列表,具体的明细如下:

地域
镜像信息
版本描述
新加坡
  • 名称:automq-control-center-1.1.0-beta_linux_amd64
  • 镜像描述:AutoMQ 环境控制台镜像
  • 版本:1.1.0-beta
新加坡
  • 名称:automq-linux-aws-amd64-1.0.11-2024-Jun-05-13.43
  • 镜像描述:AutoMQ 数据节点镜像
  • 版本:1.0.11-beta
美东东部(弗吉尼亚北部)
  • 名称:automq-control-center-1.1.0-beta_linux_amd64
  • 镜像描述:AutoMQ 环境控制台镜像
  • 版本:1.1.0-beta
美东东部(弗吉尼亚北部)
  • 名称:automq-linux-aws-amd64-1.0.11-2024-Jun-05-13.43
  • 镜像描述:AutoMQ 数据节点镜像
  • 版本:1.0.11-beta

步骤 2:初始化 VPC 网络

BYOC 环境需要安装到用户 VPC 网络内,因此需要确认当前是否已经有一个可用的 VPC 网络。建议将 AutoMQ 部署到和应用相同的 VPC 网络内,避免跨网络传输。

AutoMQ 对 VPC 网络存在如下要求和约束:

  1. VPC 配置 S3 终端节点(必须): AutoMQ 使用 S3 作为消息存储介质,数据节点访问 S3 建议通过 S3 终端节点内网访问,可以避免流量费用。

  2. VPC 配置支持公网访问(可选): BYOC 环境控制台是一个 Web 系统,在本地浏览器环境访问环境控制台时可以配置从公网访问。如果企业办公网环境已经通过 VPN 专线连接到 VPC,则可以不开启公网访问。

情况 1:创建一个新的 VPC 网络

对于新业务测试场景,如果当前还没有可用的 VPC 网络,可以参考上述对 VPC 网络的约束创建一个新的 VPC 网络,操作如下:

  1. 使用 AWS 云账号登录 VPC 控制台,以新加坡地域为例,访问 VPC 控制台,点击创建 VPC。
  1. 快捷创建 VPC 时,可以选择同时创建 VPC 等资源,确认选择如下选项,并点击创建:

    1. VPC 名称:设置 VPC 名称为自定义名称。

    2. CIDR:设置合理的 CIDR 网段。

    3. 可用区:建议根据业务部署情况选择 1-3 个。

    4. 公网配置:如果需要从公网访问 AutoMQ 环境控制台则需要配置。

    5. VPC 终端节点:务必确保打开配置,创建 S3 网关。

    6. DNS 选项:确保启用 DNS 主机名和 DNS 解析,后续 Kafka 集群接入点将依赖 DNS 服务提供域名解析。

  1. 在 当前 VPC 内创建 EC2 Endpoint,方便后续 AutoMQ 数据节点通过 VPC 私网访问 EC2 API。

创建 EC2 接入点时,需要注意以下配置项:

  1. 服务类型:选择 AWS 服务。

  2. VPC:选择当前需要部署 AutoMQ 的 VPC。

  3. 可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。

  4. 安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口。

AutoMQ 集群运行需要通过 VPC 内网访问 EC2 API,因此创建 EC2 Endpoint 时需要确保可用区子网配置以及安全组配置务必完整,否则会导致 AutoMQ 集群无法启动。

必须覆盖所有计划部署 AutoMQ 集群的子网和可用区,不能遗漏可能的子网。

安全组规则必须确保 443 端口和访问来源畅通,建议允许通过0.0.0.0/0 来源。

  1. 完成 VPC 创建后,记录当前 VPC 的名称,后续安装部署环境到当前 VPC。

情况 2:配置已有 VPC 网络

如果当前生产环境已经有一个可用的 VPC 网络,且应用已经部署在当前 VPC,则需要将 AutoMQ 环境安装到已有的 VPC 网络。此时仍然需要按照约束检查当前 VPC 的配置是否满足。

  1. 访问已有 VPC 网络,点击详情,查看 VPC 配置。
  1. 确认当前 VPC 网络已经配置开启 DNS。
  1. 确认当前 VPC 已经创建 S3 网关型终端节点,如果没有 S3 终端节点,则需要创建。
  1. 创建 S3 终端节点(如果上一步没有配置)。

需要注意的是,创建 S3 终端节点时,添加路由表时,务必将当前 VPC 下所有可能部署 Kafka 集群的子网全部覆盖,否则后续 Kafka 集群将无法通过内网访问 S3 服务。

  1. 在 当前 VPC 内创建 EC2 Endpoint,方便后续数据节点通过私网访问 EC2 API。

创建 EC2 接入点时,需要注意以下配置项:

  1. 服务类型:选择 AWS 服务。

  2. VPC:选择当前需要部署 AutoMQ 的 VPC。

  3. 可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。

  4. 安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口。

步骤 3:启动 EC2 实例安装环境

在 VPC 网络已经配置完成的情况下,可以前往 EC2 控制台启动 EC2 实例安装环境。AutoMQ 环境控制台使用 AMI 镜像进行安装部署。

AutoMQ 环境控制台需要一台 2c4g50GB 的 EC2 实例进行安装部署。推荐使用

  1. 前往 EC2 控制台,前往实例列表,点击启动新实例。

  2. 镜像选择: 选择我的 AMI->与我分享- >选中 AutoMQ 环境控制台镜像。

  1. 实例类型: 建议至少选择 2vCPU4GiB 规格的实例,此处以t2.medium 规格为例。

  2. 网络配置: 需要选择步骤 2 的 VPC 网络,并创建一个符合条件的安全组

    AutoMQ 建议使用独立的安全组,该安全组用来管理 AutoMQ 的环境控制台以及后续的 Kafka 集群的机器。

  • VPC 设置:选择上述步骤 2 的 VPC 网络。

  • 子网设置:选择 vpc 下的子网,如果选择从公网访问控制台,则需要选择支持公网出口的子网。

  • 分配公网 IP:如果期望以公网方式访问环境控制台,则需要打开。

  • 安全组配置:需要配置以下端口的访问策略:

    • 22 端口:建议 0.0.0.0/0 网段放行,用于登录机器排查问题。

    • 8080 端口:建议 0.0.0.0/0 网段放行,该端口用来访问环境控制台 Web 页面。

    • 9090/9092/9093/9102/9103 端口:建议 0.0.0.0/0 网段放行,该端口用来访问 Kafka 服务。

  1. 存储配置: AutoMQ 环境控制台机器在系统盘基础上务必需要额外配置一个 50GB 的数据卷,用于存储控制台元数据。

创建 EC2 实例时,如果不配置数据卷,控制台将无法工作和升级维护。

  1. 启动实例: 等待环境控制台安装启动完成,即可通过环境控制台机器的公网 IP 或者私网 IP 访问服务(http://{EC2 实例的公网 IP 或其他 IP }:8080)。默认的服务端口是 8080。

如果企业不希望直接使用 EC2 公网 IP 访问环境控制台,也可在环境控制台机器前方挂载负载均衡 LB 实例进行访问。用户也可以为 AutoMQ Cloud BYOC 控制台添加域名解析。

后续步骤

环境安装完成后,可以根据快速开始的流程完成如下配置:

  • 步骤二:初始化环境: 环境安装完成后,首次访问环境控制台时仍然需要配置环境运行所需的权限策略、对象存储 Bucket 等配置。步骤二:初始化环境▸

  • 体验 AutoMQ for Kafka 服务: 完成第二步环境初始化后,即可进入环境控制台创建实例,并体验产品功能。体验 AutoMQ for Kafka▸