关于 AutoMQ
AutoMQ 是完全兼容 Apache Kafka 的云原生流处理平台。基于对象存储（S3）构建，相比自建 Kafka，AutoMQ 可提供高达 10 倍的成本优势和秒级弹性伸缩能力。为什么需要 AutoMQ
Apache Kafka 诞生于十多年前，为本地数据中心而设计。那个时代，磁盘与服务器物理绑定，硬件故障是常态。为此，Kafka 采用了经典的 Shared Nothing 架构：每个 Broker 独立管理本地存储，通过多节点数据复制来保障持久性和可用性。在当时的基础设施条件下，这是最佳选择。 然而，云的出现彻底改变了规则。 云环境下，计算与存储天然解耦。以 AWS S3 为代表的对象存储服务提供 11 个 9（99.999999999%）的持久性保障和生产级 SLA。存储不再是需要担心的问题，而是一种托管的、近乎无限的资源。但当 Kafka 被直接搬迁到云上时，它依然把云存储当作不可靠的本地磁盘，继续在 Broker 之间进行多副本复制。结果就是：在已经高可靠的云存储之上叠加冗余复制，白白消耗计算、存储和网络资源。 Kafka 是数据流处理领域的事实标准，是现代数据基础设施的基石。这样一项关键技术，理应拥有为云而生的架构，而不只是跑在云上。这就是我们打造 AutoMQ 的初衷。设计理念
重写存储，保留计算
AutoMQ 并非从头重写 Kafka。十多年的发展，Kafka 已经拥有成熟稳定的计算层：完善的 API 体系、复杂的协议处理逻辑、经过海量生产环境验证的可靠性。全部重写既不现实，也没必要。 问题的根源在存储。Kafka 的 Shared Nothing 存储架构是为不可靠的本地磁盘设计的，这正是它在云上效率低下的症结所在。我们的策略很明确：只替换存储层，完整保留计算层。 这一策略带来：- 100% Kafka API 兼容——所有客户端、所有协议版本，无缝对接
- 100% 生态兼容——Kafka Connect、Kafka Streams、Schema Registry、MirrorMaker 开箱即用
- 平滑迁移——现有业务无需改动代码即可迁移
S3 优先的无盘架构
我们选择 S3 作为 AutoMQ 的存储底座。S3 是云上规模最大的存储服务，规模本身就是优势：规模带来弹性、按量计费和极致的成本效益。 S3 的规模：- 全球存储超过 500 万亿个对象
- 峰值流量处理能力超过 1 PB/s
- 成本仅为块存储的 1/10
- 全球覆盖——所有区域、所有主流云厂商，通过标准 HTTP 协议访问
面向云的成本模型
真正的云原生，是按照云的方式来设计系统，而不是把传统软件搬到云虚拟机上运行。 AutoMQ 围绕云的核心能力构建：- 持久性交给云存储——依托 S3 的 11 个 9，而非应用层多副本
- 编排交给云 API——自动伸缩、故障恢复、资源管理全部自动化
- 成本模型对齐云——支持 Spot 实例、按量付费、无需过度预留
核心优势
运维大幅简化
自建 Kafka 的运维负担很重：磁盘配置、容量规划、手动分区重平衡、7×24 小时监控磁盘故障。这些工作占用大量人力，也是 On-Call 告警的主要来源。 AutoMQ 的无状态架构从根本上消除了这些问题：- 告别磁盘管理——Broker 本地不存数据，无需操心磁盘配置、RAID 和容量规划
- 故障自动恢复——Broker 宕机后，新节点秒级接管，无需人工介入
- 集群自动平衡——节点增减时，分区自动重新分布
秒级弹性伸缩
自建 Kafka 扩容是个老大难问题。新增 Broker 会触发分区重分配，需要跨网络复制海量数据，耗时数小时甚至数天。更麻烦的是，复制流量会挤占生产带宽，在最需要扩容的时候反而可能拖垮集群。 AutoMQ 的数据全部存在 S3，扩缩容根本不需要迁移数据：- 分区秒级迁移——传统 Kafka 要几小时的操作，AutoMQ 几秒搞定
- 容量随需调整——流量高峰加节点，低谷减节点
- 原生对接云弹性——与云厂商 Auto Scaling 无缝集成，全自动管理容量
成本降低 10 倍
相比自建 Kafka，AutoMQ 可将总体拥有成本降低 10 倍：- 存储成本降 90%——S3 价格约为 EBS 的十分之一，且无需 3 副本冗余
- 跨可用区流量归零——共享存储架构彻底消除多 AZ 部署的跨区流量费用
- 用多少付多少——低峰期自动缩容，不再为峰值预留资源
下一步
准备开始体验？推荐从这里入手：- Docker 部署多节点测试集群 — 几分钟快速上手
- 技术架构 — 深入了解 AutoMQ 的实现原理
- 与 Apache Kafka 的区别 — 详细对比分析