Skip to main content

概述

本文整体介绍 AutoMQ for Kafka 产品优势和主要能力价值，后续简称为 AutoMQ Kafka。

AutoMQ for Kafka 简介​

企业在生产场景大规模应用 Apache Kafka 集群时，必然会被如下问题所困扰：

  • 成本高、膨胀快： 大数据场景往往伴随高吞吐、保存大量数据，预留磁盘，不灵活，成本高。

  • 分区迁移慢： 扩缩容需要迁移分区并搬迁历史数据，动辄数小时，期间数据冷读也会影响服务。

  • 缺乏流量重平衡 ：各节点分区和负载不同，缺乏自均衡机制，极易造成局部节点闲置或热点故障。

上述痛点归咎于 Apache Kafka 面向 IDC、存算一体 的设计思路而无法根本解决。如今，云计算已经用确定性服务 重新定义了最早的硬件和软件。此时，有必要基于云重新设计 Kafka ，充分发挥底层云产品 的服务化和无限资源池 能力，彻底解决上述成本过高、无法弹性伸缩、运维效率低下的痛点。

AutoMQ Kafka 正是基于云原生重新设计 的新一代 Kafka 发行版 。在保持和 Apache Kafka 100%兼容 前提下，AutoMQ Kafka 可以为用户提供高达 10 倍的成本优势 以及百倍的弹性优势 ，同时支持秒级分区迁移 和流量自动重平衡，解决运维痛点。

AutoMQ for Kafka 优势​

10 倍成本优化​

AutoMQ Kafka 全新云原生架构充分利用对象存储、Spot 实例 等云服务的数据高可用、弹性供给 能力，相比 Apache Kafka 为客户带来 10 倍 的成本优势 。

  • 以对象存储作为核心主存储，存储单价极大降低。

  • 单副本高可用架构，节省 2/3 的流量复制成本。

  • 充分利用 Spot 实例，结合弹性伸缩策略，降低计算成本。

稳定性提升​

Apache Kafka 在扩容后需要大量的带宽用于数据复制，无法应对突发流量。在 AutoMQ Kafka 共享存储架构中，分区的数据完全存储在 S3 上，当对集群扩容时不需要数据复制即能快速应对突发的流量洪峰。

在完全存算分离的架构基础上，AutoMQ Kafka 可以充分利用云原生的能力，通过自动扩缩容、自动流量平衡、自动故障恢复等将系统变得高度自治，告别传统人工治理的稳定性风险。

秒级分区迁移和流量自平衡​

AutoMQ Kafka 将存储状态完全分离 至对象存储服务，业务逻辑层完全无状态。集群可以在秒级时间 内完成分区迁移和流量重平衡 ，彻底解决 Apache Kafka 扩缩容重平衡慢、迁移分区困难的痛点。配合云厂商弹性伸缩组 策略，轻松实现集群自适应弹性伸缩。

100% 兼容 Apache Kafka​

区别于其他厂商重新实现 kafka 协议的做法，AutoMQ Kafka 选择存储层极小切面替换 的方式，只修改底层LogSegment 实现，上层仍然复用 Apache Kafka 各版本主要代码。AutoMQ Kafka 可以轻而易举地实现和 Apache Kafka 100% 兼容 ，并可以快速兼容新版本。

此前 AutoMQ Kafka 在兼容性方面已经完成如下认证：

  • 通过了 900+ 功能用例验证。

  • 功能范围覆盖 Apache Kafka 1000+ KIP。

  • 兼容版本 0.9.x ~ 3.4.x 版本，并且可以支持 T+1 月速度追齐社区版本。