Skip to main content
Kafka Connect 是 Apache Kafka 社区提供的数据集成框架，用于在 Apache Kafka 和其他数据系统之间流式传输数据。AutoMQ BYOC 提供全托管的 Kafka Connect 服务，用户无需自行部署和运维 Connect 框架即可运行这些集成任务。 AutoMQ 兼容 Apache Kafka 协议以及 Kafka Connect 标准的 Worker、插件和 Connector 模型。现有 Kafka 客户端、Connector 实现和运维方式通常无需改造即可复用。部署前仍需查看每个插件的前置条件和兼容性说明，因为外部系统和插件依赖仍然适用。 用户可以在 AutoMQ 控制台或通过 Terraform 创建 Connect Cluster 和 Connector，AutoMQ 会负责创建 Connect Worker 和 Connector Task。Worker 以可替换的 Pod 运行在用户指定 VPC 内的 EKS 集群中，使集成流量保留在用户网络内，同时可以独立管理 Worker 计算容量和 Kafka 数据存储。 AutoMQ 底层数据面采用基于云原生 Shared Storage 的架构，Broker 保持无状态。Kafka 持久化数据保留在共享存储中，Broker 计算节点可以独立替换或扩展；Connect Worker 也以可替换的 Kubernetes Pod 运行，遵循相同的云原生运维方式。
  • 网络位置：AutoMQ Connect 运行在用户 VPC 内的 EKS（Amazon Elastic Kubernetes Service）集群中。Connect Worker Pod 可以直接访问同一 VPC 内的 RDS、Redis 等资源，无需额外经过公网网络路径。
  • 云原生 Worker 架构：Worker 计算资源可以替换并独立扩展。Connect Cluster 负责配置 Worker 数量、Worker Tier 和 Kubernetes 调度位置；上线前应针对具体插件验证资源需求和隔离要求。

​
推荐操作流程

  1. 进入管理插件，选择 Connect Cluster 使用的 Managed 或自定义插件版本。
  2. 按照管理 Connector中的步骤创建 Connect Cluster，再创建 Connector。
  3. 如果 Worker 部署在 AWS 上，请参考 AutoMQ on EKS 部署指南 准备 Kubernetes 资源。