Skip to main content
AutoMQ Connect 使用两类资源。Connect Cluster 提供 Kafka Connect Worker 运行时和计算容量；Connector 定义运行在 Connect Cluster 上的 Source 或 Sink 数据集成工作负载。

​
前置条件

开始前，请准备以下资源：
  • 一个运行中的 AutoMQ 实例。
  • Kafka 凭证，并为 Connector 使用的 Topic 和 Consumer Group 授予所需权限。更多信息，请参见管理 Kafka ACL。
  • Source 或 Sink 外部系统及其访问凭证。
  • Connect Cluster Worker 使用的 Kubernetes 集群、Namespace 和 ServiceAccount。在 AWS 上，需要将 ServiceAccount 与 IAM Role 关联，并为该 Role 授予访问 Ops Bucket 以及插件所需其他 AWS 资源的权限。EKS 准备方法请参见部署到 Amazon EKS。
仅授予工作负载所需的权限。Sink Connector 需要 Kafka Topic 和 Consumer Group 的读取权限；Source Connector 需要目标 Topic 的写入权限。

​
创建 Connect Cluster

  1. 登录 AutoMQ 控制台。
  2. 在导航栏中选择 Kafka Connect，选择 Connect Clusters 页签，然后选择 Create Connect Cluster。
  3. 配置 Connect Cluster 参数。
  1. 检查配置并选择 Create。Connect Cluster 状态变为 Running 后，再创建 Connector。
确保所选 Kubernetes 节点池具有足够的可分配 CPU 和内存，以满足 Worker 数量和 Worker Tier 的资源需求。

​
创建 Connector

  1. 在 Kafka Connect 中选择 Connectors 页签，然后选择 Create Connector。
  2. 配置 Connector 参数。
  1. 输入插件配置。可用时使用结构化表单，也可以在自定义模式中输入键值对属性。
  2. 检查所有参数并选择 Create。

​
管理 Connector

打开 Connector 详情页面可查看状态、Task、指标和日志。您可以修改插件支持的属性和 Task 数量，并执行以下生命周期操作：
  • Pause： 暂停数据处理，但不删除 Connector。
  • Resume： 恢复已暂停的 Connector。
  • Restart： 重启 Connector 及其 Task，以从错误中恢复或应用支持的运行时变更。
Worker 数量、Worker Tier、Kubernetes 调度位置、已安装插件和 Prometheus Remote Write 属于 Connect Cluster 配置，应在 Connect Cluster 上修改，而不是在单个 Connector 上修改。

​
删除 Connector

在 Connectors 页签中找到目标 Connector，选择 Delete，然后确认操作。
删除 Connector 后不能撤销。确认操作前，请核对 Connector 名称。