Skip to main content

管理集成

使用AutoMQ Cloud 产品的过程中,用户可以通过集成功能实现环境内的实例和外部系统之间的数据交换。本文介绍集成功能的使用。

本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指安托盟丘(杭州)科技有限公司。

集成类型

AutoMQ Cloud 目前支持如下集成功能:

集成类型
数据类型
适用场景
Prometheus OTLP
  • Metrics 数据
  • 场景:AutoMQ Kafka 实例实时产生的 Metrics 数据可以通过集成功能传输到用户自定义的 Prometheus 服务中,实现后续自定义的可观测大盘以及监控告警功能。
  • 约束:用户需要提供 Prometheus 服务,支持通过 OpenTelemetry 协议写入 Metrics,并保证网络连通。
Apache Kafka
  • Kafka 消息
  • 场景:AutoMQ 支持从外部 Apache Kafka 集成迁移数据,将外部 kafka 集群迁移到 AutoMQ 实例。
  • 约束:用户提供的 Apache Kafka 源集群需要正常工作,并保证网络畅通。
CloudWatch
  • Metrics 数据
  • 场景:AutoMQ Kafka 实例实时产生的 Metrics 数据可以通过集成功能写入到用户 AWS CloudWatch 服务中,实现后续自定义的可观测大盘以及监控告警功能。
  • 约束:仅限 AWS 云环境。

创建 Prometheus 集成

前提条件

AutoMQ Cloud 的 Prometheus 集成功能的原理是,集群中各数据节点直接将 Metrics 数据通过 OpenTelemetry 协议写入到 Prometheus 的 HTTP 接口中。因此,需要用户提供的 Prometheus 服务兼容 OT 协议。

集成到自建 Prometheus 服务

参考 Prometheus 的版本说明,该功能需要用户的 Prometheus 服务满足如下条件:

  • Prometheus 版本至少为 2.47。

  • 集群部署时,需要在启动命令中开启配置 “--enable-feature=otlp-write-receiver”。

配置示例:

启动 Prometheus 服务:./prometheus --config.file=xxxx.yml --enable-feature=otlp-write-receiver

当使用自建 Prometheus 服务时,需将 OTLP endpoint 设置为:http://${your_ip}:9090/api/v1/otlp/v1/metrics

如果用户自建 Prometheus 服务是基于 VictoriaMetrics 商业版服务,需要确保 VictoriaMetrics 的版本至少为 1.92.0,并按照相关文档配置接入点

集成到云厂商 Prometheus 服务

如果用户使用公共云厂商提供的商业版本,建议咨询云厂商技术人员。以阿里云为例,阿里云 Prometheus 服务提供开箱即用的 OT 协议支持,参考OT 协议上报数据文档

操作步骤

用户创建 Prometheus 集成,参考如下步骤操作:

  1. 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
取值示例
集成名称
填写有区分度的集成配置项的别名,具体限制参考使用限制▸
集成类型
选择 Prometheus 服务
Prometheus OpenTelemetry写入接口
AutoMQ Cloud 环境使用 OpenTelemetry 协议,将环境内各实例的 Metrics 数据直接写入到用户指定的 Prometheus 集群。需要用户提供该协议接口。
用户名
如果 Prometheus 服务开启了 ACL 鉴权,需要配置用户名。
密码
如果 Prometheus 服务开启了 ACL 鉴权,需要配置密码。
  1. 前往实例详情页,引用集成配置。 针对需要配置集成的实例,前往对应的实例详情页面,引用第一步创建的集成项,实现配置启用,后续即可观察 Prometheus 服务中是否有上报数据。

AutoMQ Cloud 提供的 Metrics 数据定义请参考Prometheus 监控&报警▸

创建 Apache Kafka 集成

前提条件

AutoMQ Cloud 的 Apache Kafka 集成功能的原理是通过 Kafka Connector 组件连接外部 Kafka 集群(包括其他 Kafka 兼容版本),实现消息等数据的实时同步和迁移。因此需要保证:

  • 外部 Apache Kafka 集群版本大于 0.9.x。

  • 外部 Kafka 集群和 AutoMQ 所在网络畅通。

操作步骤

用户创建 Apache Kafka 集成,参考如下步骤操作:

  1. 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
取值示例
集成名称
填写有区分度的集成配置项的别名,具体限制参考使用限制▸
集成类型
选择 Apache Kafka 服务

如果源集群是云厂商托管 Kafka 或者其他 Kafka 发行版,同样支持。

接入协议
访问外部 Kafka 集群的客户端接入协议。当前支持:
  • PLAINTEXT:使用非认证通道访问外部 Kafka 集群。

创建 CloudWatch 集成

前提条件

AutoMQ Cloud 的 CloudWatch 集成功能的原理是通过 CloudWatch 的 API 将 AutoMQ 集群的 Metrics 数据写入到用户指定的 CloudWatch Namespace 中。

操作步骤

用户创建 CloudWatch 集成,参考如下步骤操作:

  1. 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
取值示例
集成名称
填写有区分度的集成配置项的别名,具体限制参考使用限制▸
集成类型
选择 CloudWatch 服务
Namespace
遵循 CloudWatch 的命名规范,填写自定义 Namespace。Metrics 数据将写入指定的 Namespace 中。