Metrics
本文将介绍 AutoMQ 的可观测指标定义,帮助你更好地了解 AutoMQ 的性能和运行状况。
AutoMQ 的指标采用 Prometheus 格式定义和展示,如有其他协议格式需求,需要自行转换。
通用指标
kafka_server_connection_count
节点当前建立的连接数。
- Type: Gauge
kafka_network_threads_idle_rate
Kafka SocketServer 网络线程的空闲率,范围:[0, 1.0]。
- Type: Gauge
kafka_io_threads_idle_time_nanoseconds_total
Kafka request handler 线程空闲时间,该指标为 Apache Kafka 原生指标 RequestHandlerAvgIdlePercent 的累计值,单位为纳秒,通过对时间(纳秒)求导可得线程空闲率。注意,当所在节点为组合节点(即同时作为 Controller 和 Broker)时,由于 Controller 和 Broker 分别拥有各自的 request handler,此时该指标为 Controller 和 Broker 的合计值,通过求导得出的线程空闲率最大值为 2.0。
- Type: Counter
Controller 指标
kafka_controller_active_count
用于表示当前 Controller 节点是否为 active Controller,指标值等于 1 表示为 active,0 表示非 active。
- Type: Gauge
kafka_broker_active_count
当前集群的活跃 Broker 数量。
- Type: Gauge
kafka_broker_fenced_count
当前集群被 fence 的 Broker 数量。
- Type: Gauge
kafka_topic_count
当前集群 Topic 总数。
- Type: Gauge
kafka_partition_total_count
当前集群分区总数。
- Type: Gauge
kafka_partition_offline_count
当前集群无主分区总数。
- Type: Gauge
kafka_stream_auto_balancer_metrics_time_delay_milliseconds
集群内各 Broker 节点上报 AutoBalancer 监控指标的延迟时间,延迟时间超过一定阈值时,该 Broker 节点即被 AutoBalancer 视为 out-of-sync 节点,不再参与 AutoBalancer 的分区调度。
Type: Gauge
Labels:
- node_id:上报 AutoBalancer 监控指标的节点 id
kafka_stream_s3_object_count
当前集群上传至对象存储的 Object 总数,按 Object 状态分类。
Type: Gauge
Labels:
state:Object 状态,分以下三类:
prepared:还未完成写入,未被 commit 的对象
committed:已完成写入并被 commit 的对象
mark_destroyed:被标记为删除的对象,在延迟一定时间后,对象将被从对象存储中删除
kafka_stream_s3_object_size_bytes
当前集群上传至对象存储的 Object 总大小。
- Type: Gauge
kafka_stream_stream_object_num
当前集群上传至对象存储的 StreamObject 数量。
- Type: Gauge
kafka_stream_stream_set_object_num
当前集群各 Broker 上传至对象存储的 StreamSetObject 数量。
Type: Gauge
Labels:
- node_id:对应的 Broker 节点 id
Broker 指标
kafka_message_count_total
Broker 节点收到的消息总数,对时间求导可得消息数量吞吐。
Type: Counter
Labels:
- topic
kafka_network_io_bytes_total
Broker 节点收到和发出的消息大小总量,对时间求导可得消息大小吞吐。
Type: Counter
Labels:
topic
partition
direction:
in: 表示收消息
out: 表示发消息
kafka_topic_request_count_total
Broker 节点上各 Topic 收到的请求总数,仅包含 produce 和 fetch 两种类型请求。
Type: Counter
Labels:
topic
type:请求类型
produce
fetch
kafka_topic_request_failed_total
Broker 节点上各 Topic 的请求失败总数,仅包含 produce 和 fetch 两种类型请求。
Type: Counter
Labels:
topic
type:请求类型
produce
fetch
kafka_request_count_total
Broker 节点收到的请求总数。
Type: Counter
Labels:
type:请求类型
version:该类型请求的 Api Version
kafka_request_error_count_total
Broker 节点的请求失败总数,注意,即使成功的请求也会计入该指标内,成功请求的 error code 为 NONE。
Type: Counter
Labels:
type:请求类型
error:error code,NONE 表示该请求成功
kafka_request_size_bytes_total
Broker 节点收到的请求大小总和。
Type: Counter
Labels:
- type:请求类型
kafka_request_size_50p(99p/mean/max)_bytes
Broker 节点收到的请求大小,按不同分位数表示。
Type: Gauge
Labels:
- type:请求类型
kafka_request_time_milliseconds_total
Broker 节点处理请求的耗时总和。
Type: Counter
Labels:
- type:请求类型
kafka_request_time_50p(99p/mean/max)_milliseconds
Broker 节点处理请求的耗时,按不同分位数表示。
Type: Gauge
Labels:
- type:请求类型
kafka_request_queue_time_milliseconds_total
Broker 节点请求排队时间总和,当 Kafka IO 线程繁忙时,会导致请求排队时间上升。
Type: Counter
Labels:
- type:请求类型
kafka_request_queue_time_50p(99p/mean/max)_milliseconds
Broker 节点请求排队时间,按不同分位数表示。
Type: Gauge
Labels:
- type:请求类型
kafka_response_queue_time_milliseconds_total
Broker 节点的响应排队时间,当 Kafka Network 线程繁忙时,会导致响应排队时间上升。
Type: Counter
Labels:
- type:请求类型
kafka_response_queue_time_50p(99p/mean/max)_milliseconds
Broker 节点响应排队时间,按不同分位数表示。
Type: Gauge
Labels:
- type:请求类型
kafka_request_queue_size
Broker 节点的请求队列大小。
- Type: Gauge
kafka_response_queue_size
Broker 节点的响应队列大小。
- Type: Gauge
kafka_purgatory_size
Broker 节点上等待 producer 或 fetch purgatory 的请求数量。
Type: Gauge
Labels:
type:
Produce
Fetch
kafka_partition_count
Broker 节点当前分配的分区数量。
- Type: Gauge
kafka_logs_flush_time_50p(99p/mean/max)_milliseconds
Broker 节点的日志刷盘时间,在 AutoMQ 中,表示 Delta WAL 的刷盘时间,按不同分位数表示。
- Type: Gauge
kafka_log_end_offset
Broker 节点上各个分区的最大逻辑位点。
Type: Gauge
Labels:
topic
partition
kafka_log_size
Broker 节点上各个分区的消息大小。
Type: Gauge
Labels:
topic
partition
kafka_group_commit_offset
各 Consumer Group 在对应分区上的消费位点,注意,该指标由各 Consumer Group 对应的 Group Coordinator 所在的 Broker 上报 。
Type: Gauge
Labels:
consumer_group
topic
partition
kafka_group_count
各 Group Coordinator 所在 Broker 节点负责管理的 Consumer Group 数量。
- Type: Gauge
kafka_group_preparing_rebalance_count
正在准备进行 rebalance 的 Consumer Group 数量。
- Type: Gauge
kafka_group_completing_rebalance_count
正在等待 Leader 进行状态分配的 Consumer Group 数量。
- Type: Gauge
kafka_group_stable_count
Stable 状态的 Consumer Group 数量。
- Type: Gauge
kafka_group_empty_count
无任何成员但还未过期的 Consumer Group 数量。
- Type: Gauge
kafka_group_dead_count
无任何成员,且 metadata 已被移除的 Consumer Group 数量。
- Type: Gauge
kafka_stream_upload_size_bytes_total
Broker 节点上传至对象存储的数据总大小。
- Type: Counter
kafka_stream_download_size_bytes_total
Broker 节点从对象存储下载的数据总大小。
- Type: Counter
kafka_stream_network_inbound_usage_bytes_total
Broker 节点的总入带宽用量,包括接收消息,和从对象存储下载的数据量,对时间求导可得入流量吞吐。
- Type: Counter
kafka_stream_network_outbound_usage_bytes_total
Broker 节点的总出带宽用量,包括消费消息,和上传至对象存储的数据量,对时间求导可得出流量吞吐。
- Type: Counter
kafka_stream_network_inbound_available_bandwidth_bytes
Broker 节点预留给冷读和 Compaction 的入流量吞吐,当该值小于冷读和 Compaction 的入流量需求时,其对应的请求将被置入限流队列排队,正常消息收发流量不受该限流影响。注意,该指标值仅代表采样时的瞬时值,受限于采样间隔和限流策略的具体实现,该指标值仅供参考使用。
- Type: Gauge
kafka_stream_network_outbound_available_bandwidth_bytes
Broker 节点预留给冷读和 Compaction 的出流量吞吐,当该值小于冷读和 Compaction 的出流量需求时,其对应的请求将被置入限流队列排队,正常消息收发流量不受该限流影响。注意,该指标值仅代表采样时的瞬时值,受限于采样间隔和限流策略的具体实现,该指标值仅供参考使用。
- Type: Gauge
kafka_stream_network_inbound_limiter_queue_time_50p(99p/mean/max)_nanoseconds
冷读和 Compaction 的入流量请求得到执行时,其在限流队列中的排队时间。
- Type: Gauge
kafka_stream_network_outbound_limiter_queue_time_50p(99p/mean/max)_nanoseconds
冷读和 Compaction 的出流量请求得到执行时,其在限流队列中的排队时间。
- Type: Gauge
kafka_stream_operation_latency_50p(99p/mean/max)_nanoseconds
AutoMQ S3Stream 模块各阶段的操作耗时。
Type: Gauge
Labels:
operation_type
operation_name