Skip to main content

使用限制

为了避免生产环境中因行为定义不明确而导致各种特殊异常,AutoMQ for Kafka 对产品范围内的参数、配额和行为等做出部分约束和规范。用户在使用过程中需要注意不要打破约束,如有事实情况不满足,请及时提工单寻求帮助。

参数类限制

以下参数中各资源的命名及备注类限制值不支持调整,请严格按照规范设置,避免因出现特殊字符或长度超限导致系统处理异常。关于 AutoMQ for Kafka 产品内定义的参数限制,大部分定义源自 Apache Kafka,AutoMQ Cloud 针对部分参数的约束说明参考如下文。

实例级配置

参数项
限制值
说明
log.retention.ms
消息保存时长
  • 默认值:7 天
  • 限制范围:1 小时 ~ 60 天
  • 可以自定义修改
消息保存时长背后影响了存储空间的消耗和成本,建议业务合理评估。如有不满足,请获取人工服务▸ 寻求帮助。
message.max.bytes
消息大小上限
  • 限制值: 20MB
  • 不支持自定义修改
如果当前参数限制不满足需求,请获取人工服务▸ 寻求帮助。
offsets.retention.minutes
消费进度保存时长
  • 限制值: 7 天
  • 不支持自定义修改
fetch.max.bytes
单次拉取数据上限
  • 限制值: 55 MB
  • 不支持自定义修改
单分区写入吞吐上限
  • 限制值: 10 MBps
  • 不支持自定义修改
单分区读写吞吐存在限制,建议应用使用不同的消息 key 将读写压力分摊到不同的分区上,避免分区热点。请获取人工服务▸ 寻求帮助。
单分区读取吞吐上限
  • 限制值: 10 MBps
  • 不支持自定义修改
auto.create.topics.enable
自动创建 Topic 开关
  • 默认值:true
  • 限制范围:true/false
  • 可以自定义修改
自动创建 Topic 开关建议关闭,通过管控系统和 Admin API 管理所有的 topic,避免topic 无法管理。
num.partitions
默认创建 Topic 分区数
  • 默认值:1
  • 限制范围:1~1024
  • 可以自定义修改
默认创建 Topic 分区数在使用自动创建 Topic 时使用,建议在集群粒度合理设置,避免自动创建 Topic 消耗过多的分区数额度。

Topic 级配置

参数项
限制值
说明
compression.type
  • 默认值:producer
  • 限制值:
    • Zstd
    • lz4
    • Producer
    • Uncompressed
    • Snappy
    • gzip
      • 支持自定义修改
设置 Topic 的最终压缩类型。该配置支持('gzip', 'snappy', 'lz4', 'zstd');除上述配置选项还支持 'uncompressed',相当于没有压缩;'producer'配置值指的是保留生产者配置的压缩类型。
cleanup.policy
消息清理策略
  • 默认值:delete
  • 限制范围:
    • delete:按照保留的时间定期清理最早的消息。
    • compact:按照消息的 key 定期合并消息,只保留最新版本。
      • 可以自定义修改
大部分业务场景推荐使用 delete 类型,仅在保留状态数据的场景使用 compact 类型。
retention.ms
  • 默认值:7 天
  • 限制值: 1 小时 ~ 60 天
  • 支持自定义修改
设置 topic 自定义消息保存时长,仅针对清理策略为 delete 类型的 topic 有效,该配置会覆盖集群默认的配置。
max.message.bytes
  • 默认值:1 MiB
  • 限制值: 0 B ~ 50 MiB
  • 支持自定义修改
设置当前 Topic 允许的record batch 大小上限,发送超过该限制的消息将被拒绝。
message.timestamp.type
  • 默认值:CreateTime
  • 限制值:
    • LogAppendTime
    • CreateTime
      • 可以自定义修改
定义消息中的时间戳是消息创建时间还是日志追加时间。该值应该是' create time '或' log append time '。
retention.bytes
  • 默认值:-1
  • 支持自定义修改
针对 delete 类型清理策略的 topic 生效,控制每个分区数据保留的空间上限。默认情况下,没有大小限制,只有时间限制。此限制是在分区级别,因此将其乘以分区数量以计算 topic 级别的保留空间。该配置会覆盖集群默认配置。
delete.retention.ms
  • 默认值:1 天
  • 限制值: 0 小时 ~ 60 天
  • 支持自定义修改
设置 为 Compact 类型 Topic 保留删除墓碑标记的时间,仅针对 Compact 类型 Topic 生效。该配置约定了消费者必须在此时间内读取消息才有可能获取最后的有效快照,否则消费者将可能读取到不完整的数据。
Topic 命名
  • 字符限制:仅支持字母a~z或A~Z、数字0~9、下划线(_)中划线(-)和点(.)。
  • 长度限制:1~250个字符。
  • 其他限制:不允许下划线(_)开头。
无。
Topic 备注
  • 字符限制:仅支持中文、字母a~z或A~Z、数字0~9和下划线(_)。
  • 长度限制:1~256个字符。

资源配额限制

AutoMQ Cloud 基于大规模生产环境的运维经验考虑,对产品内部分性能指标和参数做了初始约束,大部分情况下默认约束范围都是满足需求的,如有特殊情况不满足,请及时提工单寻求帮助。

限制项
限制值
说明
单实例(集群)计算规格
6vCPU ~ 20vCPU,提供如下能力:
  • 写吞吐:240MBps~800MBps
  • 读吞吐:240MBps~800MBps
实例计算规格代表了单个实例(集群)收发消息处理的吞吐能力上限。
如有更大规模集群诉求,请获取人工服务▸ 申请开放高规格限制。
单实例 Topic 数量上限
由创建实例的计算规格决定,具体参考规格限制BYOC 计费说明▸
从安全性和稳定性考虑,建议将不同业务拆分到不同实例中,避免所有业务集中在单个实例中。
单实例(集群)分区数上限
单实例(集群)请求 QPS 上限

产品行为限制

AutoMQ Kafka 基于十多年专业运维经验,对开源产品项目中部分高风险运维操作和部分功能进行了适当限制。主要表现在如下方面,如果有使用不满足的场景,请及时通过获取人工服务▸ 寻求帮助。

限制项
限制说明
Apache Kafka 版本兼容性
  • 结论:AutoMQ Kafka 兼容 Apache Kafka 0.9.x ~ 3.7.x 版本。
  • 说明:如果当前使用的版本早于上述版本,建议先升级版本。如果需要更新的版本,请参考获取人工服务▸ 联系我们。
Apache Kafka 生态组件
  • 结论:AutoMQ Kafka 100% 兼容 Apache Kafka,但商业版目前暂无提供相关生态组件的托管服务,包括如下组件:
    • KStreams
    • Connector
    • KSQL
    • Schema Registry
      • 说明:如果当前使用了生态组件,可以继续使用自建方案连接到 AutoMQ Kafka 集群。