使用限制
为了避免生产环境中因行为定义不明确而导致各种特殊异常,AutoMQ for Kafka 对产品范围内的参数、配额和行为等做出部分约束和规范。用户在使用过程中需要注意不要打破约束,如有事实情况不满足,请及时提工单寻求帮助。
参数类限制
以下参数中各资源的命名及备注类限制值不支持调整,请严格按照规范设置,避免因出现特殊字符或长度超限导致系统处理异常。关于 AutoMQ for Kafka 产品内定义的参数限制,大部分定义源自 Apache Kafka,AutoMQ Cloud 针对部分参数的约束说明参考如下文。
实例级配置
参数项 | 限制值 | 说明 |
---|---|---|
log.retention.ms 消息保存时长 |
| 消息保存时长背后影响了存储空间的消耗和成本,建议业务合理评估。如有不满足,请获取人工服务▸ 寻求帮助。 |
message.max.bytes 消息大小上限 |
| 如果当前参数限制不满足需求,请获取人工服务▸ 寻求帮助。 |
offsets.retention.minutes 消费进度保存时长 |
| |
fetch.max.bytes 单次拉取数据上限 |
| |
单分区写入吞吐上限 |
| 单分区读写吞吐存在限制,建议应用使用不同的消息 key 将读写压力分摊到不同的分区上,避免分区热点。请获取人工服务▸ 寻求帮助。 |
单分区读取吞吐上限 |
| |
auto.create.topics.enable 自动创建 Topic 开关 |
| 自动创建 Topic 开关建议关闭,通过管控系统和 Admin API 管理所有的 topic,避免topic 无法管理。 |
num.partitions 默认创建 Topic 分区数 |
| 默认创建 Topic 分区数在使用自动创建 Topic 时使用,建议在集群粒度合理设置,避免自动创建 Topic 消耗过多的分区数额度。 |
Topic 级配置
参数项 | 限制值 | 说明 |
---|---|---|
compression.type |
| 设置 Topic 的最终压缩类型。该配置支持('gzip', 'snappy', 'lz4', 'zstd');除上述配置选项还支持 'uncompressed',相当于没有压缩;'producer'配置值指的是保留生产者配置的压缩类型。 |
cleanup.policy 消息清理策略 |
| 大部分业务场景推荐使用 delete 类型,仅在保留状态数据的场景使用 compact 类型。 |
retention.ms |
| 设置 topic 自定义消息保存时长,仅针对清理策略为 delete 类型的 topic 有效,该配置会覆盖集群默认的配置。 |
max.message.bytes |
| 设置当前 Topic 允许的record batch 大小上限,发送超过该限制的消息将被拒绝。 |
message.timestamp.type |
| 定义消息中的时间戳是消息创建时间还是日志追加时间。该值应该是' create time '或' log append time '。 |
retention.bytes |
| 针对 delete 类型清理策略的 topic 生效,控制每个分区数据保留的空间上限。默认情况下,没有大小限制,只有时间限制。此限制是在分区级别,因此将其乘以分区数量以计算 topic 级别的保留空间。该配置会覆盖集群默认配置。 |
delete.retention.ms |
| 设置 为 Compact 类型 Topic 保留删除墓碑标记的时间,仅针对 Compact 类型 Topic 生效。该配置约定了消费者必须在此时间内读取消息才有可能获取最后的有效快照,否则消费者将可能读取到不完整的数据。 |
Topic 命名 |
| 无。 |
Topic 备注 |
|
资源配额限制
AutoMQ Cloud 基于大规模生产环境的运维经验考虑,对产品内部分性能指标和参数做了初始约束,大部分情况下默认约束范围都是满足需求的,如有特殊情况不满足,请及时提工单寻求帮助。
限制项 | 限制值 | 说明 |
---|---|---|
单实例(集群)计算规格 | 6vCPU ~ 20vCPU,提供如下能力:
| 实例计算规格代表了单个实例(集群)收发消息处理的吞吐能力上限。 如有更大规模集群诉求,请获取人工服务▸ 申请开放高规格限制。 |
单实例 Topic 数量上限 | 由创建实例的计算规格决定,具体参考规格限制BYOC 计费说明▸ 。 | 从安全性和稳定性考虑,建议将不同业务拆分到不同实例中,避免所有业务集中在单个实例中。 |
单实例(集群)分区数上限 | ||
单实例(集群)请求 QPS 上限 |
产品行为限制
AutoMQ Kafka 基于十多年专业运维经验,对开源产品项目中部分高风险运维操作和部分功能进行了适当限制。主要表现在如下方面,如果有使用不满足的场景,请及时通过获取人工服务▸ 寻求帮助。
限制项 | 限制说明 |
---|---|
Apache Kafka 版本兼容性 |
|
Apache Kafka 生态组件 |
|