对象存储配置

AutoMQ 是基于云原生理念重新设计的 Kafka 发行版，充分利用了对象存储云服务。可以基于各主流云厂商对象存储或者存储软件构建存储层。

对象存储 URI 构建

URI 是 AutoMQ 用于表示写入对象存储的唯一标识，遵循一定规范来屏蔽不通对象存储服务商的差异。 URI 的组成分为： s3 代表具体的协议； xxx_bucket 代表具体的 bucket； region 、 endpoint 用于不同厂商定位 bucket的辅助参数。最终替换 Linux 主机部署多节点集群▸ 配置模版中 global.config 、 global.envs 中的变量生成最终配置文件。

提供商	类型	URI示例
AWS	云商	s3://xxx_bucket?region=us-east-1
AWS-CN	云商	s3://xxx_bucket?region=cn-northwest-1&endpoint=https://s3.amazonaws.com.cn
ALIYUN	云商	s3://xxx_bucket?region=oss-cn-shanghai&endpoint=https://oss-cn-shanghai.aliyuncs.com
OCI	云商	s3://xxx_bucket?region=us-ashburn-1&endpoint=https://xxx_namespace.compat.objectstorage.us-ashburn-1.oraclecloud.com&pathStyle=true
CEPH	存储软件	s3://xxx_bucket?region=us-west-2&endpoint=http://127.0.0.1:80
CubeFS	存储软件	s3://xxx_bucket?region=us-west-2&endpoint=http://10.1.0.240:17410
MinIO	存储软件	s3://xxx_bucket?region=us-west-2&pathStyle=true&endpoint=http://10.1.0.240:9000

如果配置 s3.wal.path 还可在 URI 上按需增加 batchInterval 、 maxBytesInBatch 参数项，分别控制提交的间隔时间和一批最大字节数，默认 batchInterval=250 毫秒， maxBytesInBatch=8388608 字节。

云上对象存储配置

建议参考 Policy 和 Endpoint & Region 链接，查阅 AWS 文档，获取更多 IAM 和 S3 的详细配置说明。

生产环境中，建议 IAM Policy 授权范围精确到具体的 Bucket，以避免预期之外的授权。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:AbortMultipartUpload",
                "s3:DeleteObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "*"
            ]
        }
    ]
}

建议参考 Policy 和 Endpoint & Region 链接，查阅阿里云文档，获取更多 RAM 和 OSS 的详细配置说明。

生产环境中，建议 RAM Policy 授权范围精确到具体的 Bucket，以避免预期之外的授权。

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "oss:PutObject",
                "oss:AbortMultipartUpload",
                "oss:GetObject",
                "oss:DeleteObject"
            ],
            "Resource": [
                "acs:oss:*:*:automq-data",
                "acs:oss:*:*:automq-ops"
            ]
        }
    ]
}

建议查阅官方网站以获取更多详细信息。建议参考 Policy 、Detailed Policy 和 Endpoint & Region 链接，查阅 OCI 文档，获取更多 IAM 和 Object Storage 的详细配置说明。

Allow group 'AutoMQ PoC' to manage objects in tenancy where any {target.bucket.name='automq-data', target.bucket.name='automq-ops'}

存储软件配置

如果您期望在私有数据中心部署 AutoMQ，也可以通过 MinIO、Ceph、CubeFS 等支持 S3 协议的存储软件提供对象存储服务。

关于 AutoMQ

快速开始

部署

迁移

可观测

技术架构

Table Topic

消除跨可用区数据传输

生态集成

配置

版本

测试报告

引用

对象存储 URI 构建

云上对象存储配置

存储软件配置

​对象存储 URI 构建

​云上对象存储配置

​存储软件配置

对象存储 URI 构建

云上对象存储配置

存储软件配置