> ## Documentation Index
> Fetch the complete documentation index at: https://docs.automq.com/llms.txt
> Use this file to discover all available pages before exploring further.
# 实施迁移方案
> 从 Apache Kafka 迁移到 AutoMQ：无需丢失消息数据且维护消费进度。同样保证生产者和消费者的流畅过渡，实现高效的数据迁移。
完成[前置条件梳理▸](/zh/automq-cloud/migrate-to-automq/prerequisites)的情况下，可以进行后续的迁移流程。本文详细介绍从 Apache Kafka 迁移到 AutoMQ 的方案以及实施流程。
## 迁移方案
使用 Kafka Linking 从 Apache Kafka 迁移到 AutoMQ，主要考虑如下工作：
* **消息数据同步** ：Kafka 存储了历史已消费和未消费的消息数据，迁移集群需要保证消息数据按需复制到新集群，不能丢失消息。
* **生产者切换：** 迁移工作除去数据同步，还需要在合适的时机切换生产者应用，使生产者连接目标集群生产新的消息。
* **消费者切换：** 迁移工作除去数据同步，还需要在合适的时机切换消费者应用，使消费者连接目标集群接续之前的消费进度继续消费消息。
整体迁移方案参考下图的流程：
## 操作步骤
### 步骤 1：创建 Kafka Link，开始同步数据
在完成[前置条件梳理▸](/zh/automq-cloud/migrate-to-automq/prerequisites)后，已经明确当前需要迁移的源集群、目标集群、Topic、ConsumerGroup 范围，接下来开始创建迁移任务。
创建**Kafka Link** ，前点击**目标实例 >> Kafka Links** ，按照指引填写相关参数。
| **参数名称**
| **参数说明**
|
| ------------------------------ | ------------------------------------------------------------------------------------------------------------------------------------------------ |
| **Kafka Link Id**
| - 含义：用来表示一组迁移任务，一般建议简短、易识别的名称。
- 约束：仅支持英文大小写字母、数字、中划线（-）、下划线（\_）
|
| **源集群**
| 指定需要迁移的源集群，此处填写源集群的 Bootstrap 地址、ACL 身份识别参数。
|
| **目标集群**
| 指定迁移的目标集群，此处选择已经创建的 AutoMQ 实例。
|
| **起始同步位置**
| 指定迁移任务启动后同步消息的起始位置。支持如下选项：
- **从最新位置：** Kafka Linking 只复制接下来产生的新消息到目标集群。该模式适合对冷读敏感，希望从当前时刻开始追齐两端集群的迁移场景。
|
| **同步 Topic 列表**
| 从源集群选择若干个 Source Topic，Kafka Linking 会在目标实例创建一一映射的 Mirror Topic。
如果目标实例已经存在当前 Topic，则无法创建该 Mirror Topic。
|
| **同步 Consumer Group 列表**
| 从源集群选择若干个 Consumer Group，Kafka Linking 会在目标实例创建一一映射的 Consumer Group。
|
选择目标 topic 和 Consumer Group。
3. 创建完成后，可以进入 Kafka Link 详情，查看指定的 Topic 和 Group 都已经进入**同步中** 状态。Kafka Link 创建完成后，同样支持添加新的 Topic、Consumer Group。可以按需添加待迁移的业务资源。
如果在 Kafka Link 中删除 Mirror Topic、Consumer Group ，会从目标集群（AutoMQ 实例）中删除对应的 Topic 和 Consumer Group。此操作无法撤销，后续只能重新创建。
### 步骤 2：切换生产者和消费者，执行迁移流程
当 Kafka Link 创建完成后，用户需要修改 Topic 的 Producer、Consumer 配置，将 Producer 和 Consumer 从源集群切换到目标集群，其主要包含以下三类操作：
* **生产者切流：** 更新生产者的接入参数，使其指向目标集群。
* **消费者切流：** 更新消费者的接入参数，使其指向目标集群。
* **提升 Mirror Topic 状态** ：在 AutoMQ 控制台选择 Mirror Topic 进行状态提升，提升操作本质上是控制 Kafka Linking 组件不再代理 Producer 写流量以及从源集群复制数据。
具体 Producer 和 Consumer 切流的操作步骤参考下方阶段：
#### 阶段一：**Producer 切换到目标集群**
迁移过程，首先切换 Producer 的接入配置，使 Producer 连接到目标集群（ AutoMQ 实例）。切换过程的流量拓扑如下图所示：
**操作步骤：**
* Producer 分批次修改接入参数重启应用，使生产流量切换到目标的 AutoMQ 实例。
**预期效果：**
* 生产流量分批次 Rolling 目标实例，预期生产流量不停机、无影响。
* 源集群的消费者继续消费所有的消息，无影响。
* 源集群消息会通过 Replicate 任务同步到 AutoMQ。
**回滚操作：**
* 生产者回滚配置，切换回源集群即可。
#### 阶段二：**Consumer 切换到目标集群**
第二阶段执行切换 Consumer 的接入配置，使 Consumer 连接到目标集群（ AutoMQ 实例）。切换过程的流量拓扑如下图所示：
**操作步骤：**
* Consumer 分批次修改接入参数重启应用，连接到 AutoMQ 实例。
* Kafka Linking 自动判断 Consumer Group 切流完成，并自动提升 Consumer Group，是 Consumer 从新集群继续消费。
**切换 Consumer 之前，应满足以下条件**
确保 Consumer 的消费位点大于等于 AutoMQ 实例上当前 Topic 已同步消息的最小位点，以免切换后部分消息无法消费。
举例：源集群 Consumer 消费 Partition X 的消费位点为 100，AutoMQ 实例 Partition X 的最小位点小于等于 100，则可以切换，否则应继续等待直到满足条件。
**预期效果：**
* 生产流量仍然维持上一阶段的状态，继续代理回源集群并同步到目标集群。
* Consumer Group 会继续源集群的消费位点，继续消费，不受影响。
**回滚操作：**
* Consumer 回滚配置，切换回源集群即可。
因源集群的消费位点不会自动更新，回滚前建议先重置位点，否则可能会产生消费重复。
#### 阶段三：**提升 Mirror Topic 状态**
在确保所有的 Producer 和 Consumer 都已经完成切换并且符合预期后，即可提升 Mirror Topic 的状态，停止写流量代理和同步。
**操作步骤：**
* 在 Consumer 切换完成后，建议观察一段时间，确保 Producer、Consumer 应用运行符合预期。
* 确认符合预期后，在 AutoMQ 控制台，点击提升 Mirror Topic，停止流量代理和复制。
**提升 Mirror Topic** 之前务必确保以下条件：
所有 Producer 已经切换完成。
所有 Consumer Group 已经切换完成。
**预期效果：**
* Mirror Topic 的读写全部集中在目标集群，不再代理回源集群。
**回滚操作：**
* Mirror Topic 提升后目标集群的消息数据多于源集群，此时回滚需要注意消息数据不一致。
### 步骤 3： 迁移完成，删除 Kafka Link
当步骤 2 中 Kafka Link 内所有的 Mirror Topic 都已经完成迁移和提升后，迁移任务已经完成，可以删除 Kafka Link。
