CloudCanal
CloudCanal 是一款全自研、可视化、自动化的数据迁移、同步工具，支持 30+ 款流行关系型数据库、实时数仓、消息中间件、缓存数据库和搜索引擎之间的数据互通，具备实时高效、精确互联、稳定可拓展、一站式、混合部署、复杂数据转换等优点。
功能说明
CloudCanal 提供可视化的界面，可轻松实现数据的结构迁移、全量迁移、增量同步、校验与订正等，此外还可通过设置参数，完成更多精细化、自定义的数据同步配置。目前支持从以下数据源集成数据到 Doris。
| 源端数据源 | 结构迁移 | 全量迁移 | 增量同步 | 校验订正 |
|---|---|---|---|---|
| MySQL/MariaDB/AuroraMySQL | 支持 | 支持 | 支持 | 支持 |
| Oracle | 支持 | 支持 | 支持 | 支持 |
| PostgreSQL/AuroraPostgreSQL | 支持 | 支持 | 支持 | 支持 |
| SQL Server | 支持 | 支持 | 支持 | 支持 |
| Kafka | 不支持 | 不支持 | 支持 | 不支持 |
| AutoMQ | 不支持 | 不支持 | 支持 | 不支持 |
| TiDB | 支持 | 支持 | 支持 | 支持 |
| Hana | 支持 | 支持 | 支持 | 支持 |
| PolarDB-X | 支持 | 支持 | 支持 | 支持 |
信息
更多功能及参数设置，请参考 CloudCanal 数据链路说明。
下载安装
请参考 全新安装(Docker Linux/MacOS)，前往 CloudCanal 官网 下载安装私有部署版本。
使用示例
以下以 MySQL 为例，演示如何实现 MySQL 到 Doris 的数据迁移同步。
添加数据源
-
登录 CloudCanal 控制台，点击 数据源管理 > 新增数据源。
-
分别选择 MySQL 和 Doris 数据源，并填写相应信息。
-
点击 测试连接，连接成功后，点击 新增数据源，完成数据源添加。
创建任务
-
点击 同步任务 > 创建任务。
-
选择源和目标数据源，并分别点击 测试连接。
-
选择 数据同步 并勾选 全量初始化。
-
选择需要同步的表。
-
选择需要同步的列。
-
确认创建任务。
-
任务自动运行。CloudCanal 会自动进行任务流转，其中的步骤包括：
- 结构迁移: 将源端的表结构迁移到对端，如果同名表在对端已存在，则忽略。
- 全量数据迁移: 已存在的存量数据将会完整迁移到对端，支持断点续传。
- 增量数据同步: 增量数据将会持续地同步到对端数据库，并且保持实时（秒级别延迟）。
