CloudCanal
CloudCanal представляет собой инструмент собственной разработки для автоматизированной миграции и синхронизации данных с визуальным интерфейсом. Он поддерживает обмен данными между более чем 30 популярными реляционными базами данных, хранилищами данных реального времени, промежуточным ПО для обмена сообщениями, базами данных для кэширования и поисковыми системами. Он обеспечивает эффективную работу в реальном времени, точную интеграцию, стабильность и масштабируемость, управление всеми операциями в одном месте, гибридное развёртывание и сложные преобразования данных.
Описание возможностей
CloudCanal предоставляет визуальный интерфейс, который упрощает миграцию схемы, полную миграцию данных, инкрементальную синхронизацию, а также проверку и исправление данных. Кроме того, с помощью параметров можно более точно настроить синхронизацию данных под свои требования. В настоящее время поддерживается интеграция следующих источников данных с Doris.
| Источник данных | Миграция схемы | Полная миграция | Инкрементальная синхронизация | Проверка и исправление |
|---|---|---|---|---|
| MySQL/MariaDB/AuroraMySQL | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| Oracle | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| PostgreSQL/AuroraPostgreSQL | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| SQL Server | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| Kafka | Не поддерживается | Не поддерживается | Поддерживается | Не поддерживается |
| AutoMQ | Не поддерживается | Не поддерживается | Поддерживается | Не поддерживается |
| TiDB | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| Hana | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
| PolarDB-X | Поддерживается | Поддерживается | Поддерживается | Поддерживается |
Подробнее о возможностях и настройке параметров см. в документации по связям между источниками данных в CloudCanal.
Скачивание и установка
Ознакомьтесь с инструкцией Установка с нуля (Docker Linux/MacOS) и посетите официальный сайт CloudCanal, чтобы скачать и установить версию для развёртывания в собственной инфраструктуре.
Пример использования
В следующем примере показано, как перенести и синхронизировать данные из MySQL в Doris.
Добавление источника данных
-
Войдите в консоль CloudCanal и нажмите Управление источниками данных > Добавить источник данных.
-
Поочерёдно выберите источники данных MySQL и Doris и заполните соответствующие поля.
-
Нажмите Проверить подключение. После успешного подключения нажмите Добавить источник данных, чтобы завершить добавление источника данных.
Создание задачи
-
Нажмите Задача синхронизации > Создать задачу.
-
Выберите исходный и целевой источники данных и для каждого нажмите Проверить подключение.
-
Выберите Синхронизация данных и установите флажок Полная инициализация.
-
Выберите таблицы для синхронизации.
-
Выберите столбцы для синхронизации.
-
Подтвердите создание задачи.
-
Задача запускается автоматически. CloudCanal автоматически выполняет следующие этапы задачи:
- Миграция схемы: схема таблицы на стороне источника переносится на целевую сторону. Если на целевой стороне уже существует таблица с таким же именем, она пропускается.
- Полная миграция данных: существующие данные полностью переносятся на целевую сторону с поддержкой возобновления передачи после прерывания.
- Инкрементальная синхронизация данных: изменения данных непрерывно синхронизируются с целевой базой данных в реальном времени (с задержкой, измеряемой секундами).
