01
Современное хранилище данных
для аналитики в реальном времени
Объединяйте пакетные и потоковые данные, ускоряйте BI и предоставляйте достоверные бизнес-метрики в любом масштабе из одной аналитической базы данных реального времени.
Почему современное хранилище данныхменяет бизнес.
Когда хранилище объединяет данные, работает быстро, в реальном времени и эластично масштабируется, меняются четыре аспекта:
- Доверие к данным
- Скорость анализа
- Актуальность решений
- Стоимость всей системы
Единое представление о бизнесе
Заказы, клиенты, платежи, CRM, ERP, реклама и журналы объединяются в достоверный аналитический слой: все команды работают с одинаковыми метриками.
Быстрый BI и самостоятельный анализ
SQL с откликом менее секунды делает детализацию и нерегламентированные запросы интерактивными в Tableau, Power BI, Superset и Looker.
Мониторинг в реальном времени
Непрерывный приём данных из CDC, Kafka и Flink поддерживает актуальность дашбордов, оповещений и операционных отчётов.
Масштабирование с разумными затратами
Объём аналитики растёт от терабайтов до петабайтов, вместе с ним растёт конкурентность BI, без добавления систем, конвейеров и слоёв обслуживания.
Уже работает в промышленной среде.
Три команды используют Apache Doris как аналитическое ядро хранилища данных: в большом масштабе, при реальной конкурентной нагрузке и на актуальных бизнес-данных.
Пример 01 · SF Technology
SF Express: переход с Presto на Apache Doris для BI и нерегламентированной аналитики
SF Technology перевела основную BI-платформу с более чем 1 млн запросов в день с Presto на Apache Doris, сократила задержку P95 почти на 70% и перенесла все BI-нагрузки и нерегламентированные запросы.
Результат
- Задержка P95 снизилась почти на 70%; доля запросов быстрее 10 с выросла с 72% до 88%
- На 48% меньше оборудования, доля попаданий в кеш данных при запросах к lakehouse достигает 96%
- Перенесено 100% BI-нагрузок и нерегламентированных запросов при совместимости SQL 97%
SF EXPRESSПример 02 · Xiaomi
Xiaomi: единый lakehouse на Apache Doris и Apache Paimon
Xiaomi объединила Presto, Druid и разрозненные форматы хранения в один lakehouse на Apache Doris и Apache Paimon, ускорив запросы в 6 раз.
Результат
- Средняя задержка запросов снизилась с 60 до 10 с; агрегаций: с 40 до 8 с
- Конкурентная пропускная способность в 5 раз выше, чем у Presto, а задержка под нагрузкой ниже на 25–75%
- Единый стек: горячие данные в Doris и холодные в Paimon для аналитики поведения пользователей, устройств и операций
XIAOMIПример 03 · Cainiao
Cainiao: lakehouse реального времени для глобальной логистики
“Обновления данных выполняются за секунды, а ответы на запросы приходят за сотни миллисекунд.”
Результат
- Затраты на платформу данных реального времени ниже на 90%, среднее время ответа меньше на 72%
- Точечные запросы: 1000–2000 QPS за 10–100 мс; соединения нескольких таблиц: 200–300 QPS с откликом менее секунды
- Более 25 кластеров и 10 000 процессоров в 3 регионах отслеживают запасы, посылки и заказы для 80 млн посылок в день
CAINIAOЧто требуется от хранилища данныхи что предлагает Apache Doris.
Пять задач, с которыми современное хранилище данных должно справляться, и конкретные возможности Apache Doris для каждой из них.
Возможности Apache Doris для хранилища данных
Для каждой возможности есть ссылка на её документацию. Подробнее о технической реализации читайте в блоге Apache Doris.
Гибкое моделирование
02
Приём данных в реальном времени
и обновления
03
Инкрементальное обновление
и пакетное выполнение
04
Вычислительный движок
для lakehouse
05