Metabase
Metabaseは、シンプルで使いやすいデータ分析・可視化機能を提供するオープンソースのビジネスインテリジェンスツールです。豊富なデータソース接続をサポートし、インタラクティブなダッシュボードの迅速な構築を可能にします。主要な機能には、ユーザーフレンドリーなインターフェース、使いやすさ、セルフサービス分析のサポート、可視化ダッシュボードの作成、データドリルダウン探索、SQLクエリとデータエクスポート用の統合SQLクエリエディタが含まれます。
Metabase Apache Dorisドライバーを使用すると、MetabaseがApache Dorisデータベースに接続し、Dorisの内部データと外部データの両方をクエリおよび可視化できるようになります。
このドライバーを使用すると、MetabaseにApache Dorisデータベースとテーブルをデータソースとして統合できます。この機能を有効にするには、以下のセットアップガイドに従ってください:
- ドライバーのインストールと設定
- MetabaseでのApache Dorisデータソースの設定
- Metabaseでの可視化の構築
- 接続と使用のヒント
Metabaseとドライバーのインストール
前提条件
- Metabaseバージョン0.48.0以降をダウンロードしてインストールします。詳細については、Metabase Installation Documentationを参照してください。
- Apache Dorisクラスターを準備します。
Dorisドライバーのインストール
まず、最新のmetabase-doris-driverをダウンロードする必要があります。
次に、ドライバーをインストールします。インストール方法は、Metabaseのデプロイ方法によって異なります:
Metabase標準デプロイメント
-
ドライバーをダウンロードします
-
Metabaseプラグインディレクトリを作成します(存在しない場合):
mkdir -p $path_metabase/plugins
- JARファイルをプラグインディレクトリにコピーします:
cp doris.metabase-driver.jar $path_metabase/plugins
- Metabaseサービスを再起動する
Metabase Dockerデプロイメント
MetabaseをDockerを使用して起動する場合は、doris.metabase-driver.jarをマウントして起動することを推奨します。Dockerコンテナ内のプラグインパスは/plugins/です。
-
Driverをダウンロードする
-
以下のコマンドを使用してMetabaseを起動する:
docker run -d -p 3000:3000 --name metabase -v $host_path/doris.metabase-driver.jar:/plugins/doris.metabase-driver.jar metabase/metabase
Metabaseでのデータソース設定
Metabaseとmetabase-doris-driverがインストールされましたので、Dorisのtpchデータベースに接続するMetabaseのデータソースを定義する方法を見てみましょう。
接続パラメータの説明
Apache Dorisに接続する際に設定が必要なパラメータは以下の通りです:
| パラメータ | 意味 | 例 |
|---|---|---|
| Display Name | データソース表示名 | Doris-TPCH |
| Host | Doris FEノードアドレス | 127.0.0.1 |
| Port | Doris Query Port(MySQLプロトコルポート) | 9030 |
| Catalog name | Catalog名(オプション、デフォルトはinternal) | internal |
| Database name | データベース名(必須) | tpch |
| Username | ユーザー名 | root |
| Password | パスワード | your_password |
データベース名形式の説明:
- 内部テーブル:
tpchのようにデータベース名を直接入力します。システムは自動的にinternalcatalogを使用します。 - 外部テーブル/Data Lake: Catalog設定を入力します。内部テーブルのみをリンクする場合、この項目は不要です。
設定手順
-
Metabaseを起動してログインします。
-
右上のギアアイコンをクリックしてAdmin Settingsを選択します。

- 左側のメニューでDatabasesを選択し、右上のAdd databaseボタンをクリックします。

- Database typeドロップダウンメニューでApache Dorisを選択します。

- 接続情報を入力します:
- Display name: Doris-TPCH
- Host: 127.0.0.1
- Port: 9030
- Database name: tpch
- Username: admin
- Password: ******

-
Saveをクリックして設定を保存します。
-
Metabaseは自動的に接続をテストし、データベースのメタデータを同期します。接続が成功すると、成功メッセージが表示されます。

この時点で、データソースの設定は完了です!次に、Metabaseで視覚化を構築することができます。
Metabaseでの視覚化の構築
データソースとしてTPC-Hデータを選択します。Doris TPC-Hデータソースの構築手順については、このドキュメントを参照してください。
MetabaseでDorisデータソースを設定しましたので、データを視覚化しましょう...
コスト分析のために、異なる運送方法における時系列での受注金額の成長曲線を分析する必要があるとします。
Questionの作成
- ホームページの右上にあるNew +ボタンをクリックしてQuestionを選択します。

- データソースを選択します:
- Database: Doris TPCH
- Table: lineitem

SQLを使用したカスタムメトリクスの構築
収益を計算するには、カスタムSQL式を使用する必要があります:
- 右上のview sqlスイッチをクリックし、次にconvert this question to SQLをクリックしてSQLを編集します。

- 以下のSQLクエリを入力します:
SELECT
DATE_FORMAT(l_shipdate, '%Y-%m') AS ship_month,
l_shipmode,
SUM(l_extendedprice * (1 - l_discount)) AS revenue
FROM lineitem
WHERE l_shipdate >= '1995-01-01'
AND l_shipdate < '1997-01-01'
GROUP BY
DATE_FORMAT(l_shipdate, '%Y-%m'),
l_shipmode
ORDER BY ship_month, l_shipmode
- 右下角の Visualize ボタンをクリックして結果を表示します。

可視化チャートの設定
- デフォルトの表示はテーブルです。左下角の Visualization ボタンをクリックして Line チャートタイプを選択します。

-
必要に応じてチャートパラメータを設定します(metabaseは以下のように自動設定します):
- X軸: ship_month(配送月)
- Y軸: revenue(収益)
- Series: l_shipmode(配送モード)
-
チャートスタイルのカスタマイズ:
- Settings アイコンをクリックして色、ラベル、凡例の位置などを調整します。
- Display タブで軸タイトル、値フォーマットなどを設定できます。
-
チャートの設定後、右上角の Save をクリックします。
-
issue名を入力します:my-tpch、そして保存先のコレクションを選択します。

Dashboardの作成
- + New → Dashboard をクリックして新しいdashboardを作成します。dashboard名を入力します:my-tpch

- Add a chart をクリックして保存したquestionをdashboardに追加します。

- チャートの位置とサイズを調整し、右上角の Save をクリックしてdashboardを保存します。

この時点で、MetabaseはApache Dorisへの接続に成功し、データ分析と可視化dashboard作成が実装されました!
高度な機能
Catalogsを使用した外部データのアクセス
Dorisはマルチcatalog機能をサポートし、外部データソースへのクエリとクロスデータソースクエリが可能です。Metabaseで使用する場合:
- Links設定インターフェースで
Catalogを設定し、そのcatalog下の外部データベースをDatabaseで設定します。例えば:
catalog: hive_catalog、database: warehouse- hive_catalogという名前のwarehouseデータベースにアクセス

- またはSQLクエリで明示的にCatalogを指定します:
SELECT * FROM hive.warehouse.orders LIMIT 100;
パラメータ化クエリの使用
Metabaseは、SQLクエリでの変数の使用をサポートしており、インタラクティブなダッシュボードを簡単に作成できます:
SELECT
l_shipmode,
SUM(l_extendedprice * (1 - l_discount)) AS revenue
FROM lineitem
WHERE l_shipdate BETWEEN {{start_date}} AND {{end_date}}
AND l_shipmode = {{ship_mode}}
GROUP BY l_shipmode
保存後、データはドロップダウンメニューや日付ピッカーを使用してダッシュボードで動的にフィルタリングできます。
パフォーマンス最適化の推奨事項
-
Partition Clippingを使用: WHERE句にパーティション列フィルタ条件を追加します。
WHERE date >= '2024-01-01' AND date < '2024-02-01' -
マテリアライズドビューの活用: 複雑な集計クエリに対して、Dorisでマテリアライズドビューを作成することで、クエリプロセスを高速化できます。
-
結果セットサイズの制御: LIMITを使用して返される行数を制限し、一度に大量のデータを読み込むことを避けます。
-
クエリキャッシュ: Metabaseは自動的にクエリ結果をキャッシュします。適切なキャッシュ時間を設定することで、パフォーマンスを向上させることができます。
接続と使用のヒント
- ドライバインストール:
doris.metabase-driver.jarがMetabaseのpluginsディレクトリに配置されていることを確認し、Metabaseを再起動してください。 - タイムゾーン設定: タイムゾーンの問題が発生した場合、JDBC接続文字列に
serverTimezone=Asia/Shanghaiを追加してください。 - パーティションテーブル最適化: 適切なDorisパーティションテーブルを作成し、時間で分割してバケット化することで、クエリでスキャンするデータ量を効果的に削減できます。
- ネットワーク接続: パブリックネットワークアクセスによって導入されるセキュリティリスクを避けるため、VPCプライベート接続の使用を推奨します。
- アクセス制御: 最小権限の原則に従って、Dorisユーザーアカウントのロールとアクセス権限を細かく調整してください。
- メタデータ同期: Doris...テーブル構造が変更された場合、Metabase管理ページで「Sync database schema now」をクリックして手動で同期してください。
- パフォーマンス監視: 低速なクエリについては、Dorisで
SHOW QUERY PROFILEを使用してパフォーマンスのボトルネックを分析できます。
データ型表示の異常
-
Doris Driverの最新バージョンを使用していることを確認してください。
-
Doris largeint型はSQLで明示的に変換する必要があります。
SELECT CAST(large_int_col AS STRING) FROM table