MotionBoard CloudとAzure Synapse Analyticsで現場のデータ活用を促進するための仕組みを作ってみた
データ活用ことはじめ
現場の業務フローに組み込めるBIツールのMotionBoardと、大量のデータを柔軟に扱えるAzure Synapse Analyticsを組み合わせたら、何かいいことがあるのでは?ということで、BIやデータウェアハウスの構築に長年携わってきた技術者がいろいろ検証してみたいと思います。
今回はまず、Azure Synapse Analyticsの準備、ブリッジサービスの設定、MotionBoard CloudからAzure Synapse Analyticsのデータ参照までの一連の構築手順をご紹介します。
1.Azure Synapse Analyticsの作成
①Azure Synapse Analyticsを追加するリソースグループを選択し、「作成」をクリックします。
②「Azure Synapse Analytics」を選択します。
③「作成」をクリックします。
④「基本」タブの各項目を入力/選択し、「次へ:セキュリティ」をクリックします。
⑤「セキュリティ」の各項目を入力/選択し、「次へ:ネットワーク」をクリックします。
⑥「ネットワーク」の各項目を設定し、「次へ:タグ」をクリックします。
⑦「タグ」の各項目を設定し、「次へ:レビュー + 作成」をクリックします。
⑧内容を確認し「作成」をクリックします。
⑨「デプロイが進行中です」の表示が「デプロイが完了しました」となれば作成完了です(3~4分ほどかかります)。
2.専用SQLプールの作成
①参照するデータを格納するSQLプールを作成します。
リソースグループに移動し、作成したAzure Synapse Analyticsをクリックします。
②「SQLプール」をクリックします。
③「新規」をクリックします。
④「基本」タブの各項目を入力/選択し、「次へ:追加設定」をクリックします。
※今回はパフォーマンスレベルを「DW100C」としています。
⑤「追加設定」タブの各項目を入力/選択し、「次へ:タグ」をクリックします。
※今回は日本語データを使用する可能性を考慮し、照合順序を「Japanese_XJIS_100_CI_AI_SC」としました。
⑥「タグ」の各項目を設定し、「次へ:確認および作成」をクリックします。
⑦内容を確認し「作成」をクリックします。
⑧「デプロイが進行中です」の表示が「デプロイが完了しました」となれば作成完了です(3~4分ほどかかります)。
専用SQLプールの停止手順
専用SQLプールはコンピューティングとストレージに対し、時間単位で課金されます。
コンピューティングについては起動中のみ課金されますので、使用しない場合は費用節約のため、停止することをお勧めします。
※専用SQLプールを停止しても、ストレージは継続して課金されるためご注意下さい。
停止する場合の手順は以下となります。
①Azure Synapse Analyticsを開き、「SQLプール」をクリックします。
②作成した専用SQLプールをクリックします。
③「一時停止」をクリックします。
④メッセージが表示されるので停止して問題なければ「はい」をクリックします。
⑤数分待って、再度SQLプールを確認し、状態が「一時停止」となっていれば停止完了です。
⑥起動する場合は、同じ手順で「再開」をクリックします。
3.データの取り込み
①今回はAzureに用意されているサンプルデータを使用します。
Azure Synapse Analyticsを開き、「Synapse Studioを開く」の「オープン」をクリックします。
②ナビゲーション バーの「?(疑問符)」アイコンをクリックしてナレッジセンターを開きます。
③「ギャラリーを参照」をクリックします。
④「データセット」タブで使用したいサンプルデータを選択し、「続行」をクリックします。
※今回は「Bing COVID-19 Data」を使用しました。
⑤「データセットの追加」をクリックします。
⑥データセットが追加されたことを確認します。
⑦今回は検索速度を上げるために、外部テーブル経由で実テーブルを作成します。
追加されたデータソースのメニューを表示する三点リーダー(・・・)をクリックし、「新しいSQLスクリプト」→「外部テーブルの作成」をクリックします。
⑧項目を入力し、「作成」をクリックします。
⑨クエリを実行し、正常に結果が返ってくることを確認します。
⑩次に実テーブルを作成します。
CREATE文は外部テーブルのCREATE文を元に作成しています。
⑪テーブルが作成されていることを確認します。
⑫続いて、外部テーブルのデータを実テーブルにINSERTします。
⑬レコード件数を取得し、正常にレコードが格納されていること確認します。
4.MotionBoard Cloudブリッジサービスの設定
今回は、MotionBoard Cloudのブリッジサービスという機能を使ってAzure Synapse Analyticsにアクセスします。
ブリッジサービスについては、下記の当社コラム記事もご参照下さい。
・BI技術者の雑記 ― 【MotionBoard 6.0】ブリッジサービス
※ブリッジサービスをインストールするサーバは別に用意する必要があります。
以下の手順は、サーバにログインしてからの操作となります。
①使用するMotionBoard Cloudへブラウザでログインし、「管理」→「システム設定」→「接続/認証」→「ブリッジサービス」をクリックします。
②ブリッジグループ名、ブリッジクライアント名を入力し、「次へ」をクリックします。
③利用するサービスにチェックを入れ、「次へ」をクリックします。
④ブリッジクライアントをダウンロードします。
⑤ダウンロードしたインストールファイルを実行し、ブリッジクライアントをインストールします。
⑥言語を選択します。
⑦「使用許諾契約の条項に同意します」にチェックを入れ、「次へ」をクリックします。
⑧インストールフォルダを指定し「次へ」をクリックします。
⑨プロキシの設定があれば設定し、「次へ」をクリックします。
⑩内容を確認し、「インストール」をクリックします。
⑪「サービスの起動」をクリックしてサービスを起動し、「完了」をクリックします。
⑫MotionBoard Cloudのブリッジサービス管理画面で、ステータスが「オンライン」になっていることを確認します。
5.MotionBoard CloudからAzure Synapse Analyticsのデータを参照
①MotionBoard Cloudから、Azure Synapse Analyticsへの接続を作成します。
使用するMotionBoard Cloudへブラウザでログインし、「管理」→「システム設定」→「接続/認証」→「外部接続」をクリックします。
②「新規作成」をクリックします。
③「外部接続名」には任意の接続名を入力し、「接続先タイプ」には「Azure Synapse Analytics」を指定し、「中継サービス」は「ブリッジサービス」を選択します。
「ブリッジグループ名」は、先の手順で作成したブリッジグループ名を指定して「新規作成」をクリックします。
④「サーバー名」は、Azure Synapse Analyticsのプロパティに表示されている「専用SQLエンドポイント」の文字列を指定します。
「データベース名」は、接続するAzure Synapse Analyticsの「SQLプール」を指定します。
「ユーザー名」「パスワード」を設定し、「接続確認」をクリックします。
⑤「サーバー名」に入力する値はSynapseワークスペースのエンドポイントを参照してください。
⑥「データベース名」に入力する値は、接続するSQLプール名を指定します。
⑦正常に接続されたことを確認し、「OK」をクリック → 「保存」をクリックして設定を保存します。
⑧作成した接続定義を使用し、MotionBoard Cloudのレポートを作成してデータを参照します。
⑨参照したテーブルのデータを使って作成したサンプルレポートです。
MotionBoard CloudからAzure Synapse Analyticsのデータを参照する手順は以上です。
6.おわりに
いかがでしたでしょうか。
今回は環境構築までの手順をご紹介しました。
今後もMotionBoardとAzure Synapse Analyticsの組み合わせで、様々な検証を行っていきたいと思います。