COLUMN

機密データ活用を支えるInsight MaskingとMicrosoft Fabricの連携データマスキング基盤の構築

  • ホーム
  • コラム
  • 機密データ活用を支えるInsight MaskingとMicrosoft Fabricの連携データマスキング基盤の構築
機密データ活用を支えるInsight MaskingとMicrosoft Fabricの連携データマスキング基盤の構築

クラウドデータ分析基盤の普及に伴い、データレイクやデータウェアハウスに格納される個人情報や機密情報の保護がますます重要になっています。
本記事では、データマスキングソリューション「Insight Masking」と統合分析プラットフォーム「Microsoft Fabric」を連携し、データマスキング基盤を構築した検証結果をご紹介します。

1. 背景と目的

課題

金融・医療・自治体をはじめとした多くの組織では、データに基づく意思決定やAI活用への期待が高まる一方で、個人情報や営業秘密の取り扱い、規制対応や運用統制の難しさから、データ活用が思うように進まない状況が続いています。
さらに、紙文書・業務システム・SaaSにデータが分散していることも、横断的な分析や生成AIの活用を難しくしています。

こうした事業上の課題を技術的に見ると、クラウドデータ分析基盤の活用にあたっては以下の課題に直面します。

  1. 本番データの安全な活用: 開発・テスト環境で本番データを使用する際の個人情報保護
  2. データパイプラインの自動化: マスキング処理を含むデータ処理フローの自動化
  3. クラウドストレージとの統合: Azure Blob StorageやAzure Filesなどのクラウドストレージとの連携
  4. スケーラビリティ: 大量データを効率的に処理できる基盤

解決策

Insight MaskingとMicrosoft Fabricを連携させることで、これらの課題を解決する統合データマスキング基盤を実現します。
本記事で紹介する検証は、システムエグゼが提供する「機密データ活用基盤構築サービス for Microsoft Fabric」を支える基盤技術の実証です。

Insight Maskingの概要はこちらの記事をご覧ください。

2. アーキテクチャ概要

今回の検証では、2つの連携パターンを構築しました。

パターン1: Windows NFS共有 + CLI実行

[Microsoft Fabric Pipeline]
    ↓ (1) トークン取得
    ↓ (2) Insight MaskingをインストールしたAzure VM上のCLI実行
[Insight Masking on Azure VM]
    ↓ (3) マスキング処理実行
    ↓ (4) Windows NFS共有に出力
[オンプレミスデータゲートウェイ]
    ↓ (5) ファイル取得
[Microsoft Fabric Lakehouse]

パターン2: Azure Blob Storage + API実行

[Microsoft Fabric Pipeline]
    ↓ (1) Insight MaskingをインストールしたAzure VM上に作成したAPI呼び出し
[Insight Masking カスタムAPI]
    ↓ (2) Azure Blob Storageからファイル取得
    ↓ (3) マスキング処理実行
    ↓ (4) Azure Blob Storageにファイル出力
[Microsoft Fabric Lakehouse]
    ↓ (5) Blobから直接データ取得

3. 連携パターン1: Windows NFS共有 + CLI実行

必要なリソース

  1. Azure Virtual Machine(Insight Maskingインストール済み)
  2. Windows NFS共有(マスキング済みファイルの出力先)
  3. オンプレミスデータゲートウェイ(Fabric→NFS共有のアクセス用)

手順1: サービスプリンシパルの作成

Microsoft FabricからAzure VMのCLIを実行するため、サービスプリンシパルを作成します。

az ad sp create-for-rbac \
  –name fabric-vm-runner \
  –role “Virtual Machine Contributor” \
  –scopes /subscriptions/<サブスクリプションID>

作成後、以下の情報を控えます。

  • アプリケーションID
  • シークレット
  • テナントID

手順2: 接続の作成

Microsoft Fabric の管理画面で接続を作成します。

項目設定値
種類Web v2
ベースURLhttps://login.microsoftonline.com
認証の種類匿名

手順3: パイプラインの作成

以下の流れでパイプラインを構成します。

Webアクティビティ(トークン取得)

Azure Management APIにアクセスするためのトークンを取得します。

項目設定値
相対URL/<テナントID>/oauth2/token
メソッドPOST
本文grant_type=client_credentials&client_id=<アプリケーションID>&client_secret=<シークレット>&resource=https://management.azure.com/
ヘッダーContent-Type: application/x-www-form-urlencoded

Webアクティビティ(CLI実行)

取得したトークンを使用して、Azure VM上のInsight Masking CLIを実行します。

項目設定値
相対URL/subscriptions/<サブスクリプションID>/resourceGroups/<
リソースグループ名>/providers/Microsoft.Compute/virtualMachines/<VM名>/runCommand?api-version=2023-09-01
メソッドPOST
本文{“commandId”:”RunShellScript”,”script”:[“<Insight Maskingをインストールしたパス>/bin/batch-cli.sh <プロジェクトID>”]}
ヘッダーAuthorization: Bearer @{activity(‘Web1’).output.access_token}

戻り値判定

CLI実行結果を判定し、成功/失敗を判断します。

@if(contains(activity(‘web_exec_cli’).output.value[0].message, ‘Exit code: 0’), true, false)

オンプレミスデータゲートウェイ経由でファイル取得

マスキング済みファイルをWindows NFS共有から取得し、Fabric Lakehouseに格納します。

項目設定値
種類オンプレミス
接続の種類フォルダー
完全なパス例)F:\MaskingOut
認証Windowsの認証情報

検証結果

  • Microsoft FabricからAzure VM上のCLIを正常に実行できることを確認
  • マスキング処理の成功/失敗をパイプライン内で判定可能
  • オンプレミスデータゲートウェイ経由でマスキング済みファイルを取得可能
  • 一連の処理を完全自動化

※オンプレミスデータゲートウェイのインストールと管理、およびWindows NFS共有の構築と管理が必要です。

なお、本構成はオンプレミスを含めた閉域でのデータ処理を前提とできるため、LGWANやISMAP、FISC、医療3省2ガイドラインなど、公共・金融・医療に求められる規制対応を見据えた設計が可能です。

4. 連携パターン2: Azure Blob Storage + API実行

本検証では、Microsoft FabricからAzure Blob Storage上のファイルを入出力し、マスキング処理の開始から結果取得までを一つのパイプラインで制御するため、検証用のカスタムAPIを実装しました。
なお、Insight MaskingはWebAPIによるテキストデータのマスキングにも対応していますが、ファイル単位でのマスキングには対応していないため、今回はFabric Pipelineとの連携方式やAzure Blob Storageとの入出力制御を検証する目的で、独自のAPIラッパーを用意しました。

本検証でカスタムAPIに持たせた役割は、Azure Blob Storageからのファイル取得、Insight Maskingのマスキング処理実行、マスキング済みファイルのAzure Blob Storageへの出力です。

手順1: カスタムAPIの作成

Insight Maskingサーバー上に以下の機能を持つAPIを実装しました。

処理フロー:

  1. Azure Blob Storageからマスキング対象ファイルをダウンロード
  2. Insight MaskingのCLIを実行してマスキング処理
  3. マスキング済みファイルをAzure Blob Storageにアップロード

APIエンドポイント:

  1. URL: http://<Insight MaskingサーバーIP>:8080/mask
  2. メソッド: POST
  3. リクエストボディ: {“project_id”: “<プロジェクトID>”}
  4. レスポンス: {“success”: true/false, “message”: “…”}

手順2: マネージドIDの作成(Azure)

Insight MaskingをインストールしたVMに、マネージドIDを作成し、ストレージアカウントへのアクセス権を付与します。

手順

  1. Azure Portal → VM → [セキュリティ] → [ID]
  2. [状態]を「オン」に設定
  3. [Azureロールの割り当て]で以下を設定:
    ・スコープ: ストレージ
    ・リソース: アクセスするストレージアカウント
    ・役割: ストレージBLOBデータ共同作成者

これにより、VMからシークレットなしでAzure Blob Storageにアクセスできます。

手順3: 接続の作成

Microsoft Fabric の管理画面で接続を作成します。

項目設定値
種類Web v2
ベースURLhttp://<Insight MaskingサーバーIP>:8080
認証の種類匿名

手順4: パイプラインの作成

以下の流れでパイプラインを構成します。

変数設定アクティビティ

プロジェクトIDを変数として定義し、複数のプロジェクトに対応できるようにします。

変数名vProjectID
<プロジェクトID>

Webアクティビティ(API実行)

Azure VM上のAPIを実行します。

項目設定値
相対URL/mask
メソッドPOST
本文@json(concat(‘{“project_id”:”‘, variables(‘vProjectID’), ‘”}’))

戻り値取得

API実行結果を取得し、後続処理を制御します。

@activity(‘WebAPI’).output.success

検証結果

  • Azure Blob Storageとの完全な統合を実現
  • オンプレミスデータゲートウェイが不要になるため、運用対象が減る
  • シンプルなアーキテクチャで管理が容易
  • Microsoft Fabricから直接Azure Blobにアクセス可能

5. ユースケース

今回紹介した連携基盤は、以下のようなユースケースに適用できます。

ケース1: 開発・テスト環境へのデータ提供

フロー:

  1. 本番データベースからデータをエクスポート
  2. Azure Blobにアップロード
  3. Fabricパイプラインでマスキング処理を自動実行
  4. マスキング済みデータを開発環境にロード

ケース2: データ分析基盤への安全なデータ投入

フロー:

  1. 各システムからデータを収集
  2. Insight Maskingでマスキング
  3. Fabric Lakehouseに格納
  4. Power BIで分析・可視化

マスキング済みデータは、Power BIによる分析・可視化にとどまらず、RAGや生成AIの土台としても活用できます。
これまで機密性ゆえに生成AIへ投入しづらかった個人情報・営業秘密を含むデータも、マスキングを前提とすることで安全に取り込めるようになります。
生成AI活用までを見据えた一気通貫の基盤づくりについては、今後の記事で順次ご紹介していく予定です。

6. まとめ

Insight MaskingとMicrosoft Fabricの連携により、以下のメリットを確認しました。

実現できたこと

  • エンドツーエンドの自動化されたデータマスキング基盤
  • クラウドストレージ(Azure Blob)との完全統合
  • 柔軟な連携パターン(NFS共有 or Azure Blob)
  • セキュアなアクセス制御(マネージドID活用)

ビジネス面でのメリット

本基盤の最大の価値は、これまで「保護」と「活用」の両立が難しかった機密データを、両立可能な“使える資産”へと変えられることです。
規制・コンプライアンス要件を満たしながら、手作業を削減し、データ提供までのリードタイムを短縮できます。

  • 個人情報保護とデータ活用の両立
  • 手作業の削減による運用コスト削減
  • データ提供のリードタイム短縮
  • コンプライアンス要件を踏まえたデータ活用設計
  • スケーラブルなデータ処理基盤

技術面のメリット

  • クラウドネイティブなアーキテクチャ
  • Microsoft Fabricのエコシステムとの統合

7. おわりに

本検証を通じて、Insight MaskingとMicrosoft Fabricを連携させたデータマスキング基盤を構築できることを確認しました。

本検証で得られた知見をもとに、システムエグゼは「機密データ活用基盤構築サービス for Microsoft Fabric」の提供を開始しました。
Insight Maskingによる機密情報の安全化とMicrosoft Fabricの統合基盤を組み合わせ、機密データを扱う金融・医療・自治体のお客様の要件整理から導入、運用までをワンストップで支援します。

システムエグゼは、Microsoftエコシステムに関する知見と、公共・金融・医療など高い安全性が求められる分野で培った構築実績を活かし、お客様の機密データを“使える資産”へと変えるご支援に多くの実績があります。
サービスの詳細資料は以下からダウンロードいただけます。ご検討の際はお気軽にご相談ください。

▽「機密データ活用基盤構築サービス for Microsoft Fabric」 資料ダウンロード
https://www.system-exe.co.jp/document-request/fabric_masking/

コラム検索

連載タイトル

DOWNLOAD

資料ダウンロード

CONTACT

お問い合わせ