Dr.Sumにデータ連携する方法
BI技術者の雑記
「Dr.Sum」はデータドリブンを実現するデータ基盤ソリューションです。
今回はDr.Sumにデータ連携する方法についてご紹介します。
Dr.Sumの導入を検討されている方や、すでにDr.Sumを導入されていて、連携機能の拡張を検討されている方の参考となれば幸いです。
※2023年3月時点の情報です。
1.はじめに
ExcelファイルやCSVファイル、外部データベースなどの業務情報をDr.Sumに取り込む際、色々な方法があります。
今回はその中から5つのデータ連携の方法をご紹介します。
各連携方法の主な特徴、サブスクリプションの利用料は以下の表の通りとなります。
●特徴・用途
No | 名称 | 特徴 | 用途 |
① | Dr.Sum Dataloader | 同期処理・差分更新 | 日中に最新のデータを高頻度で確認したい場合 |
② | Dr.Sum Connect | データの加工 | 取得したデータを分析用に加工したい場合 |
③ | Dr.Sum Data Funnel | IoT等データの加工インポート | 継続的に発生する時系列データをリアルタイムに収集、加工したい場合 |
④ | Excel Extractor | Excelデータの取込み | Excelで管理しているデータをDr.Sumに取込み分析したい場合 |
⑤ | VTB Creator | 仮想テーブルの作成 | CSVファイルや外部データベースのデータを取得、Dr.Sumへ毎日定刻にバッチ実行したい場合 |
●サブスクリプション利用料
No | 名称 | Dr.Sum オンプレミス版 |
オンプレミス版 サブスクリプション 利用料(月額) |
Dr.Sum Cloud |
クラウド サブスクリプション 利用料(月額) |
① | Dr.Sum Dataloader | ○ | 40,300円~201,400円 | – | – |
② | Dr.Sum Connect | ○ | 80,600円 | ○ | 100,000円 |
③ | Dr.Sum Data Funnel | ○ | Dr.Sumの利用料に含む | △ | Dr.Sumの利用料に含む |
④ | Excel Extractor | ○ | Dr.Sumの利用料に含む | ○ | Dr.Sumの利用料に含む |
⑤ | VTB Creator | ○ | Dr.Sumの利用料に含む | ○ | Dr.Sumの利用料に含む |
- ①、②はDr.Sumの利用料とは別に利用料金がかかります。
- ①、②、③はDr.Sumとは別にインストールが必要です。
- ③Dr.Sum Data FunnelのCloud版はDr.Sum CloudのMediumライセンスに含まれます。
- ④、⑤はDr.Sumの標準機能です。
2.Dr.Sumにデータ連携する方法5選
Dr.Sumにデータ連携する5つの方法の詳細をご説明します。
2-1 Dr.Sum DataLoader
Dr.Sum Dataloaderは、GUIで操作できるため、専門的な知識がなくても簡単にデータ連携が行えます。
夜間処理等の日次処理ではなく、日中に最新のデータを高頻度で見たい場合の使用に適しています。
Dr.Sumのテーブルやオブジェクトに対して、大量の追加データや更新データを一括でアップデート(アップデートローダー機能)したり、日々の更新データを逐次反映(データ同期機能)したりするデータ連携ツールです。
●アップデートローダー機能(差分更新)
指定したキー項目をもとに差分のデータのみを更新することができます。
SFA※1・CRM※2など更新頻度の高いデータや、大量データ連携時におすすめです。
・インポートで使用できるデータソース(Oracle、SQL Server、DB2、CSV/Excelなど)
※1 SFA(Sales Force Automation):
情報技術を活用して、顧客情報や営業の進捗度などを管理し、営業の生産性を高めようとする仕組み。
※2 CRM(Customer Relationship Management):
顧客の購入・利用履歴だけでなく、苦情や意見なども含めた企業とのあらゆる接点での情報を統合管理する経営手法。
■同期機能
連携するデータベースと同期処理(追加・更新・削除)を行うことができます。
同期するテーブルに対して、「トリガープログラム」と「操作履歴を保存するジャーナルテーブル」を作成することでDr.Sumとの同期を実現します。
・同期できるデータソース (Oracle、SQL Server、DB2)
<参考サイト>
・WingArc1st社 Dr.Sum DataLoader Ver. 5.6 マニュアル「第1章 Dr.Sum DataLoaderの概要」
2-2 Dr.Sum Connect
Dr.Sum Connectは様々なデータソースに対応する接続コネクターと、100種類を超える豊富なロジックアイコンの組み合わせで、データ加工フローをノンプログラミングで実装することができるETLツール※3です。
取得したデータを分析用に加工する場合に適しています。
シンプルなGUIで設定や管理が行えるため、専門的な知識がなくても利用できます。
フローの統合、条件分岐やループ処理など、単純なSQLでは記述できない複雑な処理もビジュアルで定義できるほか、実行トリガ(スケジュール・ファイル・HTTP・Webサービス・バッチ起動)を利用したデータ取込設定も可能です。
※3 ETLツール:
散在するデジタルデータを抽出・収集(Extract)し、用途に応じて変換・加工(Transform)した上で、格納先に有用な情報として配信・送出(Load)する、ITプロダクトの総称です。
<参考サイト>
2-3 Dr.Sum Data Funnel
Dr.Sum Data FunnelはIoT機器やデバイスのセンサーデータの取得・加工・蓄積をノンプログラミングで行うことができます。
継続的に発生する時系列データをリアルタイムに収集、加工することができ、下記の様な用途に適しています。
- POSデータやセンサーから取得した在庫データをリアルタイムに集計および分析し、仕入れの計画や売れ筋の販売分析などを行う業務
- 機械加工製品の不良品のデータを集計および分析し、品質を管理するための業務
時刻正規化、データの除外、補完の処理を加えることでセンサーデータを活用しやすい形に加工できます。
●時刻正規化
時間の粒度が細かいデータを任意の単位で丸めることができます。
●データの除外、補完
異常値などの範囲外のデータの除外や、欠落等に伴う不足データを補完できます。
<参考サイト>
・WingArc1st社 Dr.Sum DataLoader Ver. 5.6 マニュアル 「第1章 Dr.Sum Data Funnelとは」
2-4 Excel Extractor
Excel Extractor は、Dr.SumでExcelファイルのデータを利用する際に、読み込み方法を定義する設定ファイルを作成するためのツールです。
日頃、Excelでデータを管理することが多い場合、本ツールの使用が適しています。
集計表や、「データ項目名称が複数レコードに渡って記載されている」など、一般的にデータベースへの取り込みが難しいレイアウトのExcelも、読み込み定義を設定することで、データベースで扱いやすい状態に変換してDr.Sumへインポートすることが可能です。
また、自動的にExcelファイルを抽出する、別のシステムにアップロードする、エクスポートする、メール送信する、などの機能も提供されており、効率的な業務処理を支援することができます。
<参考サイト>
・WingArc1st社 Dr.Sum DataLoader Ver. 5.6 マニュアル 「Excel Extractor画面」
2-5 VTB Creator
VTB Creatorは、仮想テーブルを作成するデータ連携ツールです。
仮想テーブルは、インポートの際、取り込むデータをどのように扱うかを定義したファイルです。
CSVファイルや外部データベースのデータを取得し、Dr.Sumへ毎日定刻にバッチ実行したい場合は本ツールにて定義を設定します。
データベースへの接続情報や抽出条件、利用する項目、複数のテーブルを対象とする場合はリレーションなどを設定し、必要に応じて任意のフィールド名を付けておくことで、そのデータを1つのテーブルのように扱ってDr.Sumへインポートすることができます。
<参考サイト>
・WingArc1st社 Dr.Sum DataLoader Ver. 5.6 マニュアル 「VTB Creator画面」
3.おわりに
Dr.Sumのデータ連携ツールは、標準で使用できるものに加えて、オプションで機能を追加することが可能です。
用途に合わせたデータ連携ツールを使用し、Dr.Sumを使いこなしましょう。
最後までお読みいただきありがとうございました。