前回はAlationの機能の「記事」についてご紹介しました。Webページのような記事を管理者が用意することで、目的のデータに対する付加情報(使用上のルールなど)をデータと一緒に確認してもらう動線にもなります。あると便利なオブジェクトであることを感じていただけたのであれば幸いです。
今回は「データリネージ」についてご紹介します。
データリネージとは
データソースとそのデータを利用している最終利用までのつながりを可視化したものです。例えば、Snowflakeのデータを使ってTableauのダッシュボードを作成している場合には、SnowflakeのテーブルとTableauのダッシュボードのつながりを表したものになります。データリネージのメリットは、データとデータの最終利用までの間で信頼できない状況が発生した場合に、影響を受ける範囲を確認できる点です。また、データのつながりが可視化される点を重宝している組織もあります。
Alationでは「リネージ」とよんでいるので、この後はデータリネージではなくリネージと記述することにします。
リネージを持つ製品も個々に存在
最近のデータカタログ製品の多くが、リネージを採用しています。また、データカタログ製品だけではなく、BI(Business Intelligence)やDB(Database)などのデータ活用に関連する製品でもリネージを持つものがあります。
例えば、BI製品のTableauの場合には、Tableau Cloud や Tableau Server に Data Management Add-On というオプションを導入していると、Tableau Catalog というTableauに特化したデータカタログを利用することができ、リネージも確認できます。
以下の図の赤枠部分がTableauのリネージです。
Alationのリネージ
Alationでは、Alationが接続しているデータソースのリネージ※を確認できます。また、異なる種類のデータソース間につながりがあれば、それも表現可能です。
※一部のデータソースはリネージをサポートしていません。
リネージを表示するには、データを表すオブジェクトの画面で「 Lineage」メニューを選択します。
以下の図は、Tableauのデータソースを選択してリネージを表示したものです。ここでは青色のボックス部分がTableauのデータソースになります。青色のボックスの左側がTableauのデータソースの接続元となり、Snowflakeのデータが元となっていることがわかります。また、青色のボックスの右側はTableauのビューとダッシュボードとつながっています。
Alationのデータソースごとにグループわけしてみることができるので、どこまでがSnowflakeでどこからがTableauなのかも把握しやすいです。
以下の図はSnowflakeの「注文」テーブルを選択してリネージを表示したものです。
表レベルのリネージは多くのデータソースで対応していますが、列レベルについては非対応のものもあります。目的のデータソースが列レベルに対応しているのかどうかについては、サポートマトリックス※をご参照ください。
※https://docs2.alationdata.com/en/latest/releases/supportmatrices/index.html
以下の図は、列レベルのリネージです。列を1つクリックすると、その特定の列に対するリンクが強調されます。
Alationのリネージの作成
リネージの作成は、主にデータソースのメタデータを抽出※した情報や、データソースのログをAlationが分析した結果を参考にして、自動で作成されます。自動で作成されないものについては管理者が手動で作成することも可能です。
リネージが自動作成なのか手動作成なのかは、ソースオブジェクトとターゲットオブジェクト間のアイコンで確認できます。
※メタデータをAlation側に読み込むことをメタデータの抽出と呼んでいます。
以下の図はリネージが自動作成されたことを表します。
以下の図はリネージを手動作成したことを表します。
データの信頼状況に問題が発生したら
状態を示すフラグが赤(非推奨)になると、リネージでは該当のオブジェクトと影響を受けるオブジェクトが赤色で示されます。
しかし、オブジェクト数が多くなると画面の図で確認することがストレスに感じることもあります。その場合には、「View Impact Analysis」や「View Upstream Audit」を使用すると便利です。
「View Impact Analysis」は、選択しているオブジェクトから下流のオブジェクトを一覧表示します。上の図では、Tableauのデータソースの「注文」が選択されているので、図の右側にあたるオブジェクトの一覧を表示し、CSVに出力することもできます。
「View Upstream Audit」は、選択しているオブジェクトより上流(選択しているものより左側)の一覧を表示し、CSVに出力することもできます。
ER図は非対応
DB(Database)の管理者から「ER図に対応していますか?」と、質問を受けることがあります。残念ながらAlationはER図には対応していません。
ER図をAlationで扱うとすれば、他のソフトで作図済みのER図を画像ファイルとして用意し、Alationの記事※として作成するという手法になるでしょう。
※記事については第5回で紹介しています。
第6回は「Alationの機能《データリネージ》」についてお届けしました。
次回は、Alationの機能《コンポーズ》についてご紹介いたします。
Alationの製品紹介やデモをご希望の場合には、CTC担当営業または問合せフォームからご連絡ください!
- カテゴリ:
- データマネジメント