SQL ServerからAzure Synapse Analyticsへデータ分析プラットフォームの移行

背景

現行のSQL Serverはサポート終了となるため、新しくデータ分析プラットフォームとしてAzure Synapse Analyticsを導入して現行機能を移行します。

システム構成

「Azure Synapse Analytics」のコネクタ機能で会計システムや顧客管理システムへの接続を行い、データ連携を行います。
データは未加工データとして「Azure Data Lake Storage」へ格納されて、Data flowでファイルをDeltaテーブルへ挿入して、負荷の高いクレンジングやレポート用の加工処理をSpark Poolで高速に行います。

データはLanding→Raw→Enrich→Curateの４層を移動するごとに整形されて分析可能な状態となり、Curate層まで到達したデータは専用SQL Poolへロードされて、サーバーレスSQL PoolはCurate層を参照します。

各SQL Poolのデータを可視化するために「Microsoft Power BI」でレポートやダッシュボード開発を行います。