Amazon DataZone: データ検出を自動化

Amazon DataZone ビジネスデータカタログは、技術メタデータをアセットとして公開できる統合組織レジストリとして機能し、充実したビジネスコンテキストを追加できます。すべてのユーザーが迅速かつ容易にデータを見つけ、理解し、信頼できるように、ビジネスコンテキストとともにデータを表示することができます。

データへのビジネスの説明や名称の追加を自動化することで、コンテキストを把握しやすくなり、わかりにくい技術名を扱う必要がなくなります。この自動化は、精度と一貫性を高めるために大規模言語モデル (LLM) によって強化されています。 

ファセット検索はビジネスデータカタログに加えて機能するため、データコンシューマーやプロデューサーは、テーブル名や列名などの使い慣れた構造情報やビジネス用語を使用してデータアセットを見つけることができます。

データセットごとに、最も価値のある列と分析で使用される可能性の高い列のリストを生成します。 

Amazon DataZone のデータ品質に関する統計情報を使用すると、データの利用者は AWS Glue Data Quality またはサードパーティーのシステムからのデータ品質に関するメトリクスを確認できます。データの利用者は、意思決定に使用するデータソースを信頼して、アセットを検索する際にデータ品質のコンテキストを把握できます。また、プロデューサーや IT チームは API を使用して、サードパーティーのシステムからのデータ品質に関する統計情報を、コンソール外の統合ポータルに組み込むこともできます。データプロデューサーは、スケジュールに基づいて AWS Glue Data Quality の結果を取り込み、データが変化し続ける場合でもスコアが最新であるようにします。

時間の経過に合わせてデータの動きを把握できます。データリネージは、データがどこから来たのか、どのように変化したのか、どのように利用されているのかをデータ利用者が理解できるようにすることで、信頼性と組織のデータリテラシーを高めるのに役立ちます。データアセットとその関係のマッピング、パイプラインのトラブルシューティングと開発、データガバナンスの慣行のアサーションに費やす時間を短縮できます。

データアセットを、特定のビジネスユースケースに合わせて定義されたパッケージ (データ製品) にグループ化することで、カタログ作成を効率化し、データコンシューマーがデータを簡単に検出してサブスクライブできるようにします。データプロデューサーは、関連するアセットのコレクションをキュレートし、ビジネスコンテキストを追加して、データ製品ユニットとして公開できます。これにより、データコンシューマーが特定のユースケースに必要なすべてのデータアセットを見つけるプロセスが簡素化されます。消費者は、単一の承認ワークフローを通じて、データ製品内のすべてのアセットをサブスクライブできます。データプロデューサーは、アセットコレクションの編集、非公開化、削除、サブスクリプションの維持など、製品のライフサイクルを管理できます。また、Amazon DataZone は、データ製品ワークフローの API サポートも提供し、統合とオートメーションを容易にします。