Delta Lake UniForm

データのフォーマットを問わず、既存の分析ツールや AI ツールを利用できます。UniForm はフォーマット間を即座に自動変換するため、ソースデータの単一コピーを保持したまま、任意のIceberg や Hudi クライアントを使用して Unity Catalog エンドポイントから Delta テーブルを読み込むことができます。UniForm を使用することで、ベンダーのロックインなしにデータのポータビリティを維持できます。

エコシステム全体でつながる

Delta Lake には広範なコネクタエコシステムがあり、複数のフレームワークと言語をサポートしています。Delta Sharing は、セキュアなデータ共有のための新しいオープンプロトコルです。データの場所を問わず、組織内外でのデータ共有を容易にします。Unity Catalog とのネイティブな統合により、組織間の共有データを一元的に管理、監視します。データ資産をベンダーやパートナーとセキュアに共有して連携を強化すると同時に、セキュリティおよびコンプライアンスの要件を満たします。また、主要なツールやプラットフォームとの統合により、任意のツールから共有データを視覚化、クエリ、強化、管理できます。

Databricks データインテリジェンスプラットフォームは、使用パターンに基づいてデータを最適化します。Databricks データインテリジェンスエンジンである DatabricksIQ が提供するAI主導のパフォーマンス拡張機能により、データの管理、設定、チューニングが自動的に行われます。

リキッドクラスタリング：パーティショニングにつきものの頭痛の種である、高いカーディナリティのカラムをパーティショニングできるかどうかの心配や、パーティションカラムを変更する際の高価 な書き換えをすることなく、十分に調整、パーティショニングされたテーブルのパフォーマンスを提供します。 その結果、最小限の構成で、高速かつ適切にクラスタ化されたテーブルが実現します。

予測最適化：最高のパフォーマンスと価格のためにデータを自動的に最適化します。データの使用パターンから学習し、実行すべき適切な最適化のプランを構築し、超最適化されたサーバーレスインフラ上でそれらの最適化を実行します。

DLT が Delta Lake のデータを最新かつ高品質に保つデータパイプラインの構築・管理を容易にし、データエンジニアリングをシンプルにします。また、宣言型パイプラインの開発、高信頼性データ、クラウドスケールの本稼働環境がレイクハウス基盤の構築を可能にし、データエンジニアリングによる ETL の開発・管理をシンプルにします。