Data Lakehouse: Modern Data ve AI Mimarilerinin Ortak Veri Katmanı

Data Lake, Data Warehouse ve Data Lakehouse

Geleneksel Data Warehouse sistemleri yapılandırılmış verinin raporlama ve analitik amaçlarla kullanılmasında güçlüdür. Data Lake yaklaşımı ise yapılandırılmış ve yapılandırılmamış büyük miktarda verinin daha esnek ve ekonomik storage katmanlarında tutulabilmesini sağlar.

Ancak yalnızca dosyaların object storage üzerinde tutulması kurumsal bir veri platformu oluşturmak için yeterli değildir. Data Lakehouse yaklaşımı bu iki dünyanın avantajlarını birleştirmeyi hedefler:

Veriyi ayrı analitik ve AI platformlarına tekrar tekrar kopyalamak yerine ortak bir veri katmanı oluşturmak.

Lakehouse'un Katmanları

Modern bir Lakehouse mimarisi kabaca şu katmanlardan oluşur:

Bu mimaride storage ve compute birbirinden ayrılabilir. Veri object storage üzerinde tutulurken farklı compute teknolojileri aynı veri üzerinde farklı iş yükleri gerçekleştirebilir.

Örneğin aynı veri Trino ile SQL sorgularında, Apache Spark ile büyük ölçekli data processing ve makine öğrenmesi süreçlerinde, başka AI servisleri tarafından ise model veya Agent kullanım senaryolarında kullanılabilir.

Parquet Dosyaları Tek Başına Lakehouse Yapmaz

Object storage üzerinde Parquet dosyaları tutmak tek başına Lakehouse oluşturmaz. Kurumsal ölçekte tabloların şu yönlerinin yönetilmesi gerekir:

• Schema değişiklikleri
• Partition yapıları
• Snapshot'lar
• Metadata
• Transaction durumları

Bu nedenle modern Lakehouse mimarilerinde Apache Iceberg gibi açık table formatları kullanılabilir.

Apache Iceberg büyük analitik veri setleri için geliştirilmiş açık bir table formatıdır; schema evolution, partition evolution ve snapshot tabanlı table state gibi özellikleri destekler. Bu sayede veri object storage üzerinde açık formatlarda tutulurken kurumsal tablo yönetimi yetenekleri sağlanabilir.

Apache Iceberg

Kauzas Data Platform'un Lakehouse mimarisinde Apache Iceberg kullanılabilir.

Iceberg verinin kendisini proprietary bir database formatına kapatmak yerine Parquet, ORC veya Avro gibi veri dosyalarının üzerinde bir table metadata katmanı oluşturur. Bu mimari önemli yetenekler sağlar.

Lakehouse'u bir dosya deposu olmaktan çıkaran şey bu özelliklerdir.

Data Catalog

Bir Lakehouse içerisinde binlerce tablo bulunabilir ve bu tabloların yalnızca storage üzerinde bulunması yeterli değildir. Sistemlerin şunları bilmesi gerekir:

• Hangi tabloların bulunduğunu
• Tabloların schema'larını
• Metadata'sını
• Güncel table state'ini

Bu nedenle Lakehouse mimarisinde catalog kritik bir bileşendir.

Kauzas mimarisinde açık table formatlarıyla birlikte çalışan catalog yaklaşımı sayesinde farklı compute engine'lerinin aynı kurumsal veri katmanını kullanabileceği mimariler oluşturulabilir.

Storage ve Compute'u Ayırmak

Geleneksel veri platformlarında storage ve compute çoğu zaman aynı sistem içerisinde sıkı biçimde bağlıdır. Lakehouse mimarisinde ise iki katman ayrılabilir.

Bu ayrım sayesinde aynı verinin farklı kullanım senaryoları için tekrar tekrar başka platformlara taşınması ihtiyacı azaltılabilir. Aynı zamanda compute kapasitesi iş yüküne göre bağımsız olarak ölçeklenebilir.

Distributed SQL ile Lakehouse Verisini Sorgulamak

Lakehouse üzerinde bulunan verinin SQL ile hızlı ve ölçeklenebilir biçimde sorgulanabilmesi gerekir. Kauzas mimarisinde Trino gibi distributed SQL query engine'leri kullanılabilir.

Trino, Iceberg dahil farklı table formatlarında ve S3 ile S3 uyumlu object storage dahil farklı storage sistemlerinde bulunan verileri sorgulayabilir. Bu sayede Lakehouse verileri şu kullanımlara açılır:

• BI
• Ad-hoc analytics
• Data applications
• Farklı veri servisleri

Apache Spark ve Data Processing

Lakehouse yalnızca sorgulama katmanından oluşmaz. Verinin işlenmesi, temizlenmesi, dönüştürülmesi, zenginleştirilmesi ve makine öğrenmesi süreçlerine hazırlanması gerekir.

Kauzas Data Platform'da Apache Spark gibi dağıtık data processing teknolojileri bu iş yükleri için kullanılabilir. Böylece SQL analytics ve büyük ölçekli data processing iş yükleri aynı Lakehouse veri katmanı üzerinde çalışabilir.

Data Lakehouse ve Yapay Zekâ

AI modellerinin değeri erişebildikleri kurumsal veriyle doğrudan ilişkilidir. Bir kurumun verisi Data Warehouse, Data Lake, operasyonel veritabanı, doküman sistemi ve uygulamalarda birbirinden kopuk duruyorsa AI projeleri için tekrar tekrar yeni veri entegrasyonları oluşturmak gerekir.

Lakehouse, kurumsal verinin AI tarafından kullanılabileceği ortak veri katmanlarından biri haline gelebilir.

Modern Lakehouse mimarisi yalnızca Business Intelligence altyapısı değil, kurumsal AI altyapısının veri temelidir.

Lakehouse ve Enterprise RAG

Enterprise RAG sistemleri yalnızca dokümanlardan bilgi almak zorunda değildir. Lakehouse üzerinde bulunan structured kurumsal veri de AI uygulamalarının kullanabileceği bilgi kaynaklarından biri olabilir.

Bir kullanıcı “Geçen ay en yüksek satış artışı gösteren ürünler hangileri?” diye sorduğunda cevap structured veriden gelebilir. Ardından “Bu ürünlerin teknik özellikleri neler?” sorusunun cevabı dokümanlardan gelebilir.

Bu durumda AI sistemi structured ve unstructured kaynakları aynı konuşma içerisinde kullanabilir.

Enterprise RAG hakkında daha fazla bilgi →

Lakehouse ve AI Agent'lar

AI Agent'lar kurumsal görevleri yerine getirirken yalnızca dokümanlara değil, güncel operasyonel ve analitik verilere de ihtiyaç duyabilir. Bir Agent Lakehouse üzerinde veri sorgulayabilir, sonuçları analiz edebilir, bir makine öğrenmesi modelini kullanabilir ve ardından belirlenen kurumsal araçlarla işlem gerçekleştirebilir.

Ancak Agent'ın Lakehouse üzerindeki her veriye erişebilmesi gerekmez. Data access politikaları Agent kimliği ve kullanıcı yetkileriyle birlikte değerlendirilmelidir.

AI Agent Governance hakkında daha fazla bilgi →

Açık Lakehouse ve Vendor Lock-In

Lakehouse mimarisinde verinin açık dosya ve table formatlarında tutulması, storage ile compute katmanlarının ayrıştırılmasına yardımcı olur. Apache Iceberg gibi açık table formatları aynı veri katmanının farklı query ve processing engine'leri tarafından kullanılabilmesini sağlar.

Bu yaklaşım vendor lock-in'i tamamen ortadan kaldırmaz; ancak kurumsal verinin tek bir compute teknolojisinin veya platformun proprietary veri katmanına sıkı biçimde bağlanmasını azaltabilir.

Kauzas Data Platform, açık ve değiştirilebilir teknoloji katmanları üzerine kurulu Lakehouse yaklaşımını benimser.

Open Data Lakehouse ve vendor lock-in hakkında daha fazla bilgi →

Kauzas Data Platform ile Lakehouse

Kauzas Data Platform, Lakehouse'u tek bir proprietary teknoloji olarak değil, birlikte çalışan açık ve değiştirilebilir teknoloji katmanları olarak ele alır.

Bu mimari Kubernetes üzerinde çalıştırılabilir. Böylece kurumlar aynı Data Platform yaklaşımını on-premise, private cloud ve uygun public cloud ortamlarında kullanabilir.

Katmanlı Data & AI mimarisi →

On-Premise Lakehouse

Modern Lakehouse mimarisi belirli bir public cloud sağlayıcısına bağlı olmak zorunda değildir. S3 uyumlu object storage, açık table formatları ve Kubernetes üzerinde çalışan compute teknolojileri kullanılarak Lakehouse kurumun kendi altyapısında kurulabilir.

Trino dokümantasyonu da Lakehouse iş yüklerinin cloud object storage'ın yanında S3 uyumlu storage ve HDFS gibi farklı storage sistemleriyle çalışabildiğini gösterir. Bu nedenle aynı mimari yaklaşım farklı altyapı modellerinde uygulanabilir.

On-Premise AI Platform hakkında daha fazla bilgi →

Lakehouse Hangi Kurumlar İçin

Lakehouse yaklaşımı özellikle şu kurumlar için değerlendirilebilir:

• Çok sayıda veri kaynağı bulunan kurumlar
• Yüksek hacimli veri işleyen kurumlar
• Data Warehouse maliyetlerini veya ölçeklenebilirliğini yeniden değerlendirenler
• Analytics ve makine öğrenmesini ortak veri üzerinde çalıştırmak isteyenler
• Generative AI projeleri için kurumsal veri altyapısı oluşturanlar
• On-premise veya hybrid cloud gereksinimi bulunanlar
• Verisini proprietary storage formatlarına bağımlı hale getirmek istemeyenler

Sık Sorulan Sorular

Data Lakehouse nedir?

Data Lakehouse, Data Lake'in esnek ve ölçeklenebilir veri saklama yaklaşımıyla Data Warehouse'un tablo yönetimi ve analitik yeteneklerini bir araya getiren modern veri mimarisidir.

Data Lake ile Data Lakehouse arasındaki fark nedir?

Data Lake temel olarak farklı türlerde verilerin ölçeklenebilir biçimde saklanmasına odaklanır. Lakehouse ise bunun üzerine table management, metadata, transaction ve gelişmiş analytics yetenekleri ekler.

Apache Iceberg nedir?

Apache Iceberg büyük analitik veri setleri için geliştirilmiş açık bir table formatıdır. Schema evolution, partition evolution, hidden partitioning ve snapshot gibi özellikler sunar.

Lakehouse yapay zekâ için kullanılabilir mi?

Evet. Lakehouse üzerinde bulunan structured ve unstructured veriler makine öğrenmesi, Generative AI, RAG ve AI Agent kullanım senaryolarında kurumsal veri kaynağı olarak kullanılabilir.

Lakehouse on-premise kurulabilir mi?

Evet. Object storage, açık table formatları ve Kubernetes tabanlı compute teknolojileri kullanılarak on-premise Lakehouse mimarileri oluşturulabilir.

Kauzas Data Platform bir Lakehouse mudur?

Lakehouse, Kauzas Data Platform'un temel mimari bileşenlerinden biridir. Kauzas bunun üzerine data processing, distributed SQL, catalog, governance, orchestration ve Data & AI kullanım senaryolarını destekleyen daha geniş bir platform katmanı sağlar.