Furkan KapukayaYazılım geliştirme
Veri ve Raporlama3 dk okuma

Veri Ambarı ve ETL Nedir? Dağınık Veriyi Tek Yerde Toplamak

Veri ambarının ne olduğu, operasyonel veritabanından farkı, ETL ve ELT süreçleri, artımlı yükleme, yıldız şema ve küçük işletmeler için hafif bir raporlama veritabanı yaklaşımı.

Satışlar muhasebe programında, stok bir başka sistemde, kampanyalar reklam panelinde, müşteri iletişimi CRM'de... Her sistem kendi işini iyi yapar ama "hangi kampanyadan gelen müşteriler en kârlı?" sorusu hiçbirinde tek başına cevaplanamaz. Veri ambarı, bu dağınık verileri analiz için tek bir yerde toplar.

Operasyonel veritabanı ile farkı

Operasyonel veritabanıVeri ambarı
AmaçGünlük işlemleri yürütmekAnaliz ve raporlama
YapıÇok tablolu, normalizeAnalize uygun, sade
SorgularKısa ve çok sayıdaUzun, özetleyici
GeçmişGüncel durumZaman içindeki değişim

Ağır raporları doğrudan canlı veritabanında çalıştırmak, günlük işlemleri yavaşlatır. Ayrı bir raporlama katmanı bu çatışmayı ortadan kaldırır.

ETL ve ELT

ETL (Extract, Transform, Load), verinin kaynaklardan çekilmesi, dönüştürülmesi ve hedefe yüklenmesi sürecidir:

  1. Çek: Muhasebe, e-ticaret, CRM ve Excel dosyalarından veriyi al.
  2. Dönüştür: Formatları standartlaştır, müşterileri eşleştir, para birimlerini çevir, hatalı kayıtları ayıkla.
  3. Yükle: Raporlama veritabanına yaz.

ELT yaklaşımında ise veri önce ham haliyle yüklenir, dönüşüm hedef sistemde yapılır. Güçlü bulut veri platformlarıyla bu yaklaşım yaygınlaşmıştır.

Artımlı yükleme

Her gece tüm veriyi baştan taşımak yerine yalnızca yeni ve değişen kayıtları almak hem hızlı hem ekonomiktir. Bunun için kaynak tablolarda "son güncellenme tarihi" gibi bir alan bulunması büyük kolaylık sağlar. Silinen kayıtların nasıl yansıtılacağı ayrıca düşünülmelidir. Zamanlanmış aktarımlar için bkz. zamanlanmış görevler.

Yıldız şema

Veri ambarlarında yaygın tasarım, merkezde bir olgu (fact) tablosu ve çevresinde boyut (dimension) tablolarından oluşur:

  • Olgu: Satış kalemleri (tarih, ürün, müşteri, adet, tutar)
  • Boyutlar: Tarih, Ürün, Müşteri, Mağaza, Kampanya

Bu yapı, "ay ve ürün grubuna göre ciro" gibi soruları hızlı ve anlaşılır kılar ve BI araçlarıyla çok uyumludur.

Küçük işletmeler için hafif yaklaşım

Kurumsal veri ambarı projeleri büyük ve pahalı olabilir; ama ilke küçük ölçekte de uygulanabilir:

  • Ayrı bir küçük raporlama veritabanı (PostgreSQL veya SQL Server)
  • Gece çalışan bir konsol uygulaması ile kaynaklardan veri aktarımı
  • Birkaç temiz özet tablo
  • Üstünde Excel, BI aracı veya özel panel

Bu basit kurulum, raporlamayı canlı sistemden ayırır ve verileri tek yerde birleştirir. Entegrasyon seçenekleri için bkz. Google Sheets entegrasyonu ve SFTP otomasyonu.

Veri kalitesi ve izleme

ETL süreçleri sessizce başarısız olabilir. Her çalışmada aktarılan satır sayısını kaydetmek, beklenmedik düşüşlerde uyarı vermek ve kaynak ile hedef toplamlarını karşılaştırmak, raporlara duyulan güveni korur.

Sık sorulan sorular

Veri ambarı için büyük veri gerekli mi?

Hayır. Veri ambarının değeri veri miktarından değil, farklı kaynakları birleştirmesinden ve analiz için düzenlemesinden gelir.

Raporlar ne kadar güncel olur?

Aktarım sıklığına bağlıdır. Çoğu yönetim raporu için gece güncellenen veri yeterlidir; daha sık güncelleme gerekiyorsa aktarım aralığı kısaltılır.

Sonuç

Veri ambarı, işletmenin dağınık hafızasını tek bir masaya toplar. Küçük ve düzenli bir raporlama katmanı bile, farklı sistemlerin verisini birleştirerek daha önce sorulamayan soruları cevaplanabilir kılar.