Program
Yardımcı Veri Mühendisi SQL içinde
30 sa
Geleneksel ve Bulut Veri Ambarı Karşılaştırması
Geleneksel bir veri ambarı kurum içinde (on-premise) devreye alınır; genellikle yüksek başlangıç maliyetleri, onu yönetecek yetkin bir ekip ve geleneksel veri merkezi kaynak ölçeklemesinin katı yapısı nedeniyle artan talebe uygun planlama gerektirir.
Buna karşılık bulut veri ambarı, bir bulut hizmet sağlayıcısı tarafından barındırılır ve yönetilir. Örnekler arasında Google BigQuery, Amazon Redshift ve Snowflake bulunur.
Bulut veri ambarlarının avantajları
Genellikle, bulut veri ambarlarının geleneksel veri ambarlarına göre çeşitli avantajları vardır:
- Bulut ortamının esnekliğinden yararlanacak şekilde ölçek için tasarlanmışlardır
- Daha iyi hız ve performans sunarlar
- Esnek fiyatlandırma ve bulut ortamı, maliyet optimizasyonunu mümkün kılar (ör. düşük talep dönemlerinde küçültme)
- Tamamen veya kısmen yönetilebilirler; bu da operasyonel maliyetleri azaltır.
Satır Odaklı ve Sütun Odaklı Veritabanları
Satır odaklı veritabanına örnek:
Sütun odaklı veritabanına örnek:
Satır odaklı veritabanları, tam satır aramaları, kayıt ekleme ve güncelleme işlemlerinde iyi çalışır. Ancak analitik iş yüklerinde zorlanırlar.
Örneğin, 50 sütunlu bir tablodan üç sütunu sorgularsanız, satır odaklı bir veritabanı her satır için yine de 50 sütunun tamamını okur. Sütun odaklı bir veritabanı ise yalnızca ihtiyaç duyduğunuz üç sütunu okur; bu da ürün tahmini veya ad-hoc raporlama gibi analitik işlemler için çok daha hızlıdır.
Satır odaklı veritabanları genellikle çevrimiçi işlem işleme (OLTP) için, sütun odaklı veritabanları ise çevrimiçi analitik işleme (OLAP) için daha uygundur.
OLTP ve OLAP
- OLTP, işlem odaklı uygulamalarda kullanılan bir veritabanı sistemi türüdür. "Çevrimiçi" ifadesi, bu tür sistemlerin kullanıcı isteklerine yanıt vermesinin ve bunları gerçek zamanlı işlemesinin beklendiği anlamına gelir (yani işlemleri işler).
- Bu terim, veriye odaklanan çevrimiçi analitik işlemeyi (OLAP) karşıt olarak belirtir.
Karşılaştırmanın özeti:
|
Satır odaklı veritabanı |
Sütun odaklı veritabanı |
||||||
|
Depolama |
Satıra göre |
Sütuna göre |
|||||
|
Veri getirimi |
Tam kayıtlar |
İlgili sütunlar |
|||||
|
Tipik kullanım |
OLTP |
OLAP |
|||||
|
Hızlı işlemler |
Ekleme, Güncellemeler, Aramalar |
Raporlama amaçlı sorgulama |
|||||
|
Veri yükleme |
Genellikle kayıt bazında |
Genellikle toplu |
|||||
|
Popüler seçenekler |
Postgres, MySQL, Oracle, Microsoft SQL Server |
Snowflake, Google BigQuery, Amazon Redshift |
|||||
BigQuery Nasıl Çalışır?
BigQuery, işlem motorunu depolamadan ayırır; böylece her biri bağımsız olarak ölçeklenebilir. Sonuç: terabaytlarca veriyi saniyeler içinde, petabaytları dakikalar içinde sorgulayabilirsiniz.
BigQuery bir sorgu çalıştırdığında, sorgu motoru işi paralel olarak dağıtır; depodaki ilgili tabloları tarar, sonuçları birleştirir ve nihai veri setini döndürür.
2026’da BigQuery’nin Öne Çıkan Özellikleri
BigQuery piyasaya sürüldüğünden bu yana Google, onu geleneksel bir veri ambarının ötesine taşıyan çeşitli özellikler ekledi:
- BigQuery ML — SQL kullanarak makine öğrenimi modelleri oluşturun, eğitin ve dağıtın. Doğrusal regresyon, sınıflandırma, zaman serisi tahmini ve daha fazlasını destekler.
- BigQuery’de Gemini — Sorgu yazma, şemaları anlama ve doğal dil üzerinden veri içgörüleri üretme için yapay zekâ destekli yardım.
- BigQuery Studio — BigQuery konsolu içinde SQL, Python not defterleri ve Spark için birleşik bir çalışma alanı.
- Birleşik (federated) sorgular — Veriyi BigQuery’ye taşımadan Cloud SQL, Cloud Storage, Bigtable ve diğer kaynaklardaki verileri sorgulayın.
- BigQuery Omni — Veriyi Google Cloud’a kopyalamadan AWS veya Azure’da depolanan veriler üzerinde BigQuery analitiği çalıştırın.
BigQuery’ye Nasıl Başlanır
BigQuery sandbox, kredi kartı veya faturalama hesabı gerekmeden BigQuery’yi denemenizi sağlar. Bu bölümde, BigQuery’ye nasıl erişileceğini ve sandbox kullanarak ilk projenizi nasıl kuracağınızı adım adım göstereceğim.
BigQuery’ye Google Cloud Konsolu üzerinden erişilebilir. Bir Google hesabıyla oturum açmanız (veya bir hesap oluşturmanız) gerekir. Oturum açtıktan sonra bir karşılama ekranı görünecektir:
Sol menü çubuğunda BigQuery’yi bulabilirsiniz. Tıkladığınızda aşağıdaki ekrana gidersiniz:
BigQuery sandbox’ı kullanma
BigQuery sandbox’ı kullanmak için önce ‘Select Project’ (Proje Seç) butonuna tıklayarak bir proje oluşturun.
Ardından ‘New Project’ (Yeni Proje) seçeneğine tıklayın:
Bir proje adı girmeniz gerekir; bu rehberde datacamp-guide-project kullanıyoruz
Artık BigQuery sayfasında bir sandbox bildirimi gösterilir; bu, BigQuery sandbox’ı başarıyla etkinleştirdiğinizi gösterir.
BigQuery sandbox artık etkin olduğuna göre, yeni projenizi veri yüklemek ve sorgulamak için kullanabilir, ayrıca Google’ın herkese açık veri kümelerini sorgulayabilirsiniz.
Veri kümesi ve tablo oluşturma
Tablo oluşturmadan önce yeni projenizde bir veri kümesi (dataset) oluşturmanız gerekir. Veri kümesi; bir dizi tablo ve görünüme erişimi düzenlemek ve denetlemek için kullanılan üst düzey bir kapsayıcıdır. Veri kümesi oluşturmak için projenin ‘Actions’ (İşlemler) simgesine tıklayın:
Bu rehber kapsamında ‘Dataset ID’ alanını ‘main’ olarak dolduracağız.
Bir tabloyu SQL kullanarak oluşturabilirsiniz. BigQuery, ANSI uyumlu GoogleSQL kullanır.
CREATE TABLE datacamp-guide-project.main.users (
id INT64 NOT NULL,
first_name STRING NOT NULL,
middle_name STRING,
last_name STRING NOT NULL,
active_account BOOL NOT NULL
);BigQuery Konsolu arayüzünü de kullanabilirsiniz:
Not: Sandbox ortamındayken veri eklemek mümkün değildir. Veri eklemeyi denemek isterseniz, ücretsiz denemeyi etkinleştirmeniz gerekir. Sonraki bölümler Google Cloud kapsamında sunulan herkese açık veri kümelerini sorgulamaya odaklanır.
BigQuery Konsolu ile herkese açık bir veri kümesini sorgulama
Herkese açık bir veri kümesini sorgulamak için aşağıdaki adımları izleyin:
1. Explorer’ın yanındaki ‘Add’ (Ekle) butonuna tıklayın.
2. Ardından bir veri kümesi seçin.
3. ‘Google Trends’ araması yapın ve Google Trends’i seçin; ardından ‘View dataset’ (Veri kümesini görüntüle) butonuna tıklayın.
4. bigquery-public-data, uzun bir veri kümesi listesiyle görünecektir. bigquery-public-data’yı yıldızlayın ki gezginde sabit kalsın
Google Trends Veri Kümesini Kullanarak Uygulamalı Örnek
top_terms tablosunu kullanacağız:
top_terms tablosuna tıklayıp açın ve top_terms verileri hakkında daha fazla bilgi edinmek için Details ve Preview sekmelerini inceleyin.
Aşağıdaki örnekte olduğu gibi, son iki haftada birinci sırada yer alan terimleri getirmek için veri kümesini sorgulayabilirsiniz:
SELECT
term
FROM
bigquery-public-data.google_trends.top_terms
WHERE
rank = 1
AND refresh_date >= DATE_SUB(CURRENT_DATE(), INTERVAL 2 WEEK)
GROUP BY
termSonuçlar (değişkenlik gösterebilir):
BigQuery Fiyatlandırması
BigQuery fiyatlandırması iki ana bileşenden oluşur: işlem (sorgu işleme) ve depolama.
| Bileşen | Ücretsiz katman | Ücretli fiyatlandırma |
|---|---|---|
| Talep bazlı sorgular | Ayda 1 TiB | TiB başına $6.25 |
| Depolama (aktif) | 10 GiB | GiB/ay başına $0.02 |
| Depolama (uzun vadeli) | 10 GiB | GiB/ay başına $0.01 |
| Akış eklemeleri | Yok | 200 MB başına $0.05 |
İş yükleri öngörülebilir olan ekipler için BigQuery, kapasite rezervasyonları (BigQuery Editions) aracılığıyla sabit ücretli fiyatlandırma da sunar. Güncel ücretler için resmi fiyatlandırma sayfasını kontrol edin.
Son Düşünceler
BigQuery, bulut veri ambarına giriş için en erişilebilir seçeneklerden biridir. Sandbox, risksiz bir deneme ortamı sunar ve ayda 1 TiB ücretsiz sorgu hakkı, herkese açık veri kümelerini hiçbir ücret ödemeden keşfetmenize imkân verir. Daha fazlasına ihtiyaç duyduğunuzda, Google Cloud’un ücretsiz denemesi 300 $’lık kredi sağlar.
Burada öğrendiklerinizi geliştirmek isterseniz, DataCamp’teki Introduction to BigQuery kursunu öneririm; bu kursta sorgu optimizasyonu ve daha büyük veri kümeleriyle çalışma ele alınır. Daha geniş bir veri mühendisliği bakışı için Data Engineer in Python öğrenim yolu, alımdan ambarlamaya kadar tüm boru hattını kapsar.
Ayrıca BigQuery ve Redshift ile BigQuery ve Snowflake karşılaştırmalarımızda BigQuery’nin alternatiflerle nasıl kıyaslandığını inceleyebilir veya BigQuery mülakat soruları rehberimizle görüşmelere hazırlanabilirsiniz.
Konular
