<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Emirhan AKSU on Medium]]></title>
        <description><![CDATA[Stories by Emirhan AKSU on Medium]]></description>
        <link>https://medium.com/@emrhnaksu?source=rss-833a3ed6adbb------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*bGho5BbZ3A2e0xZH5dPBQg.jpeg</url>
            <title>Stories by Emirhan AKSU on Medium</title>
            <link>https://medium.com/@emrhnaksu?source=rss-833a3ed6adbb------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 17:03:08 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@emrhnaksu/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Airflow 3 Rehberi — 1: Yenilikler, Docker/VM Kurulum ve Örnek Proje]]></title>
            <link>https://emrhnaksu.medium.com/airflow-3-rehberi-1-yenilikler-docker-vm-kurulum-ve-ornek-proje-b1d87a901f6b?source=rss-833a3ed6adbb------2</link>
            <guid isPermaLink="false">https://medium.com/p/b1d87a901f6b</guid>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[etl]]></category>
            <category><![CDATA[apache]]></category>
            <category><![CDATA[docker]]></category>
            <dc:creator><![CDATA[Emirhan AKSU]]></dc:creator>
            <pubDate>Thu, 21 Aug 2025 15:05:02 GMT</pubDate>
            <atom:updated>2025-08-21T15:05:02.663Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*nHDgi7hBmnSElPu5Gw5Wug.png" /></figure><h3>Airflow 3 Rehberi — 1: Yenilikler, Docker/VM Kurulum ve Örnek Proje</h3><p>Bu yazıda <strong>Airflow 3.0.0</strong> ile ilgili hem merak edilenleri hem de pratik kullanım yollarını konuşacağız.</p><p><em>Bu rehber kişisel kullanım ve öğrenme amaçlıdır.</em> Kurumsal/production ortamlarında gerekli olan güvenlik, erişim/yetkilendirme, ölçeklenebilirlik, gözlemlenebilirlik (monitoring/alerting), CI/CD ve maliyet optimizasyonu gibi konular <strong>kapsam dışıdır</strong>; bu nedenle burada anlatılan kurulum ve ayarlar <strong>tek başına production için uygun değildir</strong>.</p><p><em>Devam yazısında</em> Airflow 3 ile <strong>SparkSubmitOperator</strong>, <strong>JDBC Operator</strong> (ve ilgili provider’lar) kullanılarak daha <strong>dedike ve production odaklı</strong> bir mimari kuracağız: gizli anahtar yönetimi (Secrets), bağlantılar/bağdaştırıcılar, yeniden başlatma stratejileri, backfill ve asset-tetiklemeli akışların gözlemlenmesi gibi başlıkları ayrıntılı ele alacağız.</p><p><strong>Apache Airflow</strong>, veri mühendisliği dünyasında akış (workflow) orkestrasyonu denince uzun zamandır ilk akla gelen araçlardan biri. <strong>Airflow 3</strong> sürümüyle gelen yenilikler, bu güçlü platformu daha <strong>esnek</strong>, <strong>güvenli</strong> ve <strong>modern</strong> hâle getiriyor.</p><p>Bu yazıda; Airflow 3’ün getirdiği değişikliklere değinecek, <strong>Docker</strong> ve <strong>Azure sanal makine (VM)</strong> üzerinde nasıl kurulum yaptığımı paylaşacak ve mimari/kavramları örneklerle açıklayacağım. Hadi başlayalım!</p><h3>✈️ Apache Airflow Nedir?</h3><p><strong>Apache Airflow</strong>, belirli görevleri (<em>task</em>) belirli bir sırada ve zamanlamayla çalıştırmak için kullanılan, Python tabanlı, açık kaynak bir <strong>iş akışı (workflow) yönetim sistemi</strong>dir. “Şu görevi bitir, sonra bu görevi çalıştır” mantığını Python dosyalarıyla çok <strong>okunaklı</strong> şekilde modellemenizi sağlar.</p><p>Airflow, <strong>DAG (Directed Acyclic Graph)</strong> adı verilen yapılar üzerinde çalışır. Her <strong>DAG</strong> bir iş akışını temsil eder; DAG içindeki her <strong>task</strong> ise belirli bir sırayla (veya paralel) çalıştırılır.</p><p><strong>Airflow’un sunduğu temel avantajlar:</strong></p><ul><li>🕒 <strong>Zamanlama (Scheduling)</strong>: Cron benzeri zamanlayıcılar ve gelişmiş programlama</li><li>🔗 <strong>Bağımlılık yönetimi</strong>: Görevler arası ilişkilerin kolay tanımı</li><li>📊 <strong>Web arayüzü</strong>: Takibi kolay, görsel ve güçlü bir UI</li><li>🔁 <strong>Retry / hata yönetimi / loglama</strong>: Üretim senaryoları için sağlam temel</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*JgOWwR4id6Cp3s-h.png" /></figure><h3>🧩 Airflow Mimarisi: Temel Bileşenler</h3><p>Airflow modülerdir ve bileşenler birbirinden bağımsız süreçler olarak çalışır:</p><h3>1) Web UI / API Server</h3><ul><li>DAG’leri görselleştirir, <strong>manuel tetikleme</strong> yapar, <strong>log</strong>lara erişirsin.</li><li>RBAC (Role-Based Access Control) ile yetkilendirme yönetimi yapılır.</li></ul><h3>2) Scheduler</h3><ul><li>DAG tanımlarını okuyarak <strong>hangi görevin ne zaman</strong> çalışacağını hesaplar.</li><li>Her çalıştırma için <strong>DAG Run</strong>, her görev için <strong>Task Instance</strong> oluşturur.</li></ul><pre>airflow scheduler</pre><h3>3) Worker / Executor</h3><ul><li>Kuyruktaki işleri alır, <strong>çalıştırır</strong> ve sonuçları kaydeder.</li><li>Local, Celery, Kubernetes gibi farklı <strong>executor</strong> seçenekleriyle <strong>ölçeklenebilir</strong>.</li></ul><h3>4) Metastore (Metadata DB)</h3><ul><li>Airflow’un <strong>belleği</strong> gibidir: DAG run’ları, task instance’lar, değişkenler, bağlantılar vb. burada tutulur.</li><li><strong>Not:</strong> <strong>Loglar</strong> varsayılan olarak dosya sisteminde (veya S3/GCS/ES gibi <strong>remote logging</strong> sağlayıcılarında) saklanır; metastore’da <strong>log</strong> tutulmaz.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*B3J4aWl1Se6-WI0S.png" /></figure><h3>⏱️ Zamanlama Mantığı (Scheduling)</h3><ul><li><strong>start_date</strong>: İlk çalıştırmanın başlangıç zamanını ifade eder.</li><li><strong>catchup</strong>: Geçmiş periyotlarda kaçırılan çalışmaları <strong>tamamlamayı</strong> sağlar. False ise yalnızca ileriye dönük çalışır.</li><li>Airflow 3, <strong>schedule</strong> alanıyla (tekleşmiş API) zaman tabanlı veya <strong>event/asset tabanlı</strong> akışları sade bir biçimde modellemenize izin verir.</li></ul><p><strong>Günlük DAG örneği:</strong></p><p>@daily zamanlı bir DAG, <strong>10 Temmuz</strong> periyodunu <strong>11 Temmuz 00:00</strong> civarında (periyot bittiğinde) işler. Bu, Airflow’un “veri aralığı” (data interval) mantığının doğal sonucudur.</p><p><strong>Execution Date Örneği:</strong></p><p>Bir günlük DAG’in execution_date=2025-07-10 ise, 10 Temmuz verisini <strong>11 Temmuz 00:00&#39;da</strong> işler.</p><h3>Görevlerin Organizasyonu: TaskGroup</h3><p>TaskGroup, görevleri mantıksal olarak gruplayarak hem kod hem de UI tarafında düzen sağlar.</p><pre>with TaskGroup(&quot;transformations&quot;) as tg:<br>    clean = PythonOperator(...)<br>    enrich = PythonOperator(...)</pre><p><strong>Fan-out / Fan-in</strong> gibi paralel akışlar veya gruplar arası bağımlılıklar bu sayede daha okunur hale gelir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/879/0*_oSKHp7xRr8alWQZ.png" /></figure><h3>Görevler Arası Veri Paylaşımı: XCom</h3><p>Küçük verileri görevler arasında paylaşmak için <strong>XCom</strong> kullanılır (metadata DB’de küçük JSON yapıları). Büyük veri için harici depolar (S3/GCS/DB) tercih edilir.</p><pre>def extract(**ctx):<br>    ctx[&#39;ti&#39;].xcom_push(key=&#39;sales&#39;, value=df.to_json())</pre><pre>def transform(**ctx):<br>    raw = ctx[&#39;ti&#39;].xcom_pull(key=&#39;sales&#39;, task_ids=&#39;extract&#39;)</pre><p><strong>Dikkat:</strong> XCom boyutu 48 kB ile sınırlıdır. Büyük veri transferlerinde S3/GCS gibi harici depolar kullanılmalıdır.</p><h3>🌳 Koşullu Akışlar ve Branching</h3><p>Koşula göre farklı görev yollarını seçmek için <strong>branching</strong> kullanılır.</p><p><strong>Örnek: BranchPythonOperator</strong></p><pre>from airflow.decorators import task</pre><pre>@task.branch<br>def choose_path(execution_date=None, **_):<br>    import pendulum<br>    # Hafta sonuysa weekend_task&#39;i, değilse weekday_task&#39;i seç<br>    dt = execution_date or pendulum.now()<br>    return &quot;weekend_task&quot; if dt.weekday() &gt;= 5 else &quot;weekday_task&quot;</pre><h3>Dinamik Task Üretimi</h3><p>Klasik for döngüsü yerine <strong>Task Mapping</strong> ile çalışma anında görev sayısını belirlemek mümkündür.</p><pre>from airflow.decorators import task</pre><pre>@task<br>def process_region(country):<br>    ...</pre><pre>regions = [&quot;TR&quot;, &quot;DE&quot;, &quot;FR&quot;, &quot;US&quot;]<br>process_region.expand(country=regions)</pre><h3>👀 Sensörler: Bekleyen Görevler</h3><ul><li><strong>poke</strong>: Worker’ı sürekli meşgul eder (kısa beklemeler)</li><li><strong>reschedule</strong>: Beklerken worker’ı boşaltır</li><li><strong>deferrable</strong>: Airflow 3 ile <strong>kaynak dostu</strong> bekleme (Triggerer süreciyle)</li></ul><h3>⏳ SLA, Retry ve Timeout</h3><ul><li><strong>SLA</strong>: Bir görev belirli sürede bitmezse <strong>SLA ihlali</strong> kaydı düşer (uyarı/raporlama amaçlı).</li><li><strong>Retry</strong>: Hata alan görevler, tanımlanan sayıda yeniden denenir.</li><li><strong>Timeout</strong>: Belirlenen sürede tamamlanmayan görev <strong>başarısız</strong> sayılır.</li></ul><h3>🔗 DAG’ler Arası İletişim</h3><ul><li><strong>ExternalTaskSensor</strong>: Başka DAG’deki bir görevi bekler.</li><li><strong>TriggerDagRunOperator</strong>: Programatik olarak başka bir DAG’i tetikler.</li><li><strong>Asset (eski Dataset)</strong>: Bir varlık (dosya/tabla) güncellendiğinde bağımlı DAG’leri tetikler.</li></ul><h3>🧪 İzleme ve Loglama</h3><ul><li>Web UI’da <strong>Graph</strong>, <strong>Gantt</strong>, <strong>Tree</strong> görünümleri ve <strong>log</strong> erişimi.</li><li>Üretimde <strong>remote logging</strong> (S3/GCS/Elasticsearch) önerilir.</li></ul><h3>🚀 Airflow 3 ile Gelen Önemli Yenilikler</h3><p>Airflow 3 sürümündeki yenilikler, genel olarak platformu daha <strong>ölçeklenebilir</strong>, <strong>kullanıcı dostu</strong> ve <strong>bulut tabanlı senaryolara uyumlu</strong> hale getirmek için yapılmıştır. Bu sürümle birlikte performans artışı, modern veri mühendisliği ekosistemleriyle daha kolay entegrasyon ve yönetimsel basitlik ön planda tutulmuştur. Ayrıca güvenlik, hata toleransı ve izlenebilirlik geliştirilerek, büyük ölçekli veri iş akışlarının daha verimli ve sorunsuz çalışması hedeflenmiştir. Yani yapılan yenilikler temel olarak, Airflow’u güncel veri mimarilerinin ihtiyaçlarına daha uygun ve uzun vadede sürdürülebilir kılmaya yöneliktir.</p><p>Airflow 3, 2.x sürümlerine kıyasla daha <strong>modern, hızlı ve esnek</strong> bir yapıya sahiptir. 2.x sürümlerinde temel stabilite ve kullanım kolaylığı sağlanırken, 3 ile birlikte özellikle <strong>ölçeklenebilirlik</strong>, <strong>bulut uyumluluğu</strong> ve <strong>entegre çalışma imkânları</strong> ön plana çıkmıştır. Ayrıca 3 sürümü, 2.x’te var olan bazı sınırlamaları gidererek daha <strong>güvenli</strong>, <strong>kapsamlı</strong> ve <strong>geleceğe dönük</strong> bir platform haline gelmiştir.</p><h3>1) airflow.sdk ile stabil DAG yazım arayüzü</h3><p>Artık DAG ve task’ları <strong>stabil</strong> bir isim alanından içe aktarıyoruz. Bu, geleceğe dönük uyumluluk için önerilen yol. <a href="https://airflow.apache.org/docs/apache-airflow/3.0.0/release_notes.html">Apache Airflow</a></p><pre># Airflow 2.x (eski)<br># from airflow.models import DAG<br># from airflow.decorators import task<br><br># Airflow 3.x (yeni ve stabil)<br>from airflow.sdk import DAG, task<br><br>with DAG(dag_id=&quot;sdk_demo&quot;, schedule=None, catchup=False) as dag:<br>    @task<br>    def hello():<br>        print(&quot;Hello from airflow.sdk!&quot;)<br>    hello()</pre><h3>2) Tekleşmiş zamanlama alanı: schedule</h3><p>schedule_interval ve timetable artık yok; hepsi <strong>schedule</strong> altında birleşti. Hem zaman temelli hem de event/asset temelli planlamayı sadeleştiriyor. <a href="https://airflow.apache.org/docs/apache-airflow/3.0.0/release_notes.html">Apache Airflow</a></p><pre>from airflow.sdk import DAG<br><br># Eski: schedule_interval=&quot;@daily&quot;<br># Yeni: schedule=&quot;@daily&quot;<br>with DAG(dag_id=&quot;daily_job&quot;, schedule=&quot;@daily&quot;, catchup=False) as dag:<br>    ...</pre><h3>3) Dataset → Asset dönüşümü ve @asset dekoratörü</h3><p>Airflow 3’te “Dataset” kavramı “<strong>Asset</strong>” olarak adlandırıldı ve event-driven akışlar için daha doğal bir model geldi. @asset ile asset merkezli tanım yapabiliyoruz. <a href="https://airflow.apache.org/docs/apache-airflow/3.0.0/release_notes.html">Apache Airflow</a></p><p>Event-driven akışlar için daha doğal bir model. Asset üretimi/tüketimiyle akışlar birbirine bağlanır.</p><p><strong>Üretici (CSV)</strong></p><pre>from airflow.sdk import DAG, task, Asset<br>from pathlib import Path<br>import random, datetime<br><br>raw = Asset(&quot;file:///opt/airflow/data/users.csv&quot;)  # ham veri<br><br>with DAG(dag_id=&quot;producer_csv_dag&quot;, schedule=&quot;* * * * *&quot;, catchup=False):<br>    @task(outlets=[raw])  # bu task &#39;raw&#39; asset&#39;ini üretir<br>    def write_users():<br>        path = Path(&quot;/opt/airflow/data/users.csv&quot;)<br>        now = datetime.datetime.now().isoformat(timespec=&quot;seconds&quot;)<br>        rid = random.randint(100, 999)<br>        content = (<br>            &quot;id,name,timestamp,rand\n&quot;<br>            f&quot;{rid},Ada,{now},{random.random():.5f}\n&quot;<br>            f&quot;{rid+1},Linus,{now},{random.random():.5f}\n&quot;<br>        )<br>        path.write_text(content)<br><br>    write_users()<br><br></pre><p>Tüketici (Parquet)</p><pre># consumer_asset.py<br>import pandas as pd<br>from pathlib import Path<br>from airflow.sdk import DAG, Asset, task<br><br>raw = Asset(&quot;file:///opt/airflow/data/users.csv&quot;)<br>curated = Asset(&quot;file:///opt/airflow/data/users.parquet&quot;)<br><br>with DAG(dag_id=&quot;users_clean_dag&quot;, schedule=[raw], catchup=False):<br>    @task(inlets=[raw], outlets=[curated])<br>    def users_cleaned():<br>        input_path = Path(&quot;/opt/airflow/data/users.csv&quot;)<br>        output_path = Path(&quot;/opt/airflow/data/users.parquet&quot;)<br><br>        if not input_path.exists():<br>            raise FileNotFoundError(f&quot;{input_path} not found&quot;)<br><br>        df = pd.read_csv(input_path)<br>        df.to_parquet(output_path, index=False)<br>        print(f&quot;[SUCCESS] Converted {input_path} → {output_path}&quot;)<br><br>    users_cleaned()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*0shsxQl8EoRQPNQZ1iwTmg.png" /></figure><h3>4) DAG Versiyonlama</h3><p>Artık DAG yapısal değişiklikleri (task adı/dependency vs.) metadata DB’de <strong>versiyonlanıyor</strong>; UI/API’den geçmiş yapıları görebiliyorsun. Kodda ekstra bir şey yapmana gerek yok — Airflow takip ediyor</p><h3>1. İlk Sürüm (transform)</h3><pre># dags/versioned_dag.py<br>from airflow.sdk import DAG, task<br>with DAG(dag_id=&quot;versioned_dag&quot;, schedule=&quot;@daily&quot;, catchup=False):<br>    @task<br>    def transform():<br>        print(&quot;Version 1 - transform() running&quot;)<br>    transform()</pre><h3>✨ Bu haliyle:</h3><ul><li>DAG adı: versioned_dag</li><li>Tek task: transform</li><li>airflow dags backfill versioned_dag -s 2025-08-20 -e 2025-08-21 gibi komutlarla çalıştırabilirsin.</li><li>UI &gt; DAG Graph view üzerinden görebilirsin.</li></ul><h3>2. İkinci Sürüm (transform_v2)</h3><p>Şimdi transform fonksiyonunun adını değiştiriyoruz:</p><pre># dags/versioned_dag.py  (güncel hali)<br>from airflow.sdk import DAG, task<br>with DAG(dag_id=&quot;versioned_dag&quot;, schedule=&quot;@daily&quot;, catchup=False):<br>    @task<br>    def transform_v2():  # task adı değiştirildi<br>        print(&quot;Version 2 - transform_v2() running&quot;)<br>    transform_v2()</pre><h3>✨ Bu değişiklikle:</h3><ul><li>Airflow <strong>otomatik olarak eski DAG yapısını saklar.</strong></li><li>UI &gt; DAG &gt; “Graph” sekmesinde “Version” seçeneği belirebilir.</li><li>Geçmiş DAG run’ları eski task ID (transform) ile ilişkilendirilmiş kalır.</li><li>Yeni DAG run’ları transform_v2 task’ını kullanır.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/738/1*bnxpthNMNiaf3ym0t7splA.png" /></figure><h3>5) Varsayılan Zamanlama Davranışları Güncellendi</h3><h3>🔧 Ne Değişti?</h3><h3>1. catchup_by_default = False oldu</h3><ul><li>Önceden: True idi → Airflow geçmiş tarihleri otomatik olarak <strong>“catchup” (arkayı doldurma)</strong> ile çalıştırırdı.</li><li>Şimdi: <strong>Varsayılan olarak geçmişe dönük DAG run’ları yapılmıyor.</strong></li></ul><h3>2. schedule = None oldu</h3><ul><li>Önceden: Yeni DAG’lar @once ile <strong>bir kez</strong> tetiklenirdi.</li><li>Şimdi: None → <strong>otomatik tetikleme yok</strong>, sadece <strong>manuel tetikleme</strong> ile çalışır.</li></ul><h3><strong>🐳</strong>Docker Kurulumu (Basit — Geliştirme Amaçlı)</h3><p>docker-compose.yml</p><pre>services:<br>  airflow:<br>    image: apache/airflow:3.0.0<br>    container_name: airflow<br>    environment:<br>      - AIRFLOW__CORE__EXECUTOR=LocalExecutor<br>      - AIRFLOW__CORE__FERNET_KEY=YOUR_FERNET_KEY<br>      - AIRFLOW__CORE__SQL_ALCHEMY_CONN=sqlite:////opt/airflow/airflow.db<br>    ports:<br>      - &quot;8080:8080&quot;<br>    volumes:<br>      - ./dags:/opt/airflow/dags<br>      - ./data:/opt/airflow/data<br>      - ./logs:/opt/airflow/logs<br>      - ./plugins:/opt/airflow/plugins<br>    command: &gt;<br>      bash -c &quot;airflow standalone&quot;</pre><h3>💻 Sanal Makine Üzerinde Airflow 3 Kurulumu (PostgreSQL ile)</h3><p>Docker haricinde, bazen Airflow’u doğrudan bir <strong>Ubuntu VM</strong> üzerinde çalıştırmak gerekir. Bu senaryoda genellikle PostgreSQL de aynı makinada (localhost) çalışır. Aşağıda kendi kurulum deneyimime dayalı, sade ama işlevsel bir kurulum adımı paylaşıyorum.</p><h3>🧱 Sistem Gereksinimleri</h3><ul><li>Ubuntu 22.04 LTS (veya benzeri bir Linux dağıtımı)</li><li>Python 3.9+</li><li>PostgreSQL 13+</li><li>pip, virtualenv</li><li>[Opsiyonel] Airflow 3 için ayrı bir kullanıcı (airflow) açman iyi olur</li></ul><h3>🔧 1. Ortam Kurulumu</h3><pre>sudo apt update &amp;&amp; sudo apt install -y python3.9 python3.9-venv python3-pip postgresql<br># Kullanıcı oluştur (opsiyonel)<br>sudo adduser airflow<br>sudo su - airflow<br># Sanal ortam kur<br>python3.9 -m venv airflow_venv<br>source airflow_venv/bin/activate</pre><h3>📦 2. Airflow 3.0.0 Kurulumu</h3><pre>pip install --upgrade pip setuptools wheel<br># Airflow sürümünü sabitle<br>AIRFLOW_VERSION=3.0.0<br>PYTHON_VERSION=&quot;3.9&quot;<br>CONSTRAINT_URL=&quot;&lt;https://raw.githubusercontent.com/apache/airflow/constraints-${AIRFLOW_VERSION}/constraints-${PYTHON_VERSION}.txt&gt;&quot;<br>pip install &quot;apache-airflow==${AIRFLOW_VERSION}&quot; --constraint &quot;${CONSTRAINT_URL}&quot;</pre><blockquote><em>İpucu: Eğer DAG’ların içinde Spark, Snowflake gibi operatörler kullanacaksan apache-airflow-providers-* paketleri ekleyebilirsin.</em></blockquote><h3>🗄️ 3. PostgreSQL Yapılandırması</h3><pre>sudo -u postgres psql</pre><pre>#SQL ekranında:<br>CREATE DATABASE airflow;<br>CREATE USER airflow WITH PASSWORD &#39;airflow&#39;;<br>GRANT ALL PRIVILEGES ON DATABASE airflow TO airflow;</pre><blockquote><em>PostgreSQL dışarıdan bağlantı kabul etmiyorsa pg_hba.conf ve postgresql.conf dosyalarını kontrol et.</em></blockquote><h3>⚙️ 4. Airflow Ayarları (~/.bashrc veya ~/.env)</h3><pre>export AIRFLOW__CORE__EXECUTOR=LocalExecutor<br>export AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@localhost/airflow<br>export AIRFLOW__CORE__LOAD_EXAMPLES=False</pre><blockquote><em>Airflow 3 ile birlikte catchup_by_default varsayılan olarak False gelir.</em></blockquote><h3>🚀 5. Airflow Servislerini Başlatma</h3><pre>airflow db migrate  # İlk kurulumda init yerine migrate kullan<br># Ayrı terminalde başlatılacak servisler:<br>airflow api-server<br>airflow scheduler<br>airflow dag-processor<br># (Deferrable operatör kullanıyorsan airflow triggerer da açılır)</pre><p>Her süreç ayrı terminalde veya tmux, systemd ile yönetilebilir.</p><p>Airflow 3’te:</p><ul><li>Artık airflow users create komutu <strong>yok</strong>.</li><li>Bunun yerine, ya kodla ya da environment variable ile <strong>admin user</strong> tanımlarsın.</li></ul><h3>🔸 Çözüm: Otomatik admin user tanımı</h3><p>Eğer kullanıcı istiyorsan, ~/.bashrc veya env üzerinden şunu ekleyebilirsin:</p><pre>export AIRFLOW__SDK__AUTO_CREATE_DEV_USER=True<br>export AIRFLOW__SDK__DEV_USERNAME=admin<br>export AIRFLOW__SDK__DEV_PASSWORD=admin</pre><p>veya terminalde doğrudan:</p><pre>AIRFLOW__SDK__AUTO_CREATE_DEV_USER=True \\<br>AIRFLOW__SDK__DEV_USERNAME=admin \\<br>AIRFLOW__SDK__DEV_PASSWORD=admin \\<br>airflow api-server</pre><h3>✅ Kurulum Sonrası Kontrol Listesi</h3><ul><li>http://&lt;ip&gt;:8080 üzerinden UI erişimi</li><li>PostgreSQL bağlantısı sorunsuz</li><li>DAG’lar yükleniyor ve loglar çalışıyor</li><li>(Varsa) Triggerer çalışıyorsa deferrable operatorlar test edilebilir</li></ul><h3>🔄 Airflow 2 vs Airflow 3: Neler Değişti?</h3><p>Airflow 3, sadece birkaç yeni özellik değil; aynı zamanda mimari ve kullanım açısından önemli değişimleri beraberinde getiriyor. Eğer Airflow 2 kullanılıyorsa, bu tablo geçişte büyük kolaylık sağlayacak 👇</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/914/1*f1-2pPrSXUnfU5zFDig1mw.png" /></figure><h3>Örnek Proje: “Weather Data Pipeline” (Airflow 3 ile)</h3><p><strong>Amaç:</strong> OpenWeather API’den saatlik hava durumu verilerini çekip <strong>Spark</strong> ile işleyerek <strong>PostgreSQL</strong>’e yüklemek; tüm akışı <strong>Airflow DAG</strong> ile otomatikleştirmek.</p><p><strong>Dizin yapısı (özet):</strong></p><ul><li>dags/weather_etl.py — ETL DAG tanımı</li><li>spark-app/ — Spark uygulaması ve submit script</li><li>postgres/init.sql — Başlangıç şeması ve tablo</li><li>docker-compose.yaml, Dockerfile — servis orkestrasyonu</li></ul><p><strong>Kısa kurulum:</strong></p><pre>git clone https://github.com/eqselans/weather-data-pipeline<br>cd weather-data-pipeline<br><br># .env dosyasını (WEATHER_API_KEY vb.) doldur<br>docker compose up -d --build<br><br># Airflow UI: localhost:8080<br># Spark/DB servisleri compose ile ayağa kalkar<br># Scheduler&#39;ı başlat:<br>docker compose exec airflow airflow scheduler</pre><p>🙏 <strong>Teşekkürler</strong><br>Buraya kadar okuduğunuz için teşekkür ederim. Umarım bu yazı, Airflow 3’ü daha yakından tanımanız için faydalı olmuştur. Daha detaylı devam yazısını da yakında paylaşıyor olacağım. Görüş ve önerilerinizi paylaşmanız beni çok mutlu eder 🚀</p><p>🟦 <strong>Kaynaklar</strong></p><ul><li><strong>Airflow 3.0 Resmî Duyurusu (Blog):</strong> “Apache Airflow® 3 is Generally Available!” <a href="https://airflow.apache.org/blog/airflow-three-point-oh-is-here/?utm_source=chatgpt.com">Apache Airflow</a></li><li><strong>Airflow 3.0 Sürüm Notları:</strong> (Resmî dokümantasyon) <a href="https://airflow.apache.org/docs/apache-airflow/stable/release_notes.html?utm_source=chatgpt.com">Apache Airflow</a></li><li><strong>Airflow 3: Docker Compose (Resmî kılavuz):</strong> servisler ve örnek compose dosyası <a href="https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html">Apache Airflow</a></li><li><strong>Upgrading to Airflow 3 (catchup varsayılanı):</strong> (Resmî doc) <a href="https://airflow.apache.org/docs/apache-airflow/stable/installation/upgrading_to_airflow3.html?utm_source=chatgpt.com">Apache Airflow</a></li><li><a href="https://github.com/eqselans/weather-data-pipeline"><strong>Weather Data Pipeline GitHub Reposu</strong></a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b1d87a901f6b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[SQL Nedir? Veri Sorgulama ve İşleme]]></title>
            <link>https://emrhnaksu.medium.com/sql-nedir-veri-sorgulama-ve-i%CC%87%C5%9Fleme-04fd57330f57?source=rss-833a3ed6adbb------2</link>
            <guid isPermaLink="false">https://medium.com/p/04fd57330f57</guid>
            <category><![CDATA[sql]]></category>
            <category><![CDATA[database]]></category>
            <category><![CDATA[development]]></category>
            <category><![CDATA[data]]></category>
            <category><![CDATA[technology]]></category>
            <dc:creator><![CDATA[Emirhan AKSU]]></dc:creator>
            <pubDate>Mon, 25 Nov 2024 10:52:48 GMT</pubDate>
            <atom:updated>2024-11-25T10:54:05.371Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4vofzNX-huS8M_vEIfhFfg.jpeg" /></figure><p><strong>SQL’in Tanımı ve Tarihçesi</strong></p><p><strong>SQL Nedir?</strong></p><p>SQL (Structure Query Language-Yapılandırılmış Sorgu Dili) , ilişkisel veritabanlarını yönetmek ve veri manipülasyonları için kullanılan standart bir dildir. SQL ile yalnızca veritabanlarında işlemler yapılabilir, veritabanında bulunan sistemlere</p><ul><li>Veri Sorgulama</li><li>Veri Ekleme</li><li>Veri Güncelleme</li><li>Veri Silme</li></ul><p>gibi işlemler yapılabilir.</p><p><strong>Tarihçesi</strong></p><p>Veri tabanı yaklaşımı ile birlikte verilerin sorgulanabilmesi ve üzerinde işlemler yapılabilmesi için bir dile ihtiyaç duyulmuştur. Bunun için ilk başta matematiksel bir sözdizimine sahip olan SQUARE dili geliştirilmiştir. Daha sonrasında geniş kitleler tarafından kolayca kullanılabilmesi açısından SQUARE dilinden vazgeçilip, tıpkı İngilizce gibi sözdizimine sahip olan SEQUEL (Structured English Query Language) dili geliştirilmiştir. Daha sonrasında da bu dil SQL olarak adlandırılmıştır.</p><p><strong>Veri Tabanı Yönetim Sistemleri</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EsccE1eRcYLUWgWvMnG5Jg.png" /></figure><p><strong>Veri Tabanı Yönetim Sistemleri Nedir?</strong></p><p>Veri Tabanı Yönetim Sistemleri (Relational Database Management Systems), ilişkisel veri tabanlarını yönetmek için kullanılan yazılımlardır. Bu sistmemler, verileri tablo yapısında saklar ve SQL kullanarak veri üzerinde işlemler yapılmasına olanak tanır.</p><p>Popüler VTYS’ler:</p><ul><li>MySQL: Açık kaynaklı, hızlı ve kullanımı kolay bir sistemdir. Web uygulamaları için sıklıkla tercih edilir.</li><li>PostgreSQL: Daha gelişmiş özelliklere sahip açık kaynaklı bir sistemdir. Karmaşık sorgular ve büyük veri setleriyle çalışmak için uygundur.</li><li>SQLite: Hafif, gömülü bir sistem. Mobil uygulamalarda ve küçük projelerde yaygın olarak kullanılır.</li><li>SQL Server: Microsoft tarafından geliştirilen, kurumsal düzeyde özelliklere sahip bir sistemdir.</li></ul><p>İlişkisel veritabanları, verileri düzenli ve yapılandırılmış bir şekilde saklamak için kullanılan bir sistemdir. Bu sistem, verileri tablolar halinde organize eder ve bu tablolar arasındaki ilişkileri kullanarak verileri birbirine bağlar.</p><p>Bir ilişkisel veritabanı, her biri belirli bir veri türünü içeren bir dizi tablodan oluşur. Örneğin, bir kitapçı için bir veritabanı, kitaplar, yazarlar ve müşteriler için ayrı tablolar içerebilir. Bu tablolar arasındaki ilişkiler, verileri birbirine bağlar. Örneğin, kitaplar tablosu, yazarlar tablosuna yazar adı ve kitap adı ile bağlanabilir.</p><p><strong>SQL Komutlarının Kategorileri</strong></p><p><strong>Data Query Language (DQL)</strong></p><p>DQL içindeki SELECT komutu ile veritabanında yer alan mevcut kayıtların bir kısmını veya tamamınını tanımlanan koşullara bağlı olarak alır. SQL’de kullanılan ifadelerin çoğu SELECT komutu ile başlar::</p><p><strong>SELECT :</strong> Veritabanındaki verileri alır.</p><p><strong>Data Manipulation Language (DML)</strong></p><p>DML komutları ile veritabanlarında bulunan verilere işlem yapılır. DML ile veritabanına yeni kayıt ekleme, mevcut kayıtları güncelleme ve silme işlemleri yapılır. SQL’de kullanılan ifadelerin çoğu aşağıdaki komutlardan biri ile başlar:</p><p><strong>INSERT :</strong> Veritabanına yeni veri ekler.</p><p><strong>UPDATE :</strong> Veritabanındaki verileri günceller.</p><p><strong>DELETE :</strong> Veritabanındaki verileri siler.</p><p><strong>Data Definition Language (DDL)</strong></p><p>DDL komutları ile veritabanı ve tabloları oluşturma, değiştirme ve silme işlemleri yapılır:</p><p><strong>CREATE :</strong> Bir veritabanı veya veritabanı içinde tablo oluşturur.</p><p><strong>ALTER :</strong> Bir veritabanı veya veritabanı içindeki tabloyu günceller.</p><p><strong>DROP :</strong> Bir veritabanını veya veritabanı içindeki tabloyu siler.</p><p><strong>Data Control Language (DCL)</strong></p><p>DCL komutları ile kullanıcılara veritabanı ve tablolar için yetki verilir veya geri alınır:</p><p><strong>GRANT :</strong> Bir kullanıcıya yetki vermek için kullanılır.</p><p><strong>REVOKE :</strong> Bir kullanıcıya verilen yetkiyi geri almak için kullanılır.</p><p><strong>Temel SQL Komutları</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*bwrd_IB_WrAZafBOsAQ6Rw.png" /></figure><p><em>Burada MSSQL ve AdventureWorks2022 veri tabanını kullandık.</em></p><p><strong>SELECT ile Veri Çekme</strong></p><p>SQL’de veri çekmek için SELECT komutu kullanılır. Örneğin, bir tabloda belirli sütunları listelemek isterseniz şu şekilde bir sorgu yazabilirsiniz:</p><pre>SELECT FirstName, LastName, PersonType<br>FROM Person.Person;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/403/1*AVU109aY_nMj3oobhemUGg.png" /></figure><p>Tüm sütunları listelemek için ise:</p><pre>SELECT *<br>FROM Person.Person;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Bahkqr2E9dOApqi0wgtJOQ.png" /></figure><p><strong>WHERE ile Filtreleme</strong></p><p>Veri çekerken filtre uygulamak için WHERE komutu kullanılır. Örneğin, sadece soyadı “Smith” olan kişileri listelemek isterseniz:</p><pre>SELECT FirstName, LastName, EmailAddress<br>FROM Person.Person<br>WHERE LastName = &#39;Smith&#39;;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/344/1*g5DocJANBnbctgaRsbQJJw.png" /></figure><p><strong>JOIN ile Tablo Birleştirme</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CH1--41y7_0oxF7Bfy-4EA.png" /></figure><p>Birden fazla tabloyu birleştirmek için JOIN komutu kullanılır. SQL’de farklı JOIN türleri bulunmaktadır:</p><p>Inner Join</p><p>Sadece her iki tabloda da eşleşen kayıtları döndürür. Örneğin:</p><pre>SELECT SalesOrderHeader.SalesOrderID, SalesOrderDetail.ProductID, SalesOrderDetail.OrderQty, SalesOrderHeader.OrderDate<br>FROM Sales.SalesOrderHeader<br>INNER JOIN Sales.SalesOrderDetail<br>ON SalesOrderHeader.SalesOrderID = SalesOrderDetail.SalesOrderID;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/534/1*JpVV_tfk9EmRSNkHMef8Zw.png" /></figure><p>LEFT JOIN</p><p>Sol tablodaki tüm kayıtları döndürür ve sağ tabloda eşleşen verileri ekler. Eşleşme yoksa, sonuç NULL döner:</p><pre>SELECT FirstName, LastName, EmailAddress<br>FROM Person.Person<br>LEFT JOIN Person.EmailAddress<br>ON Person.BusinessEntityID = EmailAddress.BusinessEntityID</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/519/1*3F1H8w69RoI_Fo_pT9K1ng.png" /></figure><p>RIGHT JOIN</p><p>Sağ tablodaki tüm kayıtları döndürür ve sol tabloda eşleşen verileri ekler:</p><pre>SELECT EmailAddress, FirstName, LastName<br>FROM Person.EmailAddress<br>RIGHT JOIN Person.Person <br>ON EmailAddress.BusinessEntityID = Person.BusinessEntityID;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/518/1*u83qLNeMdCIeha3ZkddrPw.png" /></figure><p>FULL JOIN</p><p>Her iki tablodaki tüm kayıtları döndürür. Eşleşme yoksa, NULL döner:</p><pre>SELECT FirstName, LastName, EmailAddress<br>FROM Person.Person <br>FULL JOIN Person.EmailAddress<br>ON Person.BusinessEntityID = EmailAddress.BusinessEntityID;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/522/1*xPH-UkncqMJFmf_MOK6XSA.png" /></figure><p>CROSS JOIN</p><p>Her iki tablodaki tüm kombinasyonları döndürür:</p><pre>SELECT Person.FirstName, PersonPhone.PhoneNumber<br>FROM Person.Person<br>CROSS JOIN Person.PersonPhone</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/299/1*DEyuSihlfO8O9T-u_Bsoaw.png" /></figure><p><strong>UNION ile Birleştirme</strong></p><p>Birden fazla sorgunun sonuçlarını birleştirmek için UNION kullanılır. UNION, tekrarlı kayıtları kaldırır; UNION ALL ise kaldırmaz.</p><p>UNION</p><p>Örneğin, kredi kartı ve nakit ödeme ile yapılan siparişleri birleştirme:</p><pre>SELECT SalesOrderID, CustomerID, &#39;Credit Card&#39; AS PaymentMethod<br>FROM Sales.SalesOrderHeader<br>WHERE CreditCardID IS NOT NULL<br><br>UNION<br><br>SELECT SalesOrderID, CustomerID, &#39;Cash&#39; AS PaymentMethod<br>FROM Sales.SalesOrderHeader<br>WHERE CreditCardID IS NULL;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/347/1*JKdCxCH-T0qMowWMEau2vA.png" /></figure><p>UNION ALL</p><p>Tekrarlı kayıtları da içeren bir sonuç döndürür:</p><pre>SELECT SalesOrderID, CustomerID, &#39;Credit Card&#39; AS PaymentMethod<br>FROM Sales.SalesOrderHeader<br>WHERE CreditCardID IS NOT NULL<br><br>UNION ALL<br><br>SELECT SalesOrderID, CustomerID, &#39;Cash&#39; AS PaymentMethod<br>FROM Sales.SalesOrderHeader<br>WHERE CreditCardID IS NULL;</pre><p><strong>Aggregate Functions (Toplulaştırma Fonksiyonları)</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jSB-8d58z_jnesZWLjBh3g.jpeg" /></figure><p>COUNT</p><p>Kayıtların sayısını döndürür. Örneğin, Person.Person tablosundaki toplam kişi sayısını bulmak için:</p><pre>SELECT COUNT(*) AS TotalPersons<br>FROM Person.Person;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/201/1*oYjvJFxYm-9PFk7xQN2O0A.png" /></figure><p>SUM</p><p>Belirli bir sütunun toplamını döndürür. Örneğin, tüm siparişlerin toplam satış miktarını hesaplamak için:</p><pre>SELECT SUM(LineTotal) AS TotalSales<br>FROM Sales.SalesOrderDetail;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/205/1*kIRqgasJjlNQ7M8EUW4gPA.png" /></figure><p>AVG</p><p>Bir sütunun ortalamasını döndürür. Örneğin, siparişlerin ortalama miktarını bulmak için:</p><pre>SELECT AVG(LineTotal) AS AverageSales<br>FROM Sales.SalesOrderDetail;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/194/1*HYdXVjYdBPGe4czD8VgbhA.png" /></figure><p>MIN ve MAX</p><p>Bir sütundaki en küçük ve en büyük değerleri bulur. Örneğin, sipariş tutarları için:</p><pre>SELECT MIN(LineTotal) AS MinimumOrderTotal, MAX(LineTotal) AS MaximumOrderTotal<br>FROM Sales.SalesOrderDetail;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/378/1*fBzz577q9QXEKIsbNvYa1Q.png" /></figure><p>GROUP BY ile Kullanım</p><p>Verileri gruplandırarak toplulaştırma fonksiyonları kullanabilirsiniz. Örneğin, her müşteri için toplam satış miktarını bulmak için:</p><pre>SELECT CustomerID, SUM(LineTotal) AS TotalCustomerSales<br>FROM Sales.SalesOrderDetail AS sod<br>JOIN Sales.SalesOrderHeader AS soh<br>ON sod.SalesOrderID = soh.SalesOrderID<br>GROUP BY CustomerID;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/313/1*FZxLKzXvB1adkNlRBWOoHw.png" /></figure><p>HAVING ile Gruplandırılmış Verileri Filtreleme</p><p>Gruplandırılmış veriler üzerinde filtreleme yapmak için HAVING kullanılır. Örneğin, toplam satış tutarı 10.000&#39;den fazla olan müşterileri listelemek için:</p><pre>SELECT CustomerID, SUM(LineTotal) AS TotalCustomerSales<br>FROM Sales.SalesOrderDetail AS sod<br>JOIN Sales.SalesOrderHeader AS soh<br>ON sod.SalesOrderID = soh.SalesOrderID<br>GROUP BY CustomerID<br>HAVING SUM(LineTotal) &gt; 10000;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/315/1*8AJMhFA_XmVZ7VXZhvOjsg.png" /></figure><p><strong>SQL AVANTAJLARI</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*WIEd8S11L2J-cKd1ffsQqQ.jpeg" /></figure><ol><li>Kolay Veri Manipülasyonu ve Erişim:</li></ol><p>SQL, verileri düzenlemek, sorgulamak ve analiz etmek için basit ve anlaşılır bir dil sunar. Karmaşık kodlar yazmak yerine, SELECT, INSERT, UPDATE ve DELETE gibi basit komutları kullanarak veriler üzerinde işlem yapabilirsiniz.</p><p>2. Performans Optimizasyonu:</p><p>SQL, büyük veri tabanlarında bile yüksek performans sağlamak için optimize edilmiştir. Veri erişimini hızlandırmak için index ve view gibi özellikler sunar.</p><p>3. Analitik Sorgular:</p><p>SQL, verileri analiz etmek ve bilgilendirici raporlar oluşturmak için kullanılabilen güçlü sorgu yetenekleri sunar. GROUP BY, HAVING ve ORDER BY gibi komutları kullanarak verileri istediğiniz gibi filtreleyebilir ve sıralayabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OqZdR2KWz3TZZSEC4CeeQA.jpeg" /></figure><p>SQL’in bu avantajları, onu veri tabanlarıyla çalışan herkes için değerli bir araç haline getirir. Veri analizi, web geliştirme, veri madenciliği ve daha birçok alanda SQL’in gücünden yararlanabilirsiniz.</p><p><em>Teşekkürler…</em></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=04fd57330f57" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>