<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by hazalasma on Medium]]></title>
        <description><![CDATA[Stories by hazalasma on Medium]]></description>
        <link>https://medium.com/@asmahazalnur?source=rss-224572ce8182------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*1sNDhg_jFXFsVcQlq_gqMA.png</url>
            <title>Stories by hazalasma on Medium</title>
            <link>https://medium.com/@asmahazalnur?source=rss-224572ce8182------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 06:23:27 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@asmahazalnur/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[ODI Mapping’lerinde Sessiz Performans Tuzakları: Row-by-Row vs Set-Based]]></title>
            <link>https://medium.com/@asmahazalnur/odi-mappinglerinde-sessiz-performans-tuzaklar%C4%B1-row-by-row-vs-set-based-12040a5688d0?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/12040a5688d0</guid>
            <category><![CDATA[dwh]]></category>
            <category><![CDATA[oracle]]></category>
            <category><![CDATA[odi]]></category>
            <category><![CDATA[oracle-database]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Mon, 16 Feb 2026 06:31:01 GMT</pubDate>
            <atom:updated>2026-02-16T06:50:43.135Z</atom:updated>
            <content:encoded><![CDATA[<p>SQL tabanlı bir ELT (Extract- Load- Transform) tool’u olan ODI (Oracle Data Integrator) kullanarak birer mapping ve paket akışı oluştururken nasıl daha performanslı SQL çıktıları yaratabileceğini biliyor musun?</p><p>Tabii ki set-based çalışma mantığını benimsemiş SQL’in suyuna giderek!</p><p>Merak ediyorsan içeriği okumaya devam et!</p><p>Konuda derinleşmeden evvel Row by Row ve Bulk (set-based) çalışma prensiplerine göz atalım.</p><h3>Row by Row (RBAR — “Row By Agonizing Row”)</h3><p><strong>Her satırın tek tek işlenmesi</strong> demektir. 1 milyon satırlık bir tablo üzerinde işlem yaptığını varsayalım, bu 1 milyon ayrı işlem anlamına gelir.<br>Database için tam bir işkence…</p><h4>Nasıl çalışır?</h4><p>Bu yaklaşımda işlem mantığı <strong>satır odaklı</strong> kurulur. Yani veri kümesi bir bütün olarak ele alınmaz; her kayıt ayrı ayrı okunur, değerlendirilir ve işlenir.</p><p>Teknik olarak bu genellikle FOR, WHILE ya da cursor gibi döngü yapılarıyla gerçekleştirilir.</p><p>Database önce bir satırı alır, ilgili iş kuralını o satır için çalıştırır, gerekiyorsa INSERT, UPDATE veya DELETE yapar, sonra bir sonraki satıra geçer.</p><p>Çoğu zaman her satır için ayrı bir işlem çağrısı ve hatta ayrı bir commit söz konusu olur. Bu da veri miktarı arttıkça işlem süresinin katlanarak büyümesine neden olur.</p><h4>Artıları</h4><p>Bu yaklaşımın tercih edilmesinin nedeni, özellikle ilk öğrenme aşamasında <strong>zihinsel olarak daha kolay</strong> olmasıdır.</p><p>Geliştirici “şu satır geldi, buna ne yapayım?” diye düşünür; bu da imperative (adım adım) düşünceye alışkın kişiler için daha sezgiseldir.</p><p>Ayrıca karmaşık iş kurallarını satır bazında uygulamak görece daha basittir. Yani kural ne kadar detaylı ve dallanmalıysa, bunu tek bir satır üzerinde tarif etmek ilk bakışta daha rahat hissettirebilir. Ancak bu kolaylık, büyük veri ve ölçeklenebilirlik söz konusu olduğunda ciddi performans ve bakım maliyetleriyle geri döner.</p><h4>Eksileri</h4><p>Row-by-row yaklaşımın en kritik dezavantajı, <strong>büyük veri hacimlerinde ciddi performans sorunlarına yol açmasıdır</strong>. Satır sayısı arttıkça maliyet doğrusal değil, pratikte <strong>katlanarak</strong> artar. Binlerce satırda fark edilmezken, yüz binlerce veya milyonlarca satırda sistem belirgin şekilde yavaşlar ve job süreleri kabul edilemez seviyelere çıkar.</p><p>Bunun temel nedeni, row-by-row işlemlerin <strong>database’in set-based (küme tabanlı) çalışma gücünü kullanamamasıdır</strong>. <em>Modern ilişkisel veritabanları;</em> optimizer, execution plan, join reordering, indeks kullanımı gibi mekanizmalarla <strong><em>büyük veri kümelerini tek seferde ve en verimli şekilde işlemek üzere tasarlanmıştır</em></strong>. Satır bazlı döngülerde ise bu mekanizmaların büyük kısmı devre dışı kalır ya da çok sınırlı çalışır. Database, “ne yapılacağını” optimize etmek yerine, geliştiricinin yazdığı adım adım talimatları birebir uygulamak zorunda kalır.</p><p>Bir diğer önemli problem de <strong>I/O ve context switch maliyetlerinin yükselmesidir</strong>. Her satır için yapılan SQL çağrıları, database engine ile procedural katman (örneğin PL/SQL veya ODI engine) arasında sürekli geçişlere neden olur. Bu geçişler <strong>CPU açısından pahalıdır</strong> ve <strong>disk I/O yükünü artırır</strong>. Sonuç olarak sistem kaynakları verimsiz kullanılır, aynı işi yapan set-based bir çözüme kıyasla çok daha fazla CPU zamanı ve bellek tüketilir. Bu yüzden row-by-row yaklaşım, özellikle DWH, BI ve ETL gibi yüksek hacimli veri işlenen ortamlarda <strong>teknik borç</strong> olarak görülür ve mümkün olduğunca kaçınılması gereken bir yöntemdir.</p><h3>Bulk / Set-Based Processing</h3><p><strong>Verinin tamamını veya büyük bir kısmını tek seferde işlemek</strong> demektir.</p><h4>Artıları</h4><p>Set-based (bulk) yaklaşımda veriye <strong>tek tek satırlar üzerinden değil, bir bütün olarak kümeler üzerinden</strong> işlem uygulanır. Bu yaklaşımda geliştirici “şu satır geldiğinde ne yapmalıyım?” diye düşünmez; bunun yerine <em>“bu koşulu sağlayan tüm kayıtlar için hangi dönüşüm uygulanmalı?”</em> sorusuna odaklanır. Teknik olarak bu, INSERT INTO … SELECT, UPDATE … WHERE, MERGE gibi SQL ifadeleriyle veya PL/SQL tarafında BULK COLLECT ve FORALL gibi yapılarla gerçekleştirilir. Buradaki temel fikir, veriyi önce uygun şekilde <strong>filtrelemek, gruplayarak veya join’leyerek gerekli ara setleri üretmek</strong> ve ardından hedef tabloya tek seferde yazmaktır. Yani işlem akışı adım adım satır gezmek yerine, tanımlanan koşullara uyan tüm kayıtları kapsayan bir SQL ifadesi etrafında şekillenir.</p><p>Bu yaklaşımın en büyük avantajı <strong>performanstır</strong>. Çünkü database motoru set-based SQL’lerde tüm gücünü devreye sokar:<strong> optimizer execution plan</strong> üretir, <strong>join sırasını belirler</strong>, <strong>indeksleri etkin şekilde kullanır</strong> ve <strong>I/O maliyetini minimize eder</strong>. Sonuç olarak binlerce hatta milyonlarca satır, tek bir statement içinde çok daha kısa sürede işlenir. Ayrıca context switch (SQL ↔ PL/SQL geçişi), satır başına commit gibi maliyetler ortadan kalktığı için sistem kaynakları çok daha verimli kullanılır.</p><p>Bu yüzden DWH, ETL ve ODI gibi büyük hacimli veri işlenen ortamlarda <strong>set-based yaklaşım sadece bir tercih değil, fiilen bir standarttır.</strong></p><h4>Eksileri</h4><p>Ancak set-based düşünmenin bir bedeli vardır: zihinsel olarak ilk etapta daha zorlayıcıdır.</p><p>Çünkü burada düşünme biçimi imperative (adım adım) değil, <strong>deklaratif</strong> bir yapıya kayar. Geliştirici artık “önce bunu yap, sonra şunu yap” demek yerine, “şu koşulu sağlayan kayıtlar şuna dönüşür” şeklinde düşünmek zorundadır.</p><p>Özellikle karmaşık iş kurallarında bu, kuralı parçalara ayırmayı, ara dataset’ler tasarlamayı ve bazen mapping’i birden fazla akışa bölmeyi gerektirir. Yani zorluk kod yazmaktan çok, <strong>doğru veri kümelerini tasarlamak</strong> noktasındadır. Bu zihniyet oturduğunda ise, hem performanslı hem de ölçeklenebilir çözümler üretmek çok daha doğal hale gelir.</p><p>Aşağıdaki tabloda Row by Row işleme ve Bulk (Set-Based) İşleme farkını tek bir bakışta görebilirsin.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/819/1*xNXIP0-iVGPiZJudbBWUQA.png" /><figcaption>RowByRow vs. Bulk</figcaption></figure><h3>ODI’de Row by Row Tuzakları</h3><h4>1- Mapping Expression’da “satır mantığıyla” yazmak</h4><p>Örnek olarak aşağıdaki kod bloğunda Case condition’ı içerisinde bir subquery yazılmış ancak bu subquery, <strong>condition ile eş zamanlı olarak tüm satırlar için ele alınacaktır</strong>. Yani her satıra <em>tek tek</em> gidip <strong>ilgili satırın amount bilgisi</strong>ni, <em>orders tablosunda cust_id ile eşleşen tüm satırların amount tutarlarının ortalamasından büyük/küçük olmasına göre</em> <strong>sınayacak</strong>. Bu yaklaşım <strong>Row by Row</strong> işleme için iyi bir örnektir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*gh3z2MtbaSzgg3rBRkIRsw.png" /><figcaption>row-by-row</figcaption></figure><p>Yukarıdaki kod bloğu için direkt olarak yanlış diyemeyiz ancak bu yapı bazen <strong>inline view</strong> olarak kalır. Optimizer her zaman istendiği gibi “flatten” edemeyebilir. ve mapping karmaşıklaştıkça <strong>okunabilirlik ve tuning zorlaşır</strong></p><p>Aşağıdaki kod bloğunda ise aynı işlemin <strong>bulk (set-based) </strong>yaklaşıma uygun olarak düzenlenmiş halini görebilirsin.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O0oqhnzBazjMFApt4uqRiQ.png" /><figcaption>bulk-setbased</figcaption></figure><p>Burada yapılan ise, aggregate işlemi önce ayrı bir yerde yapılır ardından join componentine bağlanarak veri akışına dahil edilir. Böylece orders tablosundaki amount ortalaması <strong>çoktan</strong> alınmış olup cust_id eşleşmesi olan kayıtlarda bir değerlendirme kıstası olarak ele alınır.</p><p><strong>ODI’de Join/Expression component’i içinde subquery yazmak yerine:</strong></p><ul><li>Subquery’yi <strong>ayrı bir component / flow</strong> olarak üretip</li><li>Onu <strong>join ile bağlayarak optimizer’a daha temiz, daha optimize edilebilir bir SQL</strong> verebilirsin.</li></ul><p>Buna benzer yaklaşımlar tuzaktır çünkü optimizer çoğu zaman bunu merge edemez, büyük tablolarda performans gömülür.</p><blockquote><strong>Altın kural:</strong><br> <em>Expression içinde SELECT görüyorsan alarm çalsın.</em></blockquote><h4>2- Filter’da Function Kullanmak:</h4><p>Bu örnekte order_date kolonu için TRUNC fonksiyonu uygulanıp TRUNC(SYSDATE) ‘e —<em> yani sabit bir değer olan SYSDATE</em> eşlenmek isteniyor.</p><h4>Buradaki tuzak şudur:</h4><ul><li>TRUNC() <strong>kolonun üzerine uygulanıyor,</strong></li><li>Database, order_date’in <strong>ham değerini</strong> kullanamıyor,</li><li>Eğer order_date üzerinde index varsa Index <strong>kullanılamaz hale geliyor. ❗</strong>Çünkü index, TRUNC(order_date) değil, order_date tutar.</li></ul><h4>Sonuç:</h4><ul><li>Database <strong>tüm tabloyu</strong> taramak zorunda kalır yani row by row tarayarak <strong>Full Table Scan</strong> yapar.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YO2Ne4-twkNpQ6cHqV1JMA.png" /><figcaption>rowbyrow işleme</figcaption></figure><p>Aşağıdaki örnekte ise,</p><p>Kolona hiç dokunulmuyor. Function sadece <strong>sabit değere</strong> (SYSDATE) uygulanıyor veorder_date olduğu gibi bırakılıyor.</p><h4>Bu ne sağlar?</h4><ul><li>Database order_date index’ini kullanabilir.</li><li><strong>Index Range Scan</strong> yapar yani sadece ilgili tarih aralığını okur.</li></ul><h4>Sonuç:</h4><ul><li>Çok daha az I/O</li><li>Çok daha hızlı sorgu</li><li>Set-based düşünceye tam uyum sağlanır.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*req4BnwyHNR-qd_GyyPtyw.png" /><figcaption>bulk yaklaşım</figcaption></figure><p>Somutlaştırmak gerekirse:</p><p>Doğru olan, kitaplıktaki <strong>her kitabı açıp</strong> “bugün basılmış mı?” diye bakmak değil, “Bugün basılan kitaplar <strong>şu raf aralığında</strong>” deyip sadece oraya bakmaktır. 📖</p><h4><strong>3. Knowledge Module’ü “fark etmeden” row-by-row’a sokmak</strong></h4><p>ODI’de mapping’i ne kadar doğru ve set-based tasarlarsan tasarla, <strong>Knowledge Module (özellikle IKM)</strong> yanlış kurgulanmışsa tüm yükleme süreci gizlice row-by-row’a dönebilir.</p><p>Bu genellikle geliştiricinin niyeti olmadan olur; mapping çalışır, veri doğru gelir ama performans beklendiği gibi değildir.</p><p>Bunun en yaygın nedeni, IKM içinde <strong>insert sonrası (post-insert) satır bazlı güncellemeler</strong> yapılmasıdır.</p><h4>Nasıl?</h4><p>Örneğin target tabloya veri insert edildikten sonra, her satır için ayrı ayrı UPDATE çalıştıran bir IKM düşünelim.</p><p>Burada problem şudur: database artık bir küme üzerinde değil, <strong>her bir kayıt için ayrı execution path</strong> çalıştırmak zorunda kalır. Satır sayısı büyüdükçe bu yapı doğrusal değil, pratikte katlanarak yavaşlar.</p><p>Eğer IKM içinde <strong>cursor, loop</strong> veya <strong>“for each row” </strong>mantığı varsa, mapping’in set-based avantajı tamamen ortadan kalkar. <strong>Loop içinde commit yapılması</strong> ise durumu daha da ağırlaştırır; çünkü <em>transaction yönetimi her satırda yeniden devreye girer.</em></p><p>Bu noktada kırmızı bayraklar genelde şunlardır:</p><ul><li>IKM içinde açıkça cursor veya loop görülmesi,</li><li>Insert’ten sonra satır bazlı UPDATE blokları,</li><li>Döngü içinde commit kullanımı</li></ul><p>Doğru yaklaşım, işi <strong>tek SQL ifadesiyle</strong> çözen bir Knowledge Module kullanmaktır.</p><p>Özellikle <strong>MERGE tabanlı IKM’ler</strong> bu yüzden profesyonel ortamlarda standart kabul edilir. MERGE sayesinde insert ve update mantığı satır satır değil, <strong>tek bir execution plan</strong> üzerinden set-based şekilde çalışır. Database optimizer devreye girer, join sırasını ve erişim yollarını kendi belirler. Sonuç olarak hem performans artar hem de veri hacmi büyüdükçe job süresi stabil kalır. Buradaki fark iş kuralında değil, <strong>execution modelindedir</strong>.</p><h3>4. ODI’de “lookup = row-by-row” sanmak</h3><p>ODI’de çok yaygın ama yanlış bir inanış vardır: <em>“Lookup kullanıyorsan row-by-row çalışıyorsundur.”</em> Bu doğru değildir.</p><p>Lookup’ın row-by-row ya da bulk olması, <strong>nasıl kurgulandığına</strong> bağlıdır. <em>Yanlış kurgulanan</em> lookup’lar mapping’i sessizce satır bazlı çalışmaya zorlar; <em>doğru kurgulananlar</em> ise tamamen set-based’tir.</p><p>Yanlış kullanım genellikle lookup logic’inin <strong>expression içinde</strong> yazılmasıyla başlar. Bu durumda ODI, her satır için lookup sorgusu üretmek zorunda kalır. Eğer<strong> lookup cache kapalıysa</strong> veya <strong>eşleşilen kolonlar indeksli değilse,</strong> database <strong>her satırda aynı tabloyu tekrar tekrar tarar</strong>. Özellikle çok kolonlu eşleşmelerde ve büyük referans tablolarında bu durum <strong>ciddi performans sorunlarına yol açar</strong>. Mapping sade görünür ama arka planda binlerce küçük sorgu çalışır.</p><p>Bu senaryoda sık görülen problemler şunlardır:</p><ul><li>Lookup’ın expression içinde çağrılması,</li><li>Cached lookup’ın kapalı olması,</li><li>Lookup yapılan kolonlarda indeks olmaması</li></ul><p>Doğru kullanımda ise lookup, <strong>satır kontrolü</strong> gibi değil, <strong>iki veri kümesinin join edilmesi</strong> gibi ele alınır. Yani lookup için <strong>ayrı bir flow </strong>oluşturulur, bu flow mapping seviyesinde <em>join component’i</em> ile ana akışa bağlanır. Gerekirse <em>temp veya staging tablolar</em> kullanılır. Bu yaklaşımda lookup artık “her satıra sorulan bir soru” değil, <strong>önceden üretilmiş bir dataset</strong> haline gelir. Cache açık ve indeksler doğruysa, database bu join’i tek seferde, set-based şekilde çözer. Performans açısından klasik bir join’den farkı kalmaz.</p><p>Özetle burada fark lookup kullanıp kullanmamakta değil; lookup’ı <strong>satır mantığıyla mı yoksa küme mantığıyla mı</strong> düşündüğündedir. ODI’de iyi tasarlanmış bir lookup, row-by-row değil, tamamen bulk çalışır ve mapping’in ölçeklenebilirliğini korur.</p><h3>Nasıl Bulk (Set — Based ) Kurgularsın?</h3><h4>1 * Kuralı Parçala</h4><p>Aşağıdaki örneği ele alalım,</p><blockquote><em>“Bir müşteri son 30 günde 3’ten fazla sipariş verdiyse ve toplam tutar ortalamanın üzerindeyse VIP”</em></blockquote><h4>2* Kümeleri Yarat</h4><p>Common Table Expression (CTE) ile yazılmış bu sorguda işi satırda değil direkt olarak database üzerinde çözüyoruz:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*iXsmYVB4EnW8zitGqrRKkA.png" /></figure><h4>3 * Target’a Bas</h4><p>İş kuralını set-based şekilde çözdükten sonra, ortaya çıkan sonucu target tabloya da yine set-based bir yöntemle yazmak gerekir.</p><p><strong>Insert,</strong> “Bu koşulları sağlayan tüm kayıtları al ve target tabloya tek seferde ekle.” mantığıyla satır satır insert yok.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Ca4a4w2AoTNyb9gTiXC94Q.png" /></figure><p><strong>Merge</strong> ise <strong>INSERT + UPDATE ihtiyacını aynı anda ve set-based şekilde</strong> çözer.</p><p>“Source set ile target tabloyu karşılaştır; eşleşenleri güncelle, eşleşmeyenleri ekle.” şeklinde bir kurgu yaratmaya çalışırken aşağıdaki şekilde bir yapı ile,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*U1aO9_C1IZFRoRxR9E_-Zg.png" /></figure><p><strong>Tek SQL ve tek execution plan</strong> ile ne yapacağına<strong><em> database kendi karar verir:</em></strong> hangisi insert, hangisi update…</p><p>ODI’de:</p><ul><li>Incremental load</li><li>Slowly Changing Dimension (SCD)</li><li>Upsert senaryoları neredeyse <strong>standart çözüm MERGE</strong>’dür.</li></ul><h4>Bu Yapı ODI’de Nasıl Yaratılır?</h4><ol><li>Orders → Filter (son 30 gün)</li><li>Aggregate → count, sum</li><li>Set-based <strong>avg</strong> flow</li><li>Join</li><li>Expression → CASE</li><li>Target’a bas.</li></ol><p>Özetlemek gerekirse, ODI’de performansın anahtarı, satır satır (row-by-row) değil <strong>set-based / bulk</strong> düşünmektir. Lookup, subquery veya expression içinde yapılan satır bazlı işlemler veri büyüdükçe ciddi performans sorunlarına yol açar. Doğru yaklaşım; iş kurallarını join, filter, aggregate ve CASE gibi <strong>SQL set mantığıyla</strong> çözmek ve ortaya çıkan sonucu target tabloya <strong>INSERT SELECT, UPDATE JOIN veya MERGE</strong> gibi tek seferlik işlemlerle yazmaktır. Cache gibi mekanizmalar tasarımı kurtarmak için değil, doğru tasarlanmış bir akışı <strong>optimize etmek</strong> için kullanılmalıdır.</p><p>İçeriği beğendiysen alkış bırakmayı, sorularını ya da görüşlerini yorumlarda belirtmeyi unutma.</p><p>Bana ulaşmak için: 🌸</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><p><a href="http://asmahazalnur@gmail.com/">Mail</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=12040a5688d0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Warehouse Tuning | Part 3 — Storage (Depolama) Optimizasyonu]]></title>
            <link>https://medium.com/@asmahazalnur/data-warehouse-tuning-part-3-storage-depolama-optimizasyonu-4aa9d4cf3301?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/4aa9d4cf3301</guid>
            <category><![CDATA[oracle]]></category>
            <category><![CDATA[veri-ambarı]]></category>
            <category><![CDATA[dwh-tuning]]></category>
            <category><![CDATA[dwh]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Mon, 09 Jun 2025 16:07:33 GMT</pubDate>
            <atom:updated>2025-06-09T16:07:33.765Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Warehouse Tuning | Part 3 — Storage (Depolama) Optimizasyonu</h3><p>Herkese selamlar!</p><p>Geçtiğimiz günlerde DWH Tuning adımlarının ilk ikisini ele almıştık.</p><p>Bunlar; <a href="https://medium.com/@asmahazalnur/data-warehouse-tuning-nedir-part-1-query-performans%C4%B1n%C4%B1-artt%C4%B1rma-a62276735b13">Sorgu (Query) Performansını</a> ve <a href="https://medium.com/@asmahazalnur/data-warehouse-tuning-part-2-data-load-performans%C4%B1n%C4%B1-artt%C4%B1rma-aee2d5aea2ea">Data Load Performansını Arttırma</a> konularıydı.</p><p>Bugün ele alacağımz konu ise başlıkta da görüldüğü üzere DWH’ta storage (depolama) optimizasyonunun nasıl yapılacağı, hangi durumlarda buna ihtiyaç duyulduğu ve yapılırken nelere dikkat edilmesi gerektiği olacak.</p><p>O halde başlayalım, keyifli okumalar ☺️</p><h4>Neden DWH Storage (Depolama) Optimizasyonuna İhtiyaç Duyarız?</h4><p>Veri Ambarları, yüksek miktarda veriye ev sahipliği yapar. Özellikle, günlük log kayıtları, OLTP (Online Transactional Processing)’den akan detaylı veriler ve historik veri yedekleri bu yüksek miktarda veriye düzenli olarak eklenir.</p><p>Bu da veri ambarının giderek şişmesine, performansın düşmesine, sorgu sürelerinin artmasına ve depolama maliyetlerinin artmasına neden olabilir.</p><p>Bu nedenle; sistemin sürdürülebilirliğini arttırmak, depolama maliyetini azaltma ve data load/sorgu sürelerini azaltmak için storage optimizasyonu gereklidir.</p><h4>Storage (Depolama) Optimizasyonuna İhtiyaç Olduğu Nasıl Tespit Edilir?</h4><p>Eğer;</p><ul><li>Veri Ambarı büyüdüyse (bu büyüme, DWH yapısı kurulurken öngörülen ihtiyaçlar doğrultusunda edinilen depolama alanının sınırlarına yaklaşılması olarak düşünülmelidir. Organizasyonların türü/ölçeğine göre ve tarihsel veri politikasına göre DWH’deki verilerin boyutu değişecektir.)</li><li>Sorgular dişe dokunur şekilde yavaş dönmeye başladıysa,</li><li>Özellikle cloud’daki verilerin depolama maliyetleri arttıysa,</li><li>ETL süreçlerinde uzama gözlemleniyorsa,</li></ul><p>storage optimizasyonunun gerekliliğinden söz edilebilir.</p><p>Gerekliliği tespit ettikten sonra optimizasyonu gerçekleştirmek istediğimizde, hangi yöntemlerden faydalanabileceğimize bir göz atalım.</p><h3>DWH’de Storage Optimizasyonu Nasıl Yapılır?</h3><h4>1- Veri Sıkıştırma (Compression)</h4><p>Bu yöntem ile verilerin daha küçük boyutlarda saklanması sağlanır. Büyük boyutlu (özellikle fact tablolar), arşiv amaçlı kullanılan ve sık erişim ihtiyacı bulunmayan tablolarda veri sıkıştırma tercih edilebilir. Böyle I/O (Input/Output Throughput Rate — Girdi/Çıktı Bant Genişliği) azaltılarak sorgular hızlandırılmış olur ve tabii depolama alanı ciddi anlamda düşer.</p><p>Nasıl Yapılır?</p><ul><li>Oracle’da okuma odaklı tablolarda (özellikle DWH tablolarında) COMPRESS FOR QUERY ile aynı değere sahip satırları column-level bazında sıkıştırılabilir. Böylece sorgulama performansı artar, depolama ihtiyacı azalır.</li></ul><figure><img alt="" src="https://cdn-images-1.medium.com/max/946/1*2m9u3O4rNGK76ekBdQZC7w.png" /><figcaption>compress for query | oracle</figcaption></figure><p>Yine Oracle’da COMPRESS FOR OLTP ile hem okuma hem yazma yapılan OLTP tablolarında sıkıştırma işlemi yapılabilir. Bu yöntem ile <strong>veri eklenirken de güncellenirken</strong> de <strong><em>sıkıştırma</em></strong> yapılabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*OmhvKQYCRL_h6GZ4-uZhmA.png" /><figcaption>compress for oltp | oracle</figcaption></figure><h4>2- Arşivleme ve Katmanlama</h4><p>Bu yöntem, eski ya da sık erişilmeyen verilerin ayrı veya daha ucuz sistemlerde saklanmasına dayanır.</p><p>Örneğin 2020&#39;ye kadar olan satış verilerini <em>sales_data_2015_2019</em> adlı arşiv tabloda, 2020&#39;den günümüze kadar olan satış verileri ise <em>sales_data_2020_2025 </em>adlı güncel tabloda tutulabilir.</p><p>Böylece yine sorgu performansı artar ve depolama maliyeti azalmış olur.</p><h4>3- Veri Temizliği ve Normalizasyon</h4><p>Tekrarlanan verileri <strong><em>distinct, row_number() … over()</em></strong> gibi tekniklerle teke düşürebilir, veri tipi dönüşümüne ihtiyaç duyulabilecek alanları tespit edip uygun dönüşümler yapılabilir (örneğin, tarihsel alanlar date türünde tutulmuyorsa bunun düzeltimesi gibi.)</p><h4>Storage Optimizasyonu Yaparken Dikkat Edilmesi Gerekenler</h4><p>Sıkıştırma, her veri türü için uygun olmayabilir. OLTP tablolarda özellikle dikkatli olunması tavsiye edilir.</p><p>Arşiv verileri konusunda ise, verilerin arşivlenebilirliğine dikkat edilmelidir. Belki ayrı bir DWH ya da cold storage tercih edilebilir.</p><p>Sıkıştırılan ya da taşınan veriler, veri kaybı ihtimaline karşı mutlaka yedeklenmelidir.</p><p>Arşivleme sonrası bazı sorguların FROM kısmında güncellemeler yapılması gerekebilir. (Güncellenen, değiştirilen tablolara karşı dikkatli olmak gerekir.)</p><p>DWH Tuning’de Storage (Depolama) Optimizasyonuna değindiğim içeriğin sonuna geldik. Bundan sonraki içerikte DWH Tuning serisinin son adımı olan Sistem ve Donanım Optimizasyonuna göz atacağız.</p><p>İçeriği beğendiyseniz alkış bırakmayı, sorularınız ya da görüşlerinizi yorumlarda belirtmeyi unutmayın.</p><p>Bana ulaşmak için: 🌸</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><p><a href="http://asmahazalnur@gmail.com/">Mail</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4aa9d4cf3301" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Warehouse Tuning | Part 2 — Data Load Performansını Arttırma]]></title>
            <link>https://medium.com/@asmahazalnur/data-warehouse-tuning-part-2-data-load-performans%C4%B1n%C4%B1-artt%C4%B1rma-aee2d5aea2ea?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/aee2d5aea2ea</guid>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Fri, 04 Apr 2025 15:55:52 GMT</pubDate>
            <atom:updated>2025-04-04T15:55:52.172Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Warehouse Tuning | Part 2 — Data Load Performansını Arttırma</h3><p>Merhabalar!</p><p>“DWH Tuning nedir?” soruna giriş yaptığımız ve DWH Tuning için temel 4 adımdan ilkini incelediğimiz <a href="https://medium.com/@asmahazalnur/data-warehouse-tuning-nedir-part-1-query-performans%C4%B1n%C4%B1-artt%C4%B1rma-a62276735b13">Part 1 —Query Performansını Arttırma </a>içeriğinin ardından bugün DWH Tuning yaparken Data Load (Veri Yükleme) Performansını arttırma konusuna değineceğiz.</p><p>O halde iyi okumalar!</p><p>DWH Tuning ile ilgili hafızamızı bir tazelemek istersek aşağıdaki tanımdan fayda sağlayabiliriz:</p><blockquote><strong>DWH tuning</strong>, veri ambarı sisteminin <strong>performansını artırmak, sorguları hızlandırmak ve kaynak kullanımını optimize etmek</strong> amacıyla yapılan iyileştirme çalışmalarını ifade eder. Veri ambarları genellikle büyük hacimli verilerle çalıştığı için <strong>veri sorgularının ve işlemlerinin olabildiğince verimli</strong> olması gerekir.</blockquote><p>Bu tanımda bahşi geçen “kaynak kullanımını optimize etme” noktası, bugünki içeriğimizin çıkış noktası olacak.</p><h3>Data Load Performansını Arttırma Neden Önemlidir?</h3><p>Çünkü; Data Load (Veri Yükleme) sürecinde veri yükleme süresini azaltmak ve sistem kaynaklarını (CPU, bellek vb.) en verimli şekilde kullanmak, genel performansı doğrudan etkilemektedir.</p><ul><li>Eğer data loading esnasında CPU, bellek ve disk I/O (Girdi/Çıktı Bant Genişliği) dengeli kullanılmazsa bu sistemin darboğaza girip ve ETL süresinin uzamasına sebebiyet vermektedir.</li><li>Tüm kontroller (<strong>kısıtlama kontrolü</strong>*, triggerlar, indeksler) açık bırakılırsa, her satır için ek hesaplama yapılır ve yükleme yavaşlar. Bunun önüne geçebilmek için verileri önceden biçimlendirilmiş bloklara yerleştirerek, yükleme hızını artırıp kaynak tüketimi düşürülebilmektedir.</li><li>Disk I/O (Girdi /Çıktı Bant Genişliği) oranlarının artırılması (paralel yükleme, büyük veri bloklarıyla çalışma) ETL sürecini hızlandırır.</li></ul><blockquote>✨ Hap Bilgi:</blockquote><p><strong>Kısıtlama Kontrolü (Constraint Check) Nedir?</strong></p><p>Kısıtlama Kontrolünün temel amacı, veri ambarındaki veri bütünlüğünü sağlamaktır. Bu bütünlüğü sağlamak için; <strong>INSERT, UPDATE ve DELETE</strong> işlemlerinde belli başlı kurallar otomatik olarak takip edilir.</p><p>Bu kurallar, hem standart hem de kişiselleştirilebilir kurallardan oluşabilmektedir. Örneğin bu kurallar: <strong>Primary Key — PK</strong> (Birincil Anahtar), <strong>Foreign Key — FK</strong> (İkincil Anahtar), <strong>UNIQUE</strong>, <strong>NOT NULL </strong>gibi standart kurallar olabilir.</p><p>Bunun yanı sıra, proje özelinde belirlenmiş kişiselleştirilmiş kurallar <strong>CHECK*</strong> <em>(belirli bir koşulun sağlanmasını gerektirir)</em> ile uyuglanabilir.</p><p>Örneğin bir çalışan tablosu için standart olarak çalışan maaşlarının 0&#39;dan büyük olması gibi bir kural belirlenmiş olabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*W8tTwstGDds1HIm3z-vi0g.png" /><figcaption>CHECK — Kişiselleştirilmiş Kural Örneği</figcaption></figure><p>Trigger ile daha karmaşık kişiselleştirilmiş kurallar oluşturulabilir. Örneğin: “yeni bir çalışan eklenirse, maaşı asgari ücretin altında olamaz” buna bir örnektir.</p><h3>Data Load Tuning (Veri Yükleme Ayarı) Nedir, Nasıl Yapılır?</h3><p>Veri yükleme, bir veri ambarına farklı kaynaklardan yeni verilerin transfer edilmesi ve işlenmesi sürecidir. Bu işlem genellikle gece boyunca <em>(batch process) </em>çalıştırılmaktadır, çünkü mesai saatleri içerisinde sistemin yavaşlamasını önlenmelidir.</p><p>Veri yükleme tamamlanmadan diğer sistemler tam verimle çalışamaz, bu sebeple veri yükleme esnasında başka bir job çalıştırmamaya dikkat etmek gerekmektedir.</p><p>Tam verimle çalışamayan ve yavaşlayan sistemler nedeniyle, sabah rapor bekleyen iş birimlerinin karşısına zamanında veya düzgün nitelikte raporların çıkmaması kesinlikle karşılaşılmak istenmeyecek bir durumdur.</p><p>Rapor süreçlerinin aksamasına ek olarak, makine öğrenmesi ve trend analizi gibi işler gecikmeli verileri işlerse ortaya yanlış bir model çıkabilir.</p><p>Veri yüklemenin yavaşlaması ve gecikmesine sebebiyet verebilecek durumlardan birisi de büyük miktarda verinin transfer ediliyor olmasıdır. Bu durumda bellek, CPU ve disk kaynakları tükenebileceğinden veri ambarına bağımlı çalışan diğer sistemler (örneğin online hizmet yerleri) aksamalarla karşılaşabilir.</p><blockquote>👀 Peki,</blockquote><p><strong>Data Load (ETL) Süreci Nasıl Optimize Edilir?</strong></p><ul><li>Veri Yükleme Yöntemi:</li></ul><p>Tek tek veri yüklemek yerine batch processing ya da bulk insert kullanılabilir. Bulk insert daha hızlıdır ve sistem kaynaklarını daha iyi kullanır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o3Cz590HMmF09CBLIPwCLA.png" /><figcaption>BULK INSERT</figcaption></figure><ul><li>Verileri Çekerken Filtrelemek:</li></ul><p>Filtreleri veriyi çekerken kullanarak, gereksiz veriyi yüklemenin önüne geçilebilmektedir. Örneğin tüm tarihi veri setini çekmek yerine, ilgili bir tarihe ait verileri çekmek hem bellek hem de hız anlamında avantajlı olacaktır.</p><ul><li>Staging Alanı Kullanmak:</li></ul><p>Kaynak veriyi doğrudan veri ambarı içerisine yüklemek yerine öncesinde bir staging (ara) tabloya atarak veriyi temizlenebilir, indeksleri düzenlenebilir, performansı arttırılabilir bir şekilde beklemeye almak tercih edilebilecek bir yöntem olarak karşımıza çıkabilmektedir.</p><p><strong>Donanım ve Sistem Optimizasyonu</strong></p><ul><li>Parallel Processing</li></ul><p>ETL işlemlerini <strong>tek bir işlem olarak çalıştırmak yerine, veri setini bölerek paralel olarak yüklenebilmektedir</strong>. Bunun için Oracle’da PARALLEL opsiyonu kullanılabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2K-EajTyrJ0rqhi42Tg2QQ.png" /></figure><p>Örneğin, yukarıdaki kod bloğunda PARALLEL kullanımı ile INSERT işlemi 4 farklı CPU çalıştırılarak yapıldığından veri bölünerek yüklenip iş daha hızlı tamamlanacaktır.</p><p><strong>Veri Bölümlendirme ve Indeksleme</strong></p><ul><li>Partition Kullanımı</li></ul><p>Büyük tablolarda partition yaparak yalnızca ilgili yerlerin taranması sağlanarak veri yükleme süreci optimize edilebilir.</p><p>Örneğin, tarihe göre partition yaparak yalnızca güncellenen verilerin yüklenmesi sağlanabilir.</p><ul><li>Indekslerin Geçici Olarak Kaldırılması</li></ul><p>Veri yükleme esnasında indeksler ekstra maliyet yaratabileceğinden, yükleme esnasında indeksler kaldırılıp yükleme işlemi tamamlandığında yeniden oluşturulabilir.</p><p><strong>İş Akışlarının Optimize Edilmesi</strong></p><ul><li>Veri yükleme işlemlerini trafik düşük olduğu saatlerde çalıştırılması, örneğin gece 01:00–05:00 arası batch processing yapılması iş akışında bir optimizasyon işlemine örnek olarak gösterilebilir.</li></ul><h3>Data Load Tuning’de Dört Yaygın Yaklaşım</h3><p>Data Load Tuning yaparken çeşitli yaklaşımlar vardır</p><p>1- En yaygın yaklaşım, <strong>SQL Katmanı kullanılarak</strong> veri eklenmesidir . Bu yaklaşımda, normal kontroller ve kısıtlamalar gerçekleştirilmelidir. Bu senaryoya göre; veriler tabloya eklendiğinde, kontrol kodu verileri eklemek için yeterli alan olup olmadığını kontrol etmek üzere çalışacaktır. Yeterli alan yoksa, bu tablolara daha fazla alan ayrılması gerekebilir. Ancak, bu kontrollerin gerçekleştirilmesi zaman alacağı gibi CPU için maliyetli olabilir.</p><p>2- İkinci yaklaşım, tüm bu kontrolleri ve kısıtlamaları atlayıp verileri doğrudan <em>önceden biçimlendirilmiş bloklara yerleştirmek</em>tir. Bu bloklar daha sonra veritabanına yazdırılır. İlk yaklaşıma göre hızlıdır ancak yalnızca tüm veri bloklarıyla çalışabilir. Bu da alan israfına yol açabilmektedir.</p><p>3- Üçüncü yaklaşım ise, verileri halihazırda tablonun bulunduğu tabloya yüklerken<em> indekslerin korunması</em>dır. Ancak daha önce bahsettiğim gibi bu da ekstra maliyet yaratabilir.</p><p>4- Dördüncü yaklaşım, verileri zaten veri içeren tablolara yüklemek için dizinleri bırakıp veri yüklemesi tamamlandığında yeniden oluşturmak olarak özetlenebilir.</p><p>Üçüncü ve dördüncü yaklaşım arasındaki seçim, halihazırda ne kadar veri yüklendiğine ve kaç dizinin yeniden oluşturulması gerektiğine bağlı olarak değişmektedir.</p><p>Bu yazıda, veri yükleme sürecinin neden önemli olduğunu, performans sorunlarına yol açan faktörleri ve bu süreci optimize etmek için uygulanabilecek stratejileri ele almaya çalıştım. Batch processing, paralel yükleme, indeks yönetimi ve partitioning gibi yöntemler, ETL süreçlerinin daha etkin hale getirilmesine yardımcı olabilir.</p><p>Bir sonraki yazıda DWH Tuning’in diğer önemli bileşeni olan Depolama (Storage) Optimizasyonu üzerine konuşmaya devam edeceğiz. Takipte kalıp beni diğer platformlardan takip etmeyi unutmayın! 🚀</p><p>Sevgiler!</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=aee2d5aea2ea" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Data Warehouse Tuning nedir? | Part 1 — Query Performansını Arttırma]]></title>
            <link>https://medium.com/@asmahazalnur/data-warehouse-tuning-nedir-part-1-query-performans%C4%B1n%C4%B1-artt%C4%B1rma-a62276735b13?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/a62276735b13</guid>
            <category><![CDATA[dwh-tuning]]></category>
            <category><![CDATA[dwh]]></category>
            <category><![CDATA[veri-ambarı]]></category>
            <category><![CDATA[oracle]]></category>
            <category><![CDATA[veri-ambarı-performansı]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Wed, 02 Apr 2025 16:26:55 GMT</pubDate>
            <atom:updated>2025-04-02T17:02:40.682Z</atom:updated>
            <content:encoded><![CDATA[<h3>Data Warehouse Tuning nedir? | Part 1 — Query Performansını Arttırma</h3><p>Merhabalar!</p><p>Bugün Veri Ambarı Ayarı yani Data Warehouse Tuning nedir, nasıl yapılır ve nelere dikkat edilmelidir konularına değineceğiz.</p><p>İyi okumalar dilerim.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*LfL9iTCM9aDUaTcl.png" /></figure><h3>Veri Ambarı (DWH — Data Warehouse) Nedir?</h3><p>DWH Tuning detaylarını incelemeden önce veri ambarı için alternatif bir tanım üzerinden ilerleyelim isterim:</p><p>Veri Ambarları, farklı kaynaklardan gelen <em>büyük hacimli</em> verileri tek bir <em>merkez</em>de toplayan, analiz ve raporlama için <em>OLAP (Online Analytical Processing) </em>yapısına uygun bir şekilde tutarak <em>— yani hızlı sorgular ve analizler yapabilmeye imkan sağlayarak,</em> <em>historik</em> bir biçimde; temizlenmiş, tutarlı ve doğru halleriyle içerisinde barındıran birer sistem olarak karşımıza çıkar.</p><p>İş Zekası (Business Intelligence), Müşteri İlişkileri Yönetimi (Customer Relationship Management), Karar Destek Sistemleri (Decision Support Systems) gibi alanlar başlıca veri ambarının tercih edildiği alanlardır.</p><h3><strong>Data Warehouse Tuning (Veri Ambarı Ayarı) Nedir?</strong></h3><p>DWH Tuning ile veri ambarı sistemi içerisinde barınan yüksek miktardaki verinin performansını arttırarak, kullanılan sorguları hızlandırmak ve kaynak kullanımını optimize etmek amaçlanır.</p><p>Optimizasyon süreçleri ise aşağıdaki adımlar altında incelenebilir:</p><p>1- Sorgu (Query) Performansını Artırma</p><p>2- Veri Yükleme (ETL) Performansını Artırma</p><p>3- Depolama (Storage) Optimizasyonu</p><p>4- Sistem ve Donanım Optimizasyonu</p><p>Bu içerikte, <strong>ilk maddeye (Sorgu (Query) Performansını Artırma) </strong>değiniyor olacağız.</p><p>Maddeleri incelemeye geçmeden önce DWH Tuning konusunun neden karşımıza zor bir işlem olarak gelebileceğine göz atalım.</p><h3><strong>Data Warehouse Tuning’de Karşılaşılabileceğimiz Zorluklar:</strong></h3><ul><li>Veri Ambarı dinamiktir, içeriği devamlı olarak güncellenir. Bu nedenle yapılacak Tuning adımları, veri niteliği ve niceliğinde gerçekleşebilecek değişiklikler göz önünde bulundurularak planlanmalıdır.</li><li>Veri ambarına erişimi olan kullanıcıların gelecekte hangi sorguları göndereceğini önceden kesin olarak tahmin etmek mümkün değildir. Bu nedenle, gönderilecek sorguların <em>bellek kullanım miktarı</em>, <em>CPU üzerindeki yükü</em> ve<em> genel sistem kaynaklarına olan etkisi</em> önceden öngörülemeyeceğinden sistemin performans yönetimi dinamik ve esnek bir şekilde ele alınmalıdır.</li><li>İş gereksinimi zamanla değişebilir. Yani, yeni raporlama ve analiz ihtiyaçları doğdukça mevcut veri yapıları yetersiz kalabilir.</li><li>Kullanıcılar ve profilleri sürekli olarak değişir. Bu demektir ki, yeni kullanıcılar farklı sorgu kalıpları getirebilir, bu da beklenmedik yükler oluşturabilir.</li><li>Bir kullanıcı bulunduğun gruptan bir başka gruba geçebilir. Böylece önceden belirlenmiş kaynak tahsisi ve optimizasyon stratejileri etkisiz hale gelebilir.</li><li>Veri Ambarında bulunan veri yükü zamala değişebilir. Veriler büyüdükçe i<em>ndeksleme, partitionlama ve sorgu optimizasyonları</em> yeniden değerlendirilmelidir.</li></ul><h3><strong>Data Warehouse Tuning Planlaması Öncesi Mevcut Performans Değerlendirmesinde Dikkat Edilmesi Gerekenler</strong></h3><p><strong>— Ortalama sorgu yanıt süresi,</strong></p><p>Yavaş sorgular, kullanıcını deneyimini direkt olumsuz olarak etkileyip iş süreçlerini aksatabileceği için, bu noktada bir değerlendirme optimizasyon ihtiyacını belirlemeye yardımcı olur.</p><p><strong>— Tarama Oranları,</strong></p><p>Büyük tabloların ne kadar tarandığını gösterir ve gereksiz tam tablo taramaları tespit edilir. Böylece indeksleme ve partitionlama gereksinimleri anlaşılır.</p><p><strong>— Günlük kullanılan zaman sorgusu,</strong></p><p>Bu yol ile DWH kaynaklarının ne kadar verimle kullanıldığının analizi sağlanabilir. Yoğun saatlerde sistem üzerindeki yükü azaltmak için optimizasyon yapılabilir.</p><p><strong>— İşlem başına bellek kullanımı,</strong></p><p>Ayrılan bellek miktarının yeterliliğini ölçmek adına kritiktir. Bellek tüketimi, yüksek sorgular belirlenmesinin ardından tuning ve kaynak yönetimi sağlanabilir.</p><p><strong>— I/O Throughput Rates* Oranları</strong></p><p>Disk okuma ve yazma işlemlerinin verimliliğini gösterir. Yüksek I/O kullanımı, disk erişimlerinin azaltılması için optimizasyon ihtiyacını gösterir.</p><blockquote><strong>✨I/O Throughput Rate (Girdi/Çıktı Bant Genişliği),</strong> bir sistemin <strong>belli bir süre içinde işleyebildiği veri miktarını</strong> ifade eder. Genellikle <strong>diskler, ağ bağlantıları ve işlemcilerin veri okuma/yazma hızlarını ölçmek</strong> için kullanılır. Ölçü birimi, MB/s, GB/s, IOPS (I/O Operations Per Second)</blockquote><p>DWH Tuning öncesi mevcut performans değerlendirmesi yapıldıktan ve karşılaşılabilecek zorluklara karşın gerekli önlemlerin alınmasından sonra, Tuning gerçekleştirme adımları takip edilebilir.</p><h3>1- Sorgu (Query) Performansını Artırma</h3><p>Veri Ambarında yavaş sorgu çalışması sık karşılaşılan bir durum olup, kullanıcıları ve direkt olarak iş süreçlerini negatif etkiler. Bunun önüne geçmek için izlenebilecek birkaç yol vardır.</p><p>Bunlardan ilki:</p><blockquote><strong>* Indeks Kullanımı:</strong></blockquote><p>Indeksler, veri arama ve filtreleme işlemini hızlandıran yapılardık ancak iş veri yüklemeye geldiğinde maliyet arttıran unsurlara dönüşebilirler.</p><p>Bu nedenle; sorguların WHERE, JOIN veya GROUP BY gibi işlemlerinde sık kullanılan sütunlara uygun indeksler eklenmeli ve veri ambarı yapısına uygun indeks türleri (B-Tree Index, Bitmap Index, Hash Index vb.) seçilmelidir.</p><blockquote><strong>* Sorgu Optimizasyonu:</strong></blockquote><p>Sorguyu optimize etmek için izlenebilecek yollar:</p><p>— SELECT ifadelerinde * kullanımı ile tüm kolonları çağırmak yerine, ihtiyaç olan kolonları çağırmak.</p><p>— Bazı durumlarda daha fazla performans sağlayacağı için subquery yerin JOIN kullanmak. (Örneğin korelasyonlu subquery’lerde, iç sorgu dış sorgunun her satırı için tekrar çalışıyorsa bu büyük veri kümelerinde ciddi performans sorunlarına yol açabilir.)</p><p>— Analitik fonksiyonlar [ RANK(), DENSE_RANK(), ROW_NUMBER() ] gibi optimize edilmiş SQL fonksiyonlarını kullanmak.</p><p>— Materialized View kullanarak sık kullanılan sorguların önceden hesaplanmış sonuçlarını saklamak.</p><p><strong>(Materialized View ile İlgili Hap Bilgiler:</strong></p><p><em>Materialized View, Oracle’ın performans arttırmaya yönelik yarattığı bir yapıdır. View gibi hayalet tablo olarak anılamaz çünkü bellekte fiziksel olarak yer tutar. Disk değil direkt olarak memory üzerinde — RAM’de yer kaplamaktadır. Memory diğer tüm sistemlere dokunduğu için aslında memory üzerinde yapılan her türlü işlem kritik olarak anılabilir.</em></p><p><em>Yavaş ve en çok çalıştırılan sorguları materialized view olarak kullanmak mantıklıdır, özellikle iş birimlerinin günlük, haftalık vb. periyotlarda görüntülediği raporların sorguları buna örnek olarak verilebilir.</em></p><p><em>On-Demand olarak oluşturulan materialized view’larda veri güncellemek için tekrar çalıştırılmalıdır. Bunun yerine refreshable olarak oluşturulabilir.</em><strong><em>)</em></strong></p><blockquote><strong>* Partitioning Kullanımı:</strong></blockquote><p>Büyük tablolarda partitioning, sadece ilgili bölümlerin taranmasını sağlayarak <strong>sorgu süresini ciddi ölçüde azaltır</strong>. Range, Listi Hash veya Composite Partitioning gibi yöntemler tercih edilebilir.</p><p>Yazının sonunda ele aldığımız konuları toparlamak gerekirse: DWH Tuning nedir, neden ihtiyaç duyulur, DWH Tuning ile ilgili karşımıza çıkabilecek zorluklar nasıl ele alınmalıdır, Tuning öncesi mevcut performans değerlendirmesi nasıl sağlanır, Tuning adımları nedir sorularına cevap aradık ve Tuning adımlarından ilki olan Sorgu (Query) Performansını Arttırma konusunu inceledik.</p><p>DWH yapısını optimize etmek konusunun yarattığı merakla elde ettiğim bilgileri olabildiğince güzel derleyerek paylaşmak istedim, umarım bu içerikten keyif almışsınızdır!</p><p>Bu seriyi 4 part’ta ele alarak tüm DWH Tuning adımlarını incelemeyi ve sizlerle paylaşmayı hedefliyorum.</p><p>O zamana dek kendinize iyi bakmayı, merak ettikleriniz için bana ulaşmayı ve içeriklerin devamından haberdar olmak için takip etmeyi unutmayın, sevgiler! ✨</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a62276735b13" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Coğrafi Bilgi Sistemleri’nde Veri Tipleri]]></title>
            <link>https://medium.com/@asmahazalnur/co%C4%9Frafi-bilgi-sistemleri-veri-tipleri-dbbcfdd8fa84?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/dbbcfdd8fa84</guid>
            <category><![CDATA[konumsal-veri]]></category>
            <category><![CDATA[öznitelik-verisi]]></category>
            <category><![CDATA[çizgisel-veri]]></category>
            <category><![CDATA[noktasal-veri]]></category>
            <category><![CDATA[coğrafi-bilgi-sistemleri]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Sun, 16 Feb 2025 20:12:42 GMT</pubDate>
            <atom:updated>2025-04-02T16:27:11.569Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese selamlar!</p><p>Bir önceki içerikte giriş yaptığımız Coğrafi Bilgi Sistemleri disiplinine, bugünkü içerikte biraz daha yakından bakalım istedim. İlk olarak, CBS’de kullanılan veri tiplerine göz atalım.</p><p>O halde iyi okumalar dilerim!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/959/0*UQI50lijzB_4CdP-.png" /></figure><p>Artık Coğrafi Bilgi Sistemlerinde verilerin, yeryüzünden pek çok farklı yöntemle toplandığını biliyoruz. Uzun uğraşlar sonucunda titizlikte yürütülen bu veri toplama süreçleri sonucunda temelde iki farklı tipte veri elimize geçmiş oluyor:</p><p>1- Öznitelik Verisi</p><p>2- Konumsal Veri</p><h4>Öznitelik Verisi Nedir?</h4><p>En basit şekliyle öznitelik verisi, konumsal nesnelerin özellikleridir. Öznitelik verileri konumsal bir nesne ile ilişkili, konumsal olmayan <br>verilerdir ve konum bilgisi içermezler. Genellikle tablo veriler şeklinde sunulan öznitelik verisi, doğadaki konumsal nesnelerin, nicelik ve nitelik gibi karakteristik özelliklerini tanımlamak için kullanılır.</p><p>Bu bir harita üzerinde tutulan bilgilerin veritabanında bir tablo üzerinde satır ve sütunlarla tutulması olarak düşünülebilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*tTKsPuWzyKlvZ1aM.jpg" /><figcaption>Öznitelik Verisi</figcaption></figure><h4>Konumsal Veri Nedir?</h4><p>Yeryüzünde herhangi bir nesnenin coğrafi konumunu belirmek için kullanılır. Konum bilgisi koordinat sistemleri ile mutlak bir nokta olarak<br>ifade edilebilmektedir.</p><p>Konumsal veriyi ifade etmek için, uluslararası platformda kabul gören birçok projeksiyon sistemi bulunmaktadır. Nokta, Çizgi ve Poligon gibi geometrik ifadeler, CBS’de konumsal veriyi tanımlamaya yarayan temel harita elemanlarıdır. Nesnelerin yeryüzündeki mutlak ve göreceli konumları, bu elemanlar yardımı ile konumsal veri olarak CBS platformuna aktarılmaktadır.</p><p>Her iki veri tipini tek örnek altında açıklamak gerekirse bir dağın koordinatları, konumsal veridir. Ancak bu dağın rakımı, yerleşime olanak sağlayıp sağlamadığı, dağ yüzeyindeki toprak türü vb. bilgiler öznitelik verisidir.</p><h3>Konumsal Veri Tipleri</h3><p>Doğada var olan yeryüzü şekillerini harita elemanları olarak tanımlamak ve konumsal veri olarak CBS yazılımlarına aktarmak için konumsal veri tipleri kullanılmaktadır. Konumsal veri tipleri <strong>nokta, çizgi ve poligon</strong> olarak üç tanedir.</p><h4>Nokta:</h4><p>Belirli hacmi, alanı ve uzunluğu olmayan mutlak konum belirlemek için kullanılan geometrik bir nesnedir.</p><p><strong>Ağaç, direk vb.</strong> noktasal yeryüzü elemanlarının konum bilgilerini CBS haritalarında tanımlamak için kullanılır.</p><p>• Birbirinden ayrık noktasal konumları belirtir.<br>• Kullanıldığı ölçek için <strong>alansal ve uzunluk cinsinden büyüklüğü yoktur.</strong><br>• Genellikle X,Y cinsinden <strong>tek bir koordinat çifti </strong>ile gösterilir.<br>• Kullanılan ölçekte alan veya çizgi olarak gösterilse, çok küçük değerler olacağı için noktasal nesne olarak gösterilmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/747/1*SgPl_pj6YekRCU6Lin3u0Q.png" /><figcaption>Noktasal veriye örnek. Bir kentteki otobüs durakları.</figcaption></figure><h4>Çizgi:</h4><p>CBS yazılımlarında <strong>doğru (line)</strong> veya <strong>çoklu-doğru (polyline)*</strong> olarak <br>kullanılan geometrik bir nesnedir. İki nokta arasında en kısa uzaklığı tanımlayan sürekli koordinat verilerine doğru, birden fazla doğrunun birleşmesi ile oluşan elemana ise çoklu-doğru adı verilir.</p><p><strong>Dere, akarsu, yol</strong> vb. çizgisel yeryüzü elemanlarının konum bilgilerini CBS’de tanımlamak için kullanılır.</p><p>• Belirli bir uzunlukları vardır ancak kalınlıkları yoktur.<br>• Bir dizi <strong>sürekli koordinat değerleri</strong>nden oluşur.<br>• Kullanılan ölçeğe bağlı olarak, genişliği olmayan çok ince <strong>çizgisel yeryüzü<br>elemanları </strong>için kullanılır</p><p>(<strong><em>*Çoklu-doğru (Polyline)</em></strong> : birden fazla doğrunun birleşmesi ile oluşan çizgisel elemana çoklu-doğru adı verilir.)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/738/1*TDAsI3zByQUhnps0S77brg.png" /><figcaption>Çizgisel veriye örnek. Tramvay güzergahı.</figcaption></figure><h4>Poligon:</h4><p>Çizgisel elemanlarla sınırlandırılmış iki boyutlu homojen kapalı alanlardır. <strong>Ada, göl, parsel, il sınırı </strong>vb. alansal yeryüzü elemanlarının konum bilgilerini CBS’de tanımlamak için kullanılır.</p><p>• <strong>Belirli bir alan</strong>ı olan yeryüzü şekillerini ifade etmek için kullanılır.<br>• Kullanılan ölçeğe bağlı olarak çok küçük olmayan<strong> alanları çevreleyen</strong> çizgisel elemanlardan oluşur.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/738/1*wRhB86PiIAa8vHSe16dhwA.png" /><figcaption>Poligon verisine örnek. Mahalle sınırları.</figcaption></figure><p>Temelde Coğrafi Bilgi Sistemlerinde kullanılan veri tiplerini ele aldığım bu içerik umarım hoşunuza gitmiştir. Bir sonraki içerikte CBS’de Veri Modellerini ele alıp bütüncül bir bakış açısı sunmayı amaçlıyorum.</p><p>O zamana dek kendinize iyi bakmayı, merak ettikleriniz için bana ulaşmayı ve içeriklerin devamından haberdar olmak için takip etmeyi unutmayın, sevgiler! 🌹</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dbbcfdd8fa84" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Coğrafi Bilgi Sistemleri 101]]></title>
            <link>https://medium.com/@asmahazalnur/co%C4%9Frafi-bilgi-sistemleri-fotogrametri-101-4f7cef7e5e0a?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/4f7cef7e5e0a</guid>
            <category><![CDATA[geographical-information]]></category>
            <category><![CDATA[fotogrametri]]></category>
            <category><![CDATA[mekansal-veri]]></category>
            <category><![CDATA[uzaktan-algılama]]></category>
            <category><![CDATA[coğrafi-bilgi-sistemleri]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Thu, 23 Jan 2025 21:07:13 GMT</pubDate>
            <atom:updated>2025-01-23T21:07:27.191Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhabalar!<br>Bugün yüksek doğruluğa sahip mekansal verilerin (spatial data) toplanması, işlenmesi ve anlamlı bilgiye dönüştürülmesini sağlayan Coğrafi Bilgi Sistemleri disiplini hakkında giriş niteliğinde bir yazı hazırladım.</p><p>Meraklısı için güzel bir başlangıç kaynağı olacağına inanıyorum.</p><p>İçerik içerisinde adı geçen pek çok yöntem, hakkında onlarca ekstra içerik üretme imkanı verecek derin yöntemlerdir, ilerleyen süreçlerde bu yöntemleri inceleyeceğimiz içerikler yayımlamak ümidiyle, iyi okumalar!</p><h3>Coğrafi Bilgi Sistemleri Nedir?</h3><p>Coğrafi bilgiyi (konumsal/mekansal veriyi) toplamaya, saklamaya, güncellemeye, işlemeye, gerektiğinde yaratmaya, analiz etmeye ve göstermeye yarayan; içerisinde donanım, yazılım ve personel bulunduran, kurumsal ve organizasyonel entegrasyon gerektiren bilgi sistemlerinin genel adına Coğrafi Bilgi Sistemi (CBS) denir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/597/1*t3e7AEstjMRJhcfjE6LSDQ.png" /><figcaption>Geographical Information Systems</figcaption></figure><p>Bir başka deyişle coğrafi bilgi sistemleri, coğrafi olarak tanımlanabilen yazınsal ve vektörel verilerin aynı ortamda eşlenmesini ve bu veriler üzerinde amaçlar doğrultusunda verilerin sorgulanması ve analiz edilmesini sağlayan bilgi sistemidir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/567/1*nZXuPh7SgFcb6kQ7OWds5Q.png" /></figure><h3>Coğrafi Bilgi Sistemlerinin Kullanım Alanları</h3><p>Mekânsal veri, dünya üzerinde bilinen bir yere, gerçek bir coğrafi referansa bağlı olan, başka bir deyişle, konumu belli olan veridir.</p><p>Bir harita üzerinde görünen özellikler (yollar, binalar, parseller, nehirler vb.), CBS ortamındaki çeşitli katmanları oluştururlar.</p><p>Bu mekânsal verilerle ilişkilendirilen ve genellikle çizelge formatında saklanan veriler ise grafik olmayan, başka bir deyişle sözel verilerin meydana getirmektedir. <br>Sokak isimleri, bina kat sayıları gibi grafik olmayan bilgiler buna örnektir.</p><p>Elde edilen bilgi çeşitli formlarda olabilir ve sunulabilir. Haritalar, görüntüler, raporlar, grafikler ve listeler bilgi içeren ürünlere örnektir. Veriler, CBS ortamında saklanır, analiz edilir, güncellenir ve sunulur. CBS yazılımları ve uygun donanım yardımı ile gerçekleştirilen analizler, sayısal ve basılı formatlarda bilgi içeren ürünlerin elde edilmesini ve bunların sunulmasını sağlamaktadır.</p><p>Bu sürecin sonunda elde edilen bilgiler ile aşağıdaki alanlara fayda sağlanır:</p><ol><li>Şehir ve Bölge Planlama</li></ol><p>Kentsel alanların mevcut durumunu analiz etmek, yeni yerleşim alanlarının belirlenmesi, ulaşım ağlarının tasarımı ve optimizasyonu, altyapı planlama ve geliştirme.</p><p>2. Tarım ve Ormancılık</p><p>Hassas tarım uygulamaları (bitki sağlığı analizi, sulama planlaması), orman envanteri yönetimi ve yangın risk haritaları oluşturma, arazi kullanımı ve ürün rotasyonu planlama.</p><p>3. Doğal Afet Yönetimi</p><p>Deprem, sel, heyelan gibi afet risklerini analiz etmek, afet sonrası hasar tespiti ve kurtarma planlaması, tahliye güzergâhlarının belirlenmesi.</p><p>4. Çevre Yönetimi</p><p>Doğal kaynakların korunması ve sürdürülebilir yönetimi, su kaynaklarının izlenmesi ve yönetimi, kirlilik takibi ve hava kalitesinin izlenmesi.</p><p>5. Ulaşım ve Lojistik</p><p>Trafik yoğunluğunu analiz etme ve rota optimizasyonu, lojistik ve dağıtım süreçlerinin planlanması, akıllı ulaşım sistemlerinin geliştirilmesi.</p><p>6. Sağlık</p><p>Hastane ve sağlık merkezlerinin yerleşim analizleri, epidemiyolojik çalışmalar (hastalık yayılımının haritalanması), acil durum hizmetlerinin planlanması.</p><p>7. Enerji ve Altyapı Yönetimi</p><p>Elektrik, su ve doğalgaz hatlarının yönetimi, yenilenebilir enerji potansiyeli (güneş, rüzgâr) analizleri, enerji tüketim haritalarının oluşturulması.</p><p>Elbette bu konu başlıkları ve içeriği detaylandırılmaya müsaittir. Ancak en yaygın konu başlıkları bunlar diyebiliriz.</p><h3>Coğrafi Bilgi Sistemleri Veri Kaynakları Nelerdir?</h3><p>CBS, yüksek hassasiyetli verileri toplama noktasında aşağıdaki yöntemleri kullanır:</p><ul><li>Uzaktan Algılama Sistemleri</li><li>Fotogrametri</li><li>LIDAR (Light Detection And Ranging)</li><li>Sahadan Toplanan Veriler</li><li>Sensör Verileri (IoT — Internet of Things ve Akıllı Cihazlar) vb.</li></ul><p>Bu maddelerin kapsamlarına bir göz atalım.</p><h4><strong>1 — Uzaktan Algılama Sistemleri</strong></h4><p>Uzaktan algılama sistemlerine çoğunlukla arazi örtüsü analizi, bitki örtüsü tespiti ve iklim değişikliği çalışmaları gibi konularda başvurulmaktadır.</p><p>Uzaktan algılamanın yaygın kullanımı ve sivil amaçlar için de yüksek çözünürlük sağlanması ve hata payının azaltılması, bununla birlikte uydu görüntüleri CBS entegrasyonu ve çalıştırılması, CBS için veri çeşitliliği sağlamaktadır.</p><p>Mevcut olmayan ve ulaşılamayan bazı veriler doğrudan arazide yapılacak ölçümler ve uzaktan algılama yöntemleriyle elde edilecek sayısal görüntüler vasıtasıyla da elde edilebilir. <em>Örneğin</em>; GPS, lazer tarayıcılar, hava fotoğraf­ları ve sayısal CBS verisi üreten diğer araçlar mekânsal veri temin etmenin ve paylaşmanın önemli yollarından birisi olarak değerlendirilebilir.</p><p>Uzaktan algılama sistemleri bu çalışmalara; uydular, insansız hava araçları (IHA) ve sensörler vb. ile veri toplayarak katkı sağlar.</p><p>Örneğin; Landsat, Sentinel ve MODIS verilerine sıklıkla başvurulan uydulardandır.</p><h4><strong>2 — Fotogrametri</strong></h4><p>Fotogrametri; arazi analizi, şehir planlama ve doğal kaynak yönetimi gibi konularda başvurulan bir disiplindir.</p><p>Uydu görüntüleri, LIDAR ve hava lazer tarama gibi yöntemlerle topladığı verilerle CBS süreçlerinin geliştirilmesine katkı sağlar.</p><p>Hava lazer tarama yöntemi, aslında uçak ve helikopter gibi araçlar üzerinden LIDAR kullanılarak yeryüzünde bulunan nesnelere (konutlar, tarım arazileri, yeryüzü şekilleri vb.) lazer gönderilmesini ve geri dönüş süreleri üzerinden değerlendirme yapılmasını sağlar.</p><p>Fotogrametri ile oluşturulup derlenen verilerle ortofoto haritalar, sayısal yüzey modelleri (SYM) ve sayısal arazi modelleri (SAM) vb. anlamlı bilgiler ortaya çıkartılır ve alınacak aksiyonlarda karar verme noktasında ışık tutar.</p><h4><strong>3 — LIDAR (Light Detection And Ranging)</strong></h4><p>Lazer ışınları göndererek yüzeyden geri dönüş sürelerini ölçer. Yüksek kontrol, minimum yer kontrol ihtiyacı ve gün ışığına ihtiyaç duymadan ölçüm yapabilme olanağı sağlar.</p><p>LIDAR ile toplanan veriler; atmosferik araştırmalar, barimetrik (denizaltı) ölçümler ve arazi yönetimi vb. için kullanılır.</p><h4><strong>4 — Sahadan Toplanan Veriler (Arazi Çalışmaları)</strong></h4><p>Sahada kullanılan GPS, GNSS* cihazları ve ölçüm ekipmanlarıyla doğrudan toplanan verilerdir. <em>Örneğin;</em> koordinat ölçümleri, arazi sınırları, yükseklik verileri vb. bahsedilebilir.</p><p>Bu toplanan veriler, kadastro çalışmaları, altyapı projeleri, mühendislik projeleri vb. için aksiyon alma ve karar verme süreçlerinde önemli rol oynar.</p><p><em>( * GNSS — Global Navigation Satellite Systems, sabit veya hareketli nesnelerin konumlarını ve zaman bilgisini belirlemelerini sağlayan sistemlerdir.)</em></p><h4>5–Sensör Verileri (IoT ve Akıllı Cihazlar)</h4><p>Akıllı cihazlar ve sensörler aracılığıyla trafik sensörlerinden alınan yoğunluk verileri, akıllı şehir uygulamalarından gelen veriler vb. olabilir.</p><p>Sensör verileri akıllı şehir projeleri, ulaşım yönetimi, çevresel analizler gibi alanlarda kullanılma imkanı bulabilir.</p><p>Umarım bu içerik Coğrafi Bilgi Sistemleri kullanım ve veri toplama yöntemleri ile ilgili giriş niteliğinde fikir edinmenizi sağlamıştır.</p><p>Merak ettikleriniz için bana ulaşmayı ve içeriklerin devamından haberdar olmak için beni takip etmeyi unutmayın, sevgiler! 🌹</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=4f7cef7e5e0a" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[PLSQL’de Referans Veri Tipleri: %TYPE & %ROWTYPE]]></title>
            <link>https://medium.com/@asmahazalnur/plsqlde-referans-veri-tipleri-type-rowtype-6e722da57bc9?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/6e722da57bc9</guid>
            <category><![CDATA[oracle]]></category>
            <category><![CDATA[type]]></category>
            <category><![CDATA[plsql]]></category>
            <category><![CDATA[rowtype]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Mon, 06 Jan 2025 09:42:24 GMT</pubDate>
            <atom:updated>2025-01-06T09:42:24.292Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese selamlar!</p><p>Bugün yine denk geldiğimde ilgimi çekmeyi başaran konulardan bir tanesi olan: PLSQL’de değişken bazında veri tipi tanımlaması yaparken <strong>hem zaman ve iş gücü tasarrufu sağlayacak</strong> <strong>hem de tablolar arası veri tipi tutarlılığına imkan tanıyacak</strong> Referans Veri Tipleri (%TYPE ve %ROWTYPE) konusundan bahsedeceğim.</p><p>İyi okumalar! ✨</p><p>Oracle PL/SQL’de kullanılan %TYPE ve %ROWTYPE referans veri tipleridir ve genellikle değişken veya kayıt türlerini, veritabanındaki <em>sütun veya tablolara dayalı</em> olarak tanımlamak için kullanılır. Bu, <strong>veri tutarlılığı</strong>nı sağlamaya ve <strong>kodun bakımını kolaylaştırma</strong>ya yardımcı olur.</p><h3>%TYPE Nasıl Kullanılır? Avantajları Nelerdir?</h3><p>%TYPE ile bir değişkeni tanımlarken, bir sütunun veya bir değişkenin veri tipini referans almasını sağlarız. Böylece;</p><ul><li>Veri türünü <em>açıkça tanımlamadan</em> değişkenin tipi, veritabanındaki ilgili sütuna veya değişkene <strong>bağlı</strong> kalacaktır.</li><li>Eğer sütunun veri tipi değişirse, %TYPE kullanarak tanımladığımız tüm değişkenler <strong>otomatik olarak yeni tipe uyum sağlar.</strong></li></ul><p>Örnek</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YrK6e38sUZlVHJgsh1DhaQ.png" /><figcaption>%TYPE -RefTypes</figcaption></figure><p>PLSQL ile <strong>%TYPE</strong>’ı <strong>DECLARE-BEGIN-END </strong>blokları içerisinde kullanırız.</p><p>Yukarıdaki örnekte,<strong> “employees”</strong> tablosunda yer alan <strong>“last_name”</strong> değişkeninin veri tipini, yeni tanımlanan <strong>“v_employee_name” </strong>değişkenine eşliyoruz.</p><p>Kullanıyor olduğumuz IDE’nin çok fazla satırı ele alıp <strong>“Too many rows”</strong> hatası vermemesi adına BEGIN bloğu altında, WHERE condition’ı olarak <em>employee_id = 100</em> şeklinde belirtiyoruz. (** Too many rows hatasını, <strong>%ROWTYPE</strong>’ta almak daha yüksek bir olasılık, bunun nedenine birazdan değineceğim.)</p><p>Diyelim ki <strong>“employees”</strong> tablosundaki <strong>“last_name”</strong> değişkeni bu etapta VARCHAR2(15) olarak tanımlandı ancak <em>ilerleyen süreçte</em> daha fazla karaktere ihtiyaç duyulması sebebiyle <strong>VARCHAR2(20)</strong> olarak güncellendi, bu durumda biz <strong>“v_employee_name”</strong> değişkenini <em>%TYPE</em> ile<strong> “last_name”</strong> eşlenik hale getirdiğimiz için,<strong> “v_employee_name”</strong> özelinde manuel bir değişiklik yapmaya ihtiyaç duymayacağız.</p><p><strong>“last_name”</strong> değişkeninde yapılacak herhangi bir veri tipi değişikliği <strong>otomatik olarak “v_employee_name” değişkenine yansıyacaktır.</strong></p><h3>%ROWTYPE Nasıl Kullanılır? Avantajları Nelerdir?</h3><p><strong>%ROWTYPE</strong>, bir tablonun veya bir sorgunun döndürdüğü satırın <strong>tamamını </strong>temsil eden bir kayıt türü tanımlamak için kullanılır.</p><p>Bu, bir tablo veya sorgunun tüm sütunlarına <strong>tek bir kayıt üzerinden</strong> erişim sağlar.</p><p>** <em>(Yukarıda bahsettiğim </em><strong><em>“too many rows”</em></strong><em> hatası almanın </em><strong><em>%ROWTYPE</em></strong><em> kullanımında daha yüksek olasılıklı olmasının sebebi budur, tek bir kayıt üzerinden sorgunun döndürdüğü satırın tamamını temsil edebilir.)</em></p><p>Örnek</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*jdugEQDlx8sqq8MuhjRfmw.png" /></figure><p>Bu örnekte, <strong>“v_employee_record”</strong>, <strong>“employees”</strong> tablosunun tüm sütunlarını içerir. Bu değişkenin veri türü <strong>%ROWTYPE</strong> ile tanımlandığı için, sanki bir tablonun bir satırıymış gibi davranır. Yani <strong>“employees”</strong> tablosunun bir kaydını (tüm sütunlarını) tek bir değişkende saklar.</p><p>Ve yine <strong>%TYPE</strong>’da olduğu gibi burada da, <strong>“employees”</strong> tablosunun herhangi bir değişkeninin veri tipinde yapıalcak değişiklik; <strong>“v_employee_record”</strong> değişkeninin tuttuğu satır içerisinde de kendisini gösterecektir.</p><p>Umarım bu içerik Referans Veri Tipleri ile ilgili fikir sahibi olmanızı sağlamıştır.</p><p>Merak ettikleriniz için bana ulaşmayı ve içeriklerin devamından haberdar olmak için beni takip etmeyi unutmayın, sevgiler! 🌹</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6e722da57bc9" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Dinamik SQL Nedir? Dinamik SQL ve Statik SQL Arası Farklar]]></title>
            <link>https://medium.com/@asmahazalnur/dinamik-sql-nedir-dinamik-sql-ve-statik-sql-aras%C4%B1-farklar-f5587cce394e?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/f5587cce394e</guid>
            <category><![CDATA[data]]></category>
            <category><![CDATA[ddl]]></category>
            <category><![CDATA[dinamik-sql]]></category>
            <category><![CDATA[dynamic-sql]]></category>
            <category><![CDATA[sql]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Fri, 13 Dec 2024 18:37:55 GMT</pubDate>
            <atom:updated>2024-12-13T18:42:39.664Z</atom:updated>
            <content:encoded><![CDATA[<p>Uzun bir aranın ardından herkese selamlar!<br>Bugün, tanımına denk geldiğimde tek kaşımı havaya kaldırıp bende merak uyandıran bir kavram hakkında edindiğim bilgileri derleyip sizlerle paylaşmak istedim.<br>Başlıktan da anlaşılacağı üzere bu kavram <strong>“Dinamik SQL”.</strong></p><p>O halde başlayalım, iyi okumalar!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/445/1*uIbNFrDXICDv-Omw4Wm78w.jpeg" /></figure><h3>Dinamik SQL Nedir?</h3><p>Tasarım aşamasında değil, <strong>run time</strong>’da (çalışma zamanı) oluşturulup yürütülen SQL komutlarıdır. Komutlar bir string olarak tanımlanır ve genellikle parametreler veya kullanıcı girdilerine bağlı olarak değiştirilir.</p><ul><li><strong>Oracle PL/SQL</strong> ve <strong>PostgreSQL</strong> destekleyen veritabanı sistemlerinde kullanımı yaygındır.</li><li><strong>DDL</strong> (Data Definiton Language) komutları ( CREATE, ALTER, DROP, vb.) ve DCL (Data Control Language) komutları (GRANT, REVOKE, vb.) ile kullanımı çoğu zaman kolaylık sağlar.</li></ul><p>Tabii ki duruma göre kullanım avantajları/dezavantajları bulunmaktadır. Yazının devamında bu detaylara da yer veriyor olacağım.</p><h3>Dinamik SQL ve Statik SQL Farkları Nelerdir?</h3><p>Statik SQL, SQL dendiğinde akla ilk gelen ve kullanımı en yaygın olan SQL türüdür. Bu türde, SQL komutları <strong>önceden tanımlanmış </strong>ve<strong> derlenmiş </strong>bir şekilde yazılır. SQL sorgusu kod içerisinde sabittir ve çalıştırıldığı esnada değiştirilmez.</p><p>Farklarına gelecek olursak:</p><ol><li>Dinamik SQL, runtime’da sorguda değişiklik yapabilmemize imkan tanır. Örneğin sorgu çalıştığı esnada <strong>farklı kaynaktan veri almak </strong>veya koşullarda <strong>değişiklik yapmak</strong> mümkündür. Ancak Statik SQL’de sorgu yapısı<strong> sabit</strong> olduğu için farklı senaryolara adapte edilemez.</li><li>Dinamik SQL, Statik SQL’e göre <strong>performans</strong> anlamında düşük kalabilir. Bunun nedeni, Statik SQL ile sorgu hazırlanıp çalışma planı oluşturulup derlendikten sonra sorgu yapısına herhangi bir müdahalede bulunulmuyor olmasıdır. Ancak Dinamik SQL’de sorgu, her çalıştırıldığında tekrar derlenmek durumunda kalır.</li><li>Statik SQL, güvenlik anlamında Dinamik SQL’e göre daha pozitif bir tablo çizer. Sorgular sabit olduğu için, <strong>SQL enjeksiyonu</strong> riski azdır. Ancak Dinamik SQL’de, kullanıcı girdileri direkt olarak sorguya adapte edilirse <strong>kötü niyetli kullanıcılara sistemi manipüle etme fırsatı doğabilir</strong>. Bunun önüne geçmek için <em>parametreli sorgular</em> yaratılabilir veya <em>girdi doğrulaması yöntemi </em>tercih edilebilir.</li><li>Statik SQL, sabit sorgu yapısına sahip olduğundan geliştirme ve bakım anlamında Dinamik SQL’e göre çok daha zahmetsizdir. Dinamik SQL’de sorgular değiştirilebilir olduğundan hata tespiti zor olabilir.</li></ol><h4>Örnek</h4><p>Basit bir çıktı alabileceğimiz sorguyu hem Statik SQL’de hem de Dinamik SQL’de nasıl oluşturabileceğimizi görmek için ufak bir örnek görmek faydalı olacaktır.<br><em>Products </em>tablosu içinde <em>category_id’</em>si 5 olan ürünleri görüntülememizi sağlayacak sorguyu:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5ahLyUUpVVaLQWlqEXXg6Q.png" /><figcaption>Static SQL</figcaption></figure><p>Statik SQL ile yukarıda gördüğünüz ve büyük ihtimalle alışık olduğunuz bu formatta oluştururken,</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*J7uXSiLaRgtQZmBjmDPcDg.png" /><figcaption>Dynamic SQL</figcaption></figure><p>Dinamik SQL ile yukarıdaki şekilde oluşturabiliriz.</p><p>Bu sorguda<strong><em> EXEC</em></strong> keyword’ü sorguyu çalıştırmamızı sağlar. <strong><em>@ query </em></strong>ifadesini sorgumuzun alias’ı olarak düşünebilirsiniz.</p><p>Şimdi gelelim Dinamik SQL’in DDL ve DCL Komutları ile kullanımında dikkat edilmesi gerekenlere:</p><h3>Dinamik SQL’in DDL Komutları ile Kullanımı</h3><p>Dinamik SQL, DDL (Data Definiton Language) komutlarıyla kullanımında özellikle tablo yapılarının veya veritabanı nesnelerinin dinamik olarak oluşturulması veya değiştirilmesi gerektiğinde faydalıdır.</p><p>Örneğin Dinamik SQL ile tablo oluşturmak için aşağıdaki gibi bir sorguyu yazabiliriz:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*e1mv5plFkY_JDjjUxzuMEw.png" /><figcaption>Create table with Dynamic SQL</figcaption></figure><p>Tablo oluştururken Dinamik SQL tercih etmek, tablo adı ve yapıları dinamik olarak değiştirebilmeyi sağlarken aynı zamanda otomasyon süreçlerinde esneklik sağlar.</p><p>DDL Komutları ile Dinamik SQL sorgusu yazarken, oluşturulan komutların hatalı olması ihtimaline karşın sorguya <strong>hata kontrol mekanizmaları</strong> eklemekte fayda olacaktır.</p><p>Ayrıca unutulmamalıdır ki, Dinamik SQL ile DDL komutları çalıştırabilmek için kullanıcıya gerekli <strong>yetkiler </strong>verilmiş olmalıdır.</p><h3>Dinamik SQL’in DCL Komutları ile Kullanımı</h3><p>Dinamik SQL’in DCL (Data Control Language) komutları ile kullanımı özellikle yetki yönetimi dinamik bir şekilde yapılması gerektiğinde kullanışlı olacaktır.</p><p>Örneğin, kullanıcıya GRANT ile yetki verme işlemi:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t4yP6hDu6J86A1ygYkizsQ.png" /><figcaption>Using Grant Keyword with Dynamic SQL</figcaption></figure><p>Böylece yetki verme işlemi otomatikleştirilmiş, kullanıcı veya rol bazlı yetkilendirme imkanı doğmuş olur.</p><p>İçeriğin önceki kısımlarında bahsettiğim SQL enjeksiyonu riski en çok Dinamik SQL’in DCL komutları ile kullanımında karşımıza çıkmaktadır.</p><p>Dinamik SQL ile DCL komutları kullanılırken, yetki seviyeleri dikkatlice kontrol edilmelidir. Yanlış bir sorgu ciddi güvenlik açıklarına neden olabilir.</p><p>Umarım bu yazı Dinamik SQL ve Statik SQL farkları ve beraberinde Dinamik SQL’in kullanımının fayda sağlayabileceği noktalarla ilgili fikir sahibi olmanızı sağlamıştır.</p><p>Merak ettikleriniz için bana ulaşmayı ve içeriklerin devamından haberdar olmak için beni takip etmeyi unutmayın, sevgiler!</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=f5587cce394e" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Regresyon Modellerinde Parametrelerin Bulunması Konusunda Normal Denklemler Yöntemi ve Gradient…]]></title>
            <link>https://medium.com/@asmahazalnur/regresyon-modellerinde-parametrelerin-bulunmas%C4%B1-konusunda-normal-denklemler-y%C3%B6ntemi-ve-gradient-05ecaf832bab?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/05ecaf832bab</guid>
            <category><![CDATA[mean-squared-error]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[gradient-descent]]></category>
            <category><![CDATA[linear-regression]]></category>
            <category><![CDATA[machine-learning]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Sat, 04 May 2024 17:04:06 GMT</pubDate>
            <atom:updated>2024-05-04T17:04:06.209Z</atom:updated>
            <content:encoded><![CDATA[<h3>Regresyon Modellerinde Parametrelerin Bulunması Konusunda Normal Denklemler Yöntemi ve Gradient Descent Yöntemi</h3><p>Herkese selamlar!<br>Bugünki yazımın konusu makine öğrenmesinde sıklıkla kullandığımız regresyon modellerinde parametrelerin (ağırlıkların, coefficientların) bulunması konusunda kabul edilen 2 farklı yaklaşımı yani<strong> Normal Denklemler Yöntemi</strong> ve <strong>Gradient Descent Yönetimi (Kademeli Azaltma) </strong>olacak. O halde hazırsanız başlayalım.</p><p>İyi okumalar!</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/806/0*tncpqdJrWmyvcfMt" /><figcaption>Cost function</figcaption></figure><h3>Regresyon Probleminde Doğru Ağırlıkların Kullanılması Neden Önemlidir?</h3><p>Gerçek değerler ile tahmin edilen değerler arasındaki farkların karelerinin ortalamasını (MSE — Mean Squared Error) minimum yapabilecek b (bias, sabit) ve w (ağırlık, katsayı) değerlerini bularak ağırlıkları bulmuş oluruz.</p><p>Gerçek değerler ile tahmin edilen değerler arasındaki farkın karelerinin ortalaması yani MSE’nin minimize edilmesi neyi sağlar?</p><blockquote><strong><em>Kurmuş olduğumuz modelin başarılı olmasını sağlar.</em></strong></blockquote><p>Başlangıçta bahsettiğim gibi ağırlıkları bulma hususunda iki farklı yaklaşıma sahibiz.</p><blockquote>1 — Analitik Çözüm</blockquote><blockquote>2 — Optimizasyon Çözümü</blockquote><p>Şimdi bu iki yaklaşıma yakından bakalım.</p><h4><strong>1- Analitik Çözüm: Normal Denklemler Yöntemi ( En Küçük Kareler Yöntemi / OLS Yöntemi)</strong></h4><p>Normal denklemler yöntemi, matris formunda ve türeve dayalı bir çözümdür.</p><p>Bu yöntem kullanıldığında ortaya çıkacak doğrusal fonksiyonda analitik yorumlar yapılabilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/347/0*0SPOby8r4Bk6X_P9" /><figcaption>Simple Linear Regression</figcaption></figure><ul><li><strong>Eğer elimizde bir bağımlı bir bağımsız değişken varsa</strong>, bu durumda iki parametreye göre ayrı ayrı kısmi türevler alınıp sıfıra eşitlenir ve bulunması gereken matematiksel ifade burası olur.</li></ul><p><strong><em>SSE (sum of squared error) formülasyonu</em></strong>nda gözüken <strong>b0+b1xi</strong> değeri aslında<strong> yi^</strong> değeridir, yani tahmin edilen değer. Hata kareler toplamı anlamına gelen bu formülde ortalama alma durumu söz konusu değildir ve MSE (Mean Squared Error)’den farkı budur.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/257/0*SsSMf3zQbftItV_I" /><figcaption>Multiple Linear Regression</figcaption></figure><ul><li><strong>Eğer elimizde çok değişken varsa</strong>, yine SSE formülasyonu karşımıza çıkar. Yine ağırlıklara göre türev alınır. Ve hata karelerinin ortalaması alınmaz.</li></ul><blockquote>Coefficientlar yalnız bırakılınca ortaya matris çözümü çıkar.</blockquote><h4><strong>❓ Neden Normal Denklemler yöntemi Yerine, Gradient Descent yöntemi tercih edilsin ki?</strong></h4><p>Gözlem sayısı ve değişken sayısı arttığında formülün matrisini alma işlemi zorlaşmaktadır ve <strong><em>gradient descent </em></strong>gibi <em>optimizasyona dayalı </em>yöntemlere ihtiyaç duyulmaktadır. Çünkü çoklu doğrusal regresyon problemlerindeki normal denklemler yöntemi uygulamasında final matris çözümünün tersini alma işlemi, gözlem sayısı ve değişken sayısı çok fazla olması sebebiyle zorlaşmaktadır.</p><h4>2- Optimizasyon Çözümü: <strong>Gradient Descent (Kademeli Azalma)</strong></h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/0*hok4sUhs4JF5IepT" /><figcaption>Gradient Descent Method</figcaption></figure><p>Artık biliyoruz ki hatamızın minimum düzeyde olmasını istiyorsak bu ağırlıklara bağlıdır. Dolayısıyla ağırlıkları bulmak önemli bir iş. Bu yöntem ağırlık bulmak için ikinci yöntemdir.</p><p>Bu yöntem, parametrelerin değerlerini iteratif olarak değiştirerek çalışır.</p><p>Gradient Descent, makine öğrenmesinden bağımsız olarak bir optimizasyon yöntemidir. Gradient Descent’in amacı, bir fonksiyonu <em>minimum</em> yapabilecek parametre değerlerini bulmaktır. Herhangi bir türevlenebilir fonksiyonu, o fonksiyonu minimum yapacak parametreleri <em>bulmak için optimize eder.</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/373/0*A-A3zqNzoAMeh31k" /></figure><p>Yukarıda gördüğünüz fonksiyon ilgili fonksiyonun ilgili parametreye göre kısmi türevini alır. Burada türev sonucuna göre güncelleme işlemi yapar. Elde edilen türev (gradyan değeri) ilgili fonksiyonun maksimum artış yönünü verir. Gradyanın negatifine göre fonksiyonu minimum yapacak değerlere erişir.</p><p>Gradyanın (türevin) negatifi olarak tanımlanan<strong> <em>“en dik iniş”</em></strong><em> </em>yönünde iteratif olarak parametre değerlerini güncelleyerek ilgili fonksiyonun değerini güncelleyerek ilgili fonksiyonun minimum değerini verebilecek parametreleri bulur.</p><h4>Makine Öğrenmesi için Gradient Descent</h4><p>Makine öğrenmesi özelinde Gradient Descent Yöntemi ne için kullanılır dersek: Cost fonksiyonunu minizime edebilecek parametreleri bulmak için kullanılır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/382/0*0jMyooxq5MhtAxhg" /></figure><p>Cost yani MSE (Mean Squared Error).</p><p>Q0 ve Q1’e göre J fonksiyonunu minimum yapmak istiyoruz. Bunun için ilgili parametrelere göre kısmi türev uygulanır ve daha sonra bu kısmi türevlerin tersine gidilerek ağırlıkların değerleri güncellenir.</p><h4>Gradient Descent’in Kendi İçinde Farklı Türleri Bulunur</h4><p>Bunlar:</p><ul><li><strong><em>Stokastik</em></strong> — Bir bir tüm gözlem değerlerine gider.</li><li><strong><em>Batch</em></strong> — Tüm gözlem değerlerini bütünsel ele alır.</li><li><strong><em>Mini Batch</em></strong><em> </em>— 5, 10, 100 gibi gruplayarak gözlem değerlerine gider.</li></ul><p>— — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — — —</p><p>Umarım bu içerik hoşunuza gitmiştir ve lineer regresyonda ağırlıkları bulma konusunda sizlere fikir kazandırmıştır.</p><p>Beni bu platformdan ve diğer hesaplarımdan takip etmeyi unutmayın! Happy learning!</p><p>Follow me on:</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.kaggle.com/hazalasma">Kaggle</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=05ecaf832bab" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Aykırı Değer Tespit Etmede PCA (Principle Component Analysis) ve Elbow Yöntemi]]></title>
            <link>https://medium.com/@asmahazalnur/ayk%C4%B1r%C4%B1-de%C4%9Fer-tespit-etmede-pca-principle-component-analysis-ve-elbow-y%C3%B6ntemi-03be5ebae710?source=rss-224572ce8182------2</link>
            <guid isPermaLink="false">https://medium.com/p/03be5ebae710</guid>
            <category><![CDATA[local-outlier-factor]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[elbow]]></category>
            <category><![CDATA[principal-component]]></category>
            <category><![CDATA[pca-analysis]]></category>
            <dc:creator><![CDATA[hazalasma]]></dc:creator>
            <pubDate>Mon, 08 Apr 2024 00:51:23 GMT</pubDate>
            <atom:updated>2024-04-08T01:08:03.889Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese merhabalar!<br>Umarım keyifler yerindedir.</p><p>Bu içerikte Feature Engineering (Özellik Mühendisliği) ve Machine Learning (Makine Öğrenmesi) kapsamında değerlendirilen aykırı değer tespit etme yöntemi olan LOF (Local Outlier Factor) ile PCA (Principle Component Analysis) ve Elbow Yöntemi ilişkisini inceleyeceğiz.</p><p>İyi okumalar!</p><h3>Aykırı Değer Nedir?</h3><p>Adım adım ilerlemek için önce “aykırı değer nedir?” sorusuna cevap vermek gerekir. Aykırı değer; herhangi bir veri setinde, gözlem çoğunluğundan farklı düzlemde seyreden gözlem değerlerine verilen addır. Örneğin yaşları gruplarını ele alalım,</p><ul><li>0–14 <strong>yaş</strong> arası: çocuklar ve ergenler.</li><li>15–64 <strong>yaş</strong> arası: aktif nüfus veya çalışan nüfus.</li><li>65 ve üzeri: yaşlı ve bağımlı nüfus.</li></ul><p>Yaş gruplarının sınıflandırması bu şekildeyken 11 yaşında bir çocuğun, çocuklar sınıfı için aykırı bir değer olduğundan bahsedilemez. Ancak, veri seti içerisinde çocuk sınıfındaki yaş değişkeninde 42 gözlemine rastlarsak bunun kolaylıkla aykırı bir değer olduğunu söyleyebiliriz.</p><h3>LOF (Local Outlier Factor) Nedir?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*69m5u8uY1o_JKF9eCzCyXw.png" /><figcaption>Local Outlier Factor</figcaption></figure><p>LOF (Local Outlier Factor), bir veri noktasının yerel olarak ne kadar anormal olduğunu belirlemek için kullanılan bir aykırı değer tespit yöntemidir.</p><p>Gözlemleri bulundukları konumda yoğunluk tabanlı skorlayarak buna göre aykırı değer belirlemeyi sağlar. Bir noktanın lokal yoğunluğu, etrafındaki komşuluklar demektir. Komşularına kıyasla daha bağımsız görünüyorsa bu aykırı bir değer demek yanlış olmaz.</p><p>Yukarıda görülen grafikte, örnek olarak eşik değerimizi 3 olarak belirleyelim. Bu durumda 3&#39;ten büyük olan 3.108, 5.9645, 7.6259 vb. değerler aykırıdır.<br>LOF yönteminin avantajlı yanı, gözlemleri değerlendirirken eşik değerinin customize edilebilir (kişiselleştirilebilir) olmasıdır. Default değer 1 iken, veri setine göre bu değeri değiştirerek analiz etmek mümkündür.</p><h3>PCA (Principle Component Analysis) Yöntemi Nedir?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*CoQAxPq6OKvte_21y9-wZA.png" /><figcaption>Principle Component Analysis</figcaption></figure><p>PCA, veri setindeki değişkenlik miktarını azaltarak veri setinin karmaşıklığını azaltır ve temsil etmek için daha az sayıda bileşen kullanarak veriyi anlamayı kolaylaştırır.</p><p>Bu adımda, veri seti genellikle daha küçük bir boyuta dönüştürülür, böylece LOF algoritması daha hızlı ve daha verimli çalışabilir.</p><p>Örneğin, elimizde 2 farklı değişken ve 10 farklı gözlem varsa bunu iki boyutlu bir düzlemde ifade etmek kolaydır. Ancak elimizde 100 farklı değişken ve 50.000 farklı gözlem varsa bunu 2 boyutlu görüntüleme noktasında PCA (Principle Component Analysis) devreye girer.</p><p>Yukarıdaki görselde normalde 3 boyutlu düzlemde karmaşık olarak gösterilen gözlemin, PCA ile dönüştürülerek anlaşılır bir şekilde nasıl 2 boyuta indirgendiğini görebilirsiniz.</p><p>Ancak, PCA’nın etkisi LOF’un aykırı değerleri belirleme yeteneğini olumsuz etkileyebilir. Bu nedenle, PCA’nın kullanılmasının ardından orijinal veri setine geri dönüş yapılabilir veya PCA’nın etkisi göz önünde bulundurularak LOF’un sonuçları yeniden değerlendirilebilir.</p><p>Ancak, PCA’nın hangi bileşen sayısını seçeceğimizi belirlemek için bir kılavuza ihtiyacı vardır ve bu noktada <strong><em>Elbow yöntemi</em></strong> devreye girer.</p><h3>PCA’nın LOF ile Birleştirilmesi</h3><ol><li><strong>Veri Ön İşleme:</strong><em> </em>İlk adım, veri setini ön işleme sürecinden geçirmektir. Bu, veri setini standartlaştırmak, eksik değerleri doldurmak veya veri dönüşümleri gibi işlemleri içerebilir.</li><li><strong>PCA Uygulaması:</strong> PCA, veri setinin boyutunu azaltmaya yardımcı olmak için uygulanır. Bu adımda, veri seti genellikle daha küçük bir boyuta dönüştürülür, böylece LOF algoritması daha hızlı ve daha verimli çalışabilir. Ancak, PCA’nın etkisi LOF’un aykırı değerleri belirleme yeteneğini olumsuz etkileyebilir. Bu nedenle, PCA’nın kullanılmasının ardından orijinal veri setine geri dönüş yapılabilir veya PCA’nın etkisi göz önünde bulundurularak LOF’un sonuçları yeniden değerlendirilebilir.</li><li><strong>LOF Uygulaması</strong>: PCA’nın uygulanmasının ardından, LOF algoritması veri setindeki her bir veri noktası için yerel aykırı değer faktörünü hesaplar. Bu faktör, bir veri noktasının komşularıyla kıyaslandığında ne kadar anormal olduğunu gösterir.</li><li><strong>Sonuçların İncelenmesi:</strong> LOF’un çıktıları, veri setindeki aykırı değerlerin tespit edilmesine yardımcı olur. Bu aykırı değerler daha fazla incelenebilir veya belirli bir eşik değeri kullanılarak ayıklanabilir.</li></ol><p>PCA’nın LOF ile birleştirilmesi, özellikle büyük boyutlu veri setlerinde işlem hızını artırabilir ve LOF’un daha iyi performans göstermesine yardımcı olabilir. Ancak, PCA’nın etkilerini dikkate almak ve sonuçları doğru bir şekilde yorumlamak önemlidir.</p><h3>Elbow Yöntemi Nedir?</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/615/1*_T3zzVpqk6vUZvaR4FFg5Q.png" /><figcaption>Elbow Yöntemi</figcaption></figure><p>Elbow yöntemi, farklı bileşen sayılarını kullanarak PCA uygulandığında, her bir bileşen sayısının açıkladığı toplam varyansı gösteren bir grafik oluşturulmasını içerir. Grafikte, bileşen sayısı arttıkça toplam varyans artar; ancak, belirli bir noktadan sonra artış hızı yavaşlar. Bu noktaya <strong><em>“elbow”</em></strong> denir. Yukarıdaki görselde de tam olarak artışın en net yavaşladığı nokta dirsek (elbow) olarak kabul edilmiş</p><p>Elbow yöntemi, bu dirseğin bulunduğu bileşen sayısını seçmeyi önerir, çünkü bu noktada ek bileşenlerin eklenmesiyle elde edilen toplam varyansın artışı görece olarak azalır. Bu şekilde, en az sayıda bileşenle en fazla değişkenliği koruyabiliriz.</p><p>Elbowed yöntemi, <strong><em>PCA’nın optimal bileşen sayısını belirlemede</em></strong> bir rehber olarak kullanılabilir, ancak bazen net bir dirsek noktası belirlemek zor olabilir ve bu nedenle bu yöntemi uygularken bazı subjektif kararlar alınabilir.</p><h4><strong>Konuyla ilgili kaynak olabilecek bazı videolar:</strong></h4><p><a href="https://www.youtube.com/watch?v=-TcJOo12UKI">Elbow Yöntemi</a></p><p><a href="https://www.youtube.com/watch?v=fqegK5IyfqU">PCA</a></p><p><a href="https://youtu.be/FD4DeN81ODY?si=jZjYLUxpL9ccPWQa">PCA -2</a></p><p><a href="https://www.youtube.com/watch?v=M7gdJRIyfb4">Elbow Yönteminin kullanıldığı bir proje tutorial’ı.</a></p><p><a href="https://youtu.be/FD4DeN81ODY?si=jZjYLUxpL9ccPWQa">LOF Yöntemi</a></p><p><a href="https://youtu.be/7L23sCOZjns?si=ExS5aE1CQWyTpNOp">LOF Yöntemi -2</a></p><p>— — — — — — — — — — — — — — — — — — || — — — — — — — — — — — — — — — — — — —</p><p>Umarım bu içerik hoşunuza gitmiştir ve LOF — PCA — Elbow üçlüsünün birbiri ile bağlantısı konusunda sizlere fikir kazandırmıştır.</p><p>Beni bu platformdan ve diğer hesaplarımdan takip etmeyi unutmayın! Happy learning!</p><p>Follow me on:</p><p><a href="https://www.linkedin.com/in/hazalnurasma/">LinkedIn</a></p><p><a href="https://github.com/hazalnurasma">GitHub</a></p><p><a href="https://www.youtube.com/@hazalsurfingonthenet">YouTube</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=03be5ebae710" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>