<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Mustafa Arslan on Medium]]></title>
        <description><![CDATA[Stories by Mustafa Arslan on Medium]]></description>
        <link>https://medium.com/@musars?source=rss-81cc2fe9724c------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*jD_882raFegUmwRTweyvtg.jpeg</url>
            <title>Stories by Mustafa Arslan on Medium</title>
            <link>https://medium.com/@musars?source=rss-81cc2fe9724c------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Thu, 19 Nov 2026 16:12:34 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@musars/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Analitik Veri Platformlarının Evrimi]]></title>
            <link>https://medium.com/sahibinden-technology/analitik-veri-platformlar%C4%B1n%C4%B1n-evrimi-9f6a37c48364?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/9f6a37c48364</guid>
            <category><![CDATA[data-warehouse]]></category>
            <category><![CDATA[data-lake-solutions]]></category>
            <category><![CDATA[data-lakehouse]]></category>
            <category><![CDATA[data-lake]]></category>
            <category><![CDATA[analytics-platforms]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Tue, 25 Mar 2025 11:27:03 GMT</pubDate>
            <atom:updated>2025-03-25T11:27:03.776Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="Generated with AI, copilot" src="https://cdn-images-1.medium.com/max/1024/1*waJL9hh4PDWUVXKqV8anZQ.png" /><figcaption>Generated with copilot AI</figcaption></figure><p>Datanın olduğu her ortam, analizi ve ardından görselleştirilmeyi gerekli kılar. 20. yüzyılın ikinci yarısında başlayan dijitalleşme, sadece verinin saklanmasını değil, aynı zamanda analiz edilmesini ve işlenmesini kolaylaştıran teknolojilerin doğmasını sağladı. Sizlere verinin saklandığı ortamların tarihsel gelişimi hakkında özet bilgi aktaracağım.</p><h3>Dosyalardan İlişkisel Veri tabanlarına</h3><p>İlk olarak mainframe sistemler, veri depolama ve işlem gücünü artırarak devrim niteliğinde bir başlangıç yaptı. Ardından ilişkisel veri tabanları, veriyi yapılandırılmış bir şekilde saklama ve erişim kolaylığı sunarak yeni bir çağ açtı. Bu dönemde veri için mihenk taşlarından biri ise SQL (Structured Query Language) dili oldu. SQL, veriyi sorgulamayı herkes için daha erişilebilir hale getirerek, iş dünyasından akademiye kadar birçok sektörde veriyle olan ilişkimizi kökten değiştirdi. Veri tabanları Oracle, MSSQL, PostgreSQL, MySQL gibi kısıtlı bir üretici dünyasında uzunca bir süre yaşamını sürdürdü.</p><h3>İlişkisel Veri tabanlarından Datawarehouse’a Yolculuk</h3><p>İlişkisel veri tabanları, veriye dayalı uygulamaların altyapısının vazgeçilmez bileşenleri haline geldi. İlk dönemlerde bu veri tabanları sadece uygulamalara değil, analiz ve raporlama ihtiyaçlarına da hizmet ediyordu. Veri mümkün olduğunca tekrardan kurtarılıyor (normalization of data), çok iyi tanımlanmış şemalara oturtulup saklanır duruma geldi. Ancak zamanla veri miktarının ve veri üretim hızının artmasıyla birlikte mevcut veri tabanları analitik ihtiyaçlara cevap veremez hale geldi. Aynı veri tabanlarında hem operasyonel iş hem de analiz işlerinin koşulması operasyonlara da zarar verme riskini ortaya çıktı. İşte tam da bu noktada, “datawarehouse” kavramı hayatımıza girdi.</p><p>Kısaca DWH olarak adlandırılan bu sistemler, büyük hacimli veriler üzerinde detaylı analizler yapabilmek için optimize edilmiş ilişkisel veri tabanlarıdır. DWH ile birlikte:</p><ul><li>Veri altyapıları transactional (OLTP) ve analitik (OLAP) sistemlere ayrıldı.</li><li>OLTP sistemleri, gerçek zamanlı işlemler için optimize edilirken;</li><li>OLAP sistemleri, büyük veri setleri üzerinde raporlama ve analiz için tasarlanmıştır.</li></ul><p>Datawarehouse, çoğunlukla OLTP sistemlerden gelen verilerden beslenmektedir. Bu ayrım, operasyonel ve analitik ihtiyaçların birbirini engellemeden sürdürülebilmesini sağladı. Bazı veri tabanı üreticileri DWH ortamlarına özel çözümler geliştirdi (Teradata, Vertica, Netezza vb.), bazıları ise mevcut ürünlerine yeni özellikler ekleyerek parametre değişiklikleri ile DWH iş yükünü de destekler hale getirdiler (Oracle, MSSQL, PostgreSQL, vb.).</p><p>DWH sistemleri yıllar içinde olgunlaşarak kendilerinden beklenen performansı karşıladı. Ancak bu teknolojiler de kendi problemlerini doğurmuştu. Verinin kaynağından DWH ortamlarına çekilmesi ve bu verinin güncel tutulması ihtiyacı, ETL (Extract/Transform/Load) kavramını ortaya çıkardı. ETL, kaynak sistemlerde üreyen verinin belli periyotlarla DWH ortamlarına alınması işlemi olarak nitelendirilebilir. ETL ürünleri de zamanla gelişti; “Data Mart”lar, “OLAP Cube”, “CDC” ve replikasyon gibi çözümlerin yanı sıra “veri çoklama”, “veri kalitesi”, “veri güvenirliği” gibi sorunları da beraberinde ortaya çıkardı, karmaşık ve maliyetli bir hal aldı.</p><h3>Data Lake Dönemine Geçiş</h3><p>Artık veri kaynakları çok çeşitlenmişti. Sadece ilişkisel veri tabanları, veri saklama ve analiz ihtiyacını karşılayamıyordu. Farklı formatlarda veri üreten teknolojiler, yapılandırılmış (structured) verinin yanı sıra yarı-yapılandırılmış (semi-structured) ve yapılandırılmamış (unstructured) veri kavramlarını ortaya çıkardı. Bu noktada “Data Lake” teknolojileri, elinde veri siloları olan herkesin gündemine girdi.</p><p>Data Lake, çok farklı formatlarda yapılandırılmış, yarı yapılandırılmış ve/veya yapılandırılmamış verinin bir arada saklanıp analiz edilebildiği ortamlar olarak tanımlanabilir. Bunun yanı sıra, hızla büyüyen veri hacmi, ölçeklenebilir, esnek altyapılar sunan Data Lake’i vazgeçilmez kıldı.</p><p>Data Lake, sorgulama (query engine) ve saklama (storage engine) teknolojilerinin modüler bir yapıda seçilebilmesini sağladı. Bu esneklik, farklı teknolojiler ve araçların bir arada kullanılmasını mümkün hale getirdi. Başlarda sadece java gibi uzmanlık gerektiren programlama dilleri kullanılarak erişilebilirken zamanla gelen SQL desteği sayesinde veriye erişim de kolaylaştı.</p><h3>Data Lakehouse: DWH ve Data Lake’in Güç Birliği</h3><p>Data Lake’lerin karşılaştığı operasyonel maliyetler, yönetim zorlukları ve performans problemleri, Data Lakehouse konseptinin doğmasına yol açtı. Peki, Lakehouse nedir ve neden önemlidir?</p><p>Lakehouse’lar, DWH ve Data Lake’in güçlü yönlerini birleştiren hibrit bir modeldir. Data Lake’in esneklik ve ölçeklenebilirlik özellikleri ile DWH’in iyi tanımlanmış şeması (well defined schema, structres) ve sağlamlığını (robust and reliable) bir araya getirmeyi hedefledi. Bulk update, delete ve merge işlemlerinin desteklenmesi, veri versiyonlama sayesinde time travel gibi özellikleri sunması, bu modelin öne çıkan avantajları oldu. SQL ile güçlü entegrasyon ise analitik süreçleri kolaylaştırdı. Data Lakehouse sistemleri daha verimli veri yönetiminin yanı sıra, güçlü analiz performansı ile kısa sürede Data Lake’e bir alternatif oldular.</p><h3>Gelecek: Data Lakehouse vs Hibrit Ortamlar</h3><p>Bugüne kadar DWH ile ilerleyen veya Data Lake ve DWH çözümleri bir arada işleten kurumlar oldu. Peki bundan sonra ne olacak? Geleneksel DWH’ler hayatımızdan çıkacak mı? Sadece Data Lakehouse çözümleri mi kullanılacak? Şu an için bu sorulara net bir cevap vermek zor. Veri hacmi belli bir ölçeğin üstündeki kurumlarda bu geçişin kaçınılmaz olduğunu ama biraz daha zaman alacağını düşünüyorum.</p><p>Benzer şekilde “Zero ETL” gibi yaklaşımların, yani analiz için ihtiyaç duyulan verinin gerçek zamanlı olarak kaynağından alınmasının, kısa vadede yaygınlaşacağını düşünmüyorum. Bu tarz teknolojilerin uygulanması yüksek bir teknik bilgi gerektirir ve kurumların bu çözümleri benimseyip süreçlerine entegre etmeleri zaman alabilir. Ancak AI’ın yaygınlaşması, bu entegrasyon süreçlerini hızlandıracağı kanaatindeyim.</p><p>Sonuç olarak, veri yönetiminde her yeni teknoloji avantajlarını sunarken var olan problemlere yenilerini ekliyor. Ancak bir şey kesin: 1970&#39;lerden beri aramızda olan SQL, veri profesyonellerinin hayatında hep önemli bir yer tutmaya devam edecek. Tabi bu benim düşüncem; AI, LLM gibi teknolojiler SQL’e olan ihtiyacı da ortadan kaldıracak mı, yaşayıp göreceğiz 😊</p><h3>Siz bu konuda ne düşünüyorsunuz, gelecekte DWH sistemleri mi, yoksa Data Lakehouse çözümleri mi baskın olacak? Hangi yaklaşım sizin için daha uygun görünüyor?</h3><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9f6a37c48364" width="1" height="1" alt=""><hr><p><a href="https://medium.com/sahibinden-technology/analitik-veri-platformlar%C4%B1n%C4%B1n-evrimi-9f6a37c48364">Analitik Veri Platformlarının Evrimi</a> was originally published in <a href="https://medium.com/sahibinden-technology">Sahibinden Technology</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Trino ile Federated Query]]></title>
            <link>https://medium.com/@musars/trino-ile-federated-query-e019342e688f?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/e019342e688f</guid>
            <category><![CDATA[vertica]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[presto]]></category>
            <category><![CDATA[adamindb]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Thu, 01 Sep 2022 14:58:38 GMT</pubDate>
            <atom:updated>2023-01-01T19:04:57.906Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu haftaki yazımda trino, minio, mariadb kullanarak dosyalar, veritabanı tabloları vb. gibi farklı kaynaklar üzerinde birleşik sorgu (federated query) çalıştırma konusunda yaptığımız testler ve sonuçlarını paylaşacağım. Uzun zamandır test etmeyi istediğimiz bir konuyu incelemek beni çok mutlu etti. Sizlere de faydalı olmasını dilerim.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/800/0*QcHTzjLxQI8uFj8b.png" /></figure><p>Trino’dan kısaca bahsedelim: İlk olarak Facebook tarafından Presto adı ile standart SQL kullanarak hadoop üzerindeki datawarehouse’larında sorgu yapabilen dağıtık sorgu motoru (distributed query engine) olarak geliştirilmeye başlandı. Bir süre sonra presto, open source olarak community’e açıldı ve bir çok teknoloji firması da (Netflix, Uber, vb.) prestoya hem katkı vermeye hem de kendi altyapılarında prestoyu kullanmaya başladılar. Daha sonra geliştiriciler ve facebook arasındaki anlaşmazlıklar nedeniyle prestoyu geliştirenler Facebook’tan ayrıldı ve Presto Software Foundations’ı kurdu. Presto isim hakkının Facebook’ta olmasından dolayı presto ve trino olarak iki farklı ürün olarak hayatlarına devam ettiler. Facebook, presto’yu Linux Foundations’a bağışladı. Trino tarafında geliştirme, feature ekleme daha hızlı ilerliyor gibi (github commit sayılarına göre). Amazon ise 2017 yılında Presto altyapısını kullanarak Amazon S3&#39;de tutulan veriler üzerinde sorgu çalıştırma imkanı veren Athena servisini müşterilerine sunduğunu düşürdü.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/225/0*zhpkHP5VNlSqsofP" /></figure><p>Testlerimiz esnasında S3 storage olarak da minio’dan faydalandık. MinIO open source, distrubuted objects storage olarak 2014 yılında geliştirilmeye başlandı. Amazon S3 uyumlu bir bulut storage ürünü ortaya çıkarmak amacıyla Silikon vadisinde kurulan bir start-up olan Minio Inc tarafından ürün olarak sunuldu.</p><p>Testlerimiz için 10 TB kullanılabilir disk alanı olan bir adet fiziksel sunucu üzerine sırasıyla minio, trino, mariadb ve hive metastore kurulumlarını yaptık. Aşağıda kurulumlar için gerekli komutları görebilirsiniz. RPM’leri ile kurulumları yaptığımız için çok hızlı ve kolay oldu. Disk alanını ikiye bölüp 5 TB’lık alanı normal xfs filesystem (/mnt/data), kalan 5 TB’ı ise minio’ya object storage (/mnt/s3data) alanı olarak ayırdık.</p><pre># install minio server &amp; client<br>rpm -Uvh minio-2022082235916.0.0.x86_64.rpm<br>rpm -UVH mcli-20220729191716.0.0.x86_64.rpm</pre><pre># start minio server as <br># /mnt/s3data to keep data, <br># <a href="http://localhost:9001/">http://localhost:9001</a> as admin/console interface, <br># <a href="http://localhost:9000/">http://localhost:9000</a> as S3 API<br>nohup minio server /mnt/s3data/ --console-address &quot;:9001&quot; &amp;</pre><pre># create alias for myminio server access in your mcli config file (~/.mcli/config.json)<br>mcli alias set myminio/ <a href="http://localhost:9001/">http://localhost:900</a>0 minioadmin minioadmin</pre><pre># check the status of myminio<br>mcli admin info myminio</pre><pre># create a bucket<br>mcli mb myminio/testbucket</pre><pre># list objects in a bucket<br>mcli ls myminio/testbucket</pre><pre># copy the csv files in the local filesystem (/mnt/data/)<br>mcli cp  --recursive /mnt/data/* myminio/testbucket/</pre><pre># install and start MariaDB <br># for hive metastore and <br># to use as one of query source<br>yum install mariadb-server<br>systemctl enable mariadb<br>systemctl start mariadb</pre><pre># create database, user, and privileges for hive metastore<br>mysql -u root -p<br>  CREATE DATABASE metastore;<br>  CREATE USER &#39;hive&#39;@localhost IDENTIFIED BY &#39;hive&#39;;<br>  GRANT ALL PRIVILEGES ON metastore.* TO &#39;hive&#39;@localhost;<br>  FLUSH PRIVILEGES;<br>  <br>  -- Create test database/schema<br>  CREATE DATABASE mardb;<br>  CREATE TABLE mardb.table_mariadb (c1 text);<br></pre><pre># time to install hive metastore<br>tar -xzvf hive-standalone-metastore-3.1.3-bin.tar.gz<br>mv hive-standalone-metastore-3.1.3-bin /usr/local/metastore</pre><pre># cp some hadoop jar files that hive will need<br># extracted files from hadoop-3.3.4.tar.gz<br>cp guava-27.0-jre.jar /usr/local/metastore/lib/<br>cp hadoop-aws-3.3.4.jar /usr/local/metastore/lib/<br>cp aws-java-sdk-bundle-1.12.262.jar /usr/local/metastore/lib/</pre><pre># copy mysql connector jar file<br>cp mysql-connector-java.jar /usr/local/metastore/lib/</pre><p>Kurulumlar sonrasında hive’ın mariadb (mysql jdbc driver, ip, port, user, password, vb.) ve S3&#39;e (access key, secret key, ip, port, vb.) bağlantısı için gerekli ayarları config dosyasına gireceğiz.</p><pre># hive configuration <br>vi /usr/local/metastore/conf/metastore-site.xml<br>...<br>  &lt;configuration&gt;<br>  ...<br>  &lt;property&gt;<br>    &lt;name&gt;javax.jdo.option.ConnectionURL&lt;/name&gt;<br>    &lt;value&gt;<strong>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;javax.jdo.option.ConnectionDriverName&lt;/name&gt;<br>    &lt;value&gt;<strong>com.mysql.jdbc.Driver</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;javax.jdo.option.ConnectionUserName&lt;/name&gt;<br>    &lt;value&gt;<strong>hive</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;javax.jdo.option.ConnectionPassword&lt;/name&gt;<br>    &lt;value&gt;<strong>hive</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;hive.metastore.event.db.notification.api.auth&lt;/name&gt;<br>    &lt;value&gt;<strong>false</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>...<br>...<br>...<br>  &lt;property&gt;<br>    &lt;name&gt;fs.s3a.access.key&lt;/name&gt;<br>    &lt;value&gt;<strong>minioadmin</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;fs.s3a.secret.key&lt;/name&gt;<br>    &lt;value&gt;<strong>minioadmin</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;fs.s3a.connection.ssl.enabled&lt;/name&gt;<br>    &lt;value&gt;<strong>false</strong>&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;fs.s3a.path.style.access&lt;/name&gt;<br>    &lt;value&gt;true&lt;/value&gt;<br>  &lt;/property&gt;<br>  &lt;property&gt;<br>    &lt;name&gt;fs.s3a.endpoint&lt;/name&gt;<br>    &lt;value&gt;<a href="http://localhost:9000/"><strong>http://localhost:9000</strong></a>&lt;/value&gt;<br>  &lt;/property&gt;<br> &lt;/configuration&gt;</pre><p>Öncelikle metastore olarak kullanacağımız HIVE’in initialize edilmesi ve başlatılması gerekli.</p><pre># initialize metastore db for mysql/maridb<br>/usr/local/metastore/bin/schematool -initSchema -dbType mysql</pre><pre># start the hive service<br>nohup /usr/local/metastore/bin/start-metastore &amp;</pre><p>Sıra geldi trino kurulumuna. Öncesinde jdk 17&#39;yi kuracağız. İkisini de rpm ile kuruyoruz.</p><pre># install jdk 17<br>rpm -ivh jdk-17_linux-x64_bin.rpm</pre><pre># install trino server<br>rpm -ivh --nodeps trino-server-rpm-392.rpm</pre><pre># start trino service<br>/usr/lib/trino/bin/launcher -v start</pre><pre># check the status of trino <br>/usr/lib/trino/bin/launcher -v status</pre><p>Trinoda data source olarak kullanacağımız varlıkları “/etc/trino/catalog” altında oluşturacağız. bu folder yoksa öncesinde onu da oluşturmamız gerekiyor. Yine “/etc/trino” altında diğer config dosyalarını (config.properties, node.properties, jvm.config, log.properties, env.sh) bulabilirsiniz. Single node kurlum yaptığımız için node.properties dosyasında bu ayarı kontrol edip devam ediyoruz. İhtiyaç olması veya hata almanız durumunda jvm.config ve env.sh’dan java ayarlarını değiştirebilirsiniz.</p><pre>cd /etc/trino<br>mkdir catalog<br>cd catalog<br>vi hive.properties<br>        connector.name=hive-hadoop2<br>        hive.metastore.uri=thrift://localhost:9083<br>        hive.s3.path-style-access=true<br>        hive.s3.endpoint=<a href="http://localhost:9000/">http://localhost:9000</a><br>        hive.s3.aws-access-key=minioadmin<br>        hive.s3.aws-secret-key=minioadmin<br>        hive.s3.ssl.enabled=false<br>        hive.s3select-pushdown.enabled=true</pre><pre>vi mariadb.properties<br>        connector.name=mariadb<br>        connection-url=jdbc:mariadb://localhost:3306<br>        connection-user=root<br>        connection-password=<br></pre><p>Şimdi trino ile sorgulara başlayabiliriz. trino’ya bağlanabilmek için çalıştırılabilir jar dosyasını (trino-cli-392-executable.jar) indirmeniz gerekiyor, herhangi bir kuruluma ihtiyaç yok. trino client içinde çalıştıracağımız komutlar mysql komutlarına çok benziyor (show, use, set, vb.).</p><pre># start trino client <br>java -jar trino-cli-392-executable.jar<br>trino&gt; show catalogs;<br>Catalog<br>---------<br>hive<br>maridb<br>system<br> (3 rows)</pre><p>Burada gördüğümüz iki catalog “/etc/trino/catalog” altında oluşturduğumuz dosyalardan gelen isimler. Eğer bu dosyalarda bir yazım yanlışı veya hatalı bir config girerseniz trino başlamıyor. Ayrıca buraya her catalog dosyası/konfiği eklediğinizde veya değiştirdiğinizde trinoyu restart etmeniz gerekiyor. Hata alırsanız, trino başlamaz ise “/var/lib/trino/data/var/log” altındaki dosyalara bir göz atmanız gerekcektir.</p><p>Sonrasında hive içerisinde external tablolarımızı oluşturacağımız ve mariadb içersindeki kullanacağımız tablolar için üç ayrı schema create edeceğiz; birincisi “hive.s3”, ikincisi “hive.localfs”, üçüncüsü “mariadb.mardb”.</p><pre>trino&gt; create schema if not exists hive.s3 with (location=&#39;s3a://testbucket/&#39;);<br>CREATE SCHEMA<br>trino&gt;<br>trino&gt; create schema if not exists hive.localfs with (location=&#39;file:/mnt/data/&#39;);<br>CREATE SCHEMA<br>trino&gt;<br>trino&gt; create schema if not exists mariadb.mardb ;<br>CREATE SCHEMA<br>trino&gt; </pre><p>Artık tabloları create edebiliriz. iki adet external tablo oluşturacağız. bir tanesi s3 diğer local filesystemdeki dosyalara erişecek. Mariadb’deki mardb.test_mardb database’ini ve tablosunu zaten yukarda mariadb kurulumundan hemen sonra oluşturmuştuk. Bağlantı için gerekli ayarları da catalog dosyalarına girdiğimiz için problem çıkmasını beklemiyoruz.</p><pre>trino&gt; use hive.s3;<br>USE<br>trino:s3&gt; create table hive.s3.table_s3 (<br>     col1 varchar,<br>     col2 varchar,<br>     col3 varchar,<br>     col4 varchar,<br>     col5 varchar,<br>     col6 varchar,<br>     col7 varchar<br>) with (<br>  csv_separator = &#39;,&#39;,<br>  external_location = &#39;s3a://testbucket/&#39;,<br>  format = &#39;CSV&#39;<br>);<br>CREATE TABLE<br>trino:s3&gt; use hive.localfs;<br>USE<br>trino:localfs&gt;<br>trino:localfs&gt; create table hive.localfs.table_fs (<br>     col1 varchar,<br>     col2 varchar,<br>     col3 varchar,<br>     col4 varchar,<br>     col5 varchar,<br>     col6 varchar,<br>     col7 varchar<br>) with (<br>  csv_separator = &#39;,&#39;,<br>  external_location = &#39;file:/mnt/data&#39;,<br>  format = &#39;CSV&#39;<br>);<br>CREATE TABLE<br>trino:localfs&gt; use maridb.mardb;<br>USE<br>trino:mariadb&gt;<br>trino:mariadb&gt; show tables;<br>  Table<br>----------<br>table_mariadb</pre><p>Şimdi ilk sorgularımızı çalıştırabiliriz. S3 (minio) üzerinde sakladığımız csv dosyalar üzerinde attığımız sorgu (yaklaşık 300GB boyutlu, 30K dosya) 17 dakikada bitti.</p><pre>trino:mariadb&gt; use hive.s3;<br>USE<br>trino:s3&gt; select count(*) from hive.s3.table_s3;<br>    _col0<br>--------------<br>761172771<br>(1 row)</pre><pre>Query 20220831_114818_03332_xrra7d, FINISHED, 1 node<br>Splits: 30,034 total, 30034 done (100.00%)<br>17:29 [761M rows, 307GB] [762K rows/s, 299MB/s]</pre><pre>trino:s3&gt; </pre><p>Aynı sorguyu dosyaları sıkıştırdıktan sonra tekrar attık. Süre yarı yarıya kısaldı. Sıkıştırma için gzip kullandık. Tablo tanımlarında herhangi bir değişiklik yapmaya gerek kalmadı. Trino dosyalar sıkıştırılmış ise default GZIP ile açarak okuyor. Bu arada zstd, snappy, lz4 diğer desteklenen codec’ler. Ama bunları kullanacaksanız tablo tanımında bunu belirtmeniz gerekiyor (write_compression = [compression_format]).</p><pre>trino:s3&gt; select count(*) from hive.s3.table_s3;<br>    _col0<br>--------------<br>761172771<br>(1 row)</pre><pre>Query 20220831_114921_0003_hs5dj, FINISHED, 1 node<br>Splits: 30,001 total, 30001 done (100.00%)<br>9:21 [761M rows, 155GB] [1.36K rows/s, 313MB/s]</pre><pre>trino:s3&gt;</pre><p>Aynı sorguyu filesystem üzerindeki sıkıştırılmış dosyalar için de çalıştırdık ve benzer sürelerde sonuç döndü.</p><pre>trino:s3&gt; use hive.localfs;<br>USE<br>trino:localfs&gt; select count(*) from hive.localfs.table_fs;<br>    _col0<br>--------------<br>761172771<br>(1 row)</pre><pre>Query 20220831_115032_022342_hdyr3, FINISHED, 1 node<br>Splits: 30,034 total, 30034 done (100.00%)<br>8:58 [761M rows, 155GB] [1.42M rows/s, 296MB/s]</pre><pre>trino:localfs&gt;</pre><p>Sorgulardan metadata (file_name, file_size, file_modified_time) bilgilerini de alabiliyoruz.</p><pre>trino:localfs&gt; select &quot;$path&quot;, col1, col2 from hive.localfs.table_fs where col1=&#39;71992bsn262asl23&#39;;<br>                 $path                         col1               col2<br>----------------------------------------+------------------+---------------<br>file:/mnt/data/dumy_data_2636828.csv.gz | 71992bsn262asl23 | yqhe83h3h<br>(1 row)</pre><pre>Query 20220831_115048_00392_fd4hg, FINISHED, 1 node<br>Splits: 30,221 total, 30221 done (100.00%)<br>8:57 [761M rows, 155GB] [1.47M rows/s, 307MB/s]</pre><pre>trino:localfs&gt;</pre><p>Gelelim asıl konuya; filesystemdeki ve mariadb’deki tabloları birleştirerek sorgu attık.</p><pre>trino:localfs&gt; select &quot;$path&quot;, col1, col2 from hive.localfs.table_fs where col1 in (select c1 from mardb.table_mariadb);<br>                 $path                         col1               col2<br>----------------------------------------+------------------+---------------<br>file:/mnt/data/dumy_data_2636828.csv.gz | 71992bsn262asl23 | yqhe83h3h<br>(1 row)</pre><pre>Query 20220831_115048_00392_fd4hg, FINISHED, 1 node<br>Splits: 30,221 total, 30221 done (100.00%)<br>8:57 [761M rows, 155GB] [1.47M rows/s, 307MB/s]</pre><pre>trino:localfs&gt;</pre><p>Trino’nun analytic kabiliyetleri epey ilerlemiş durumda. Dokümanlarının olduğu linkten (<a href="https://trino.io/docs/current/functions.html">https://trino.io/docs/current/functions.html</a>) veya trino client içinde “show functions” komutu ile ihtiyaç duyabileceğiniz yüzlerce fonksiyonu da inceleyebilirsiniz.</p><p>Trino’nun sağladığı bir web tabanlı ara yüzden de (http://localhost:8080) çalışan sorgular ve cluster ile ilgili bilgileri alabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*9ByDZwevK6uVp37POAw8oQ.jpeg" /></figure><p>Filesystem ve S3 üzerindeki dosyaları sorgulama testini aynı sistem üzerinde vertica 12 community edition’ı da kurup denedik. S3 için yaklaşık aynı sürelerde (9 dakika 42 saniye ) sonuç verirken local filesystem üzerindeki dosyaların sorgusu daha hızlı (2 dakika 24 saniye) tamamlandı.</p><pre>-- create external table for objects in S3/Minio<br>create external table test1_s3(<br>col1   varchar,<br>col2   varchar,<br>col3   varchar,<br>col4   varchar,<br>col5   varchar,<br>col6   varchar,<br>col7   varchar,<br>col8   varchar <br>)<br>as copy (<br>col1,<br>col2,<br>col3,<br>col4,<br>col5,<br>col6,<br>col7,<br>col8 as current_load_source()<br>)<br>from &#39;s3://testbucket/*.csv.gz&#39;  GZIP DELIMITER &#39;,&#39;;</pre><pre>-- create external table for files in local fs<br>create external table test1_s3(<br>col1   varchar,<br>col2   varchar,<br>col3   varchar,<br>col4   varchar,<br>col5   varchar,<br>col6   varchar,<br>col7   varchar,<br>col8   varchar <br>)<br>as copy (<br>col1,<br>col2,<br>col3,<br>col4,<br>col5,<br>col6,<br>col7,<br>col8 as current_load_source()<br>)<br>from &#39;/mnt/data/*.csv.gz&#39;  GZIP DELIMITER &#39;,&#39;;</pre><p>Attığımız sorgular ve süreleri ise aşağıdaki gibi.</p><pre>dbadmin=&gt; \timing<br>Timing is on.<br>dbadmin=&gt; select count(*) from test_fs;<br>    count<br>--------------<br>761172771<br>(1 row)</pre><pre>Time: First fetch (1 row): 132594.304 ms. All rows formatted: 132594.333 ms<br>dbadmin=&gt;<br>dbadmin=&gt; select count(*) from test_s3;<br>    count<br>--------------<br>761172771<br>(1 row)</pre><pre>Time: First fetch (1 row): 587665.489 ms. All rows formatted: 587665.520 ms<br>dbadmin=&gt;</pre><p>Minio client’ın da basit bir sorgu yeteneği var. Onu da örnek olması açısından aşağıda belirtelim.</p><pre># time mcli find myminio/testbucket \<br>  -name &quot;DUMMY_DATA_202208*.csv.gz&quot; \<br>  --exec &quot;mcli sql --csv-input &#39;rd=\n,fd=,,fh=NONE&#39; \<br>  --query &#39;select s._6 from S3Object s where s._1=akjdYGC53Sda&#39; {}&quot;<br>qwEsh63nztF</pre><pre>real    2m44.715s<br>user    0m15.343s<br>sys     0m7.195s</pre><p>Burada yaptığımız testler kullandığımız teknolojilerin performansını ölçmek için kesinlikle yeterli değil. Bu tool’lar yatayda büyüyen, dağıtık mimari için geliştirilmiş ürünler. Biz her şeyi tek sunucuya kurarak testlerimizi gerçekleştirdik. O yüzden sadece fonksiyonel test gibi düşünebilirsiniz. Ayrıca aşağıya fonksiyonların karşılaştırılmasını içeren matris ekledim ama bu ürünler tam olarak birbirlerinin yerine geçecek ürünler de değil; trino ve vertica biraz benziyor olsa da minio kesinlikle değil.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/478/1*BSCB19LrWbgssjmwIetDsg.png" /></figure><p>Trino’da gördüğün en büyük eksik dosyalara erişim için tablo oluştururken wild_char (*,?) kullanamıyor olmamız. Bu da o folder’da veya bucket’ta ne kadar dosya varsa hepsini sorgulamak zorunda kalmanız demek. Bu konu belki hive partitioning ile giderilebilir. Trino, hive partitioning’ı destekliyor ama biz test etmeye vakit ayıramadık :(.</p><p>Open formatlı dosyalar (parquet, orc, avro, csv, json, vb.), jdbc ile bağlanılabilen veritabanları (mysql, postgre, oracle, teradata, vb.), S3, HDFS, gibi bir çok data source’u aynı query içinde kullanabiliyor olmak çok önemli bir kazanım. Ve bu kazanım trino’nun coordinator ve worker node’lar ile yatayda büyüebilen mimarisi sayesinde gerçekten hızlı.</p><p>Ansi-SQL desteğinin yanı sıra geo-spatial’den machine learning’e bir çok konuda built-in fonksiyon barındırması da ayrı bir değer. Bu arada kendiniz de plugin olarak ihtiyacınız olan fonksiyonları yazıp ekleyebilirsiniz.</p><p>External bir metastore ihtiyaç duyuyor olması da benim için negatif yönlerinden birisi. Ayrıca kullanıcı yönetimi ve güvenlik konusu da biraz zahmetli.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e019342e688f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Veri Merkezli Organizasyon]]></title>
            <link>https://medium.com/@musars/veri-merkezli-organizasyon-d6b328794f27?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/d6b328794f27</guid>
            <category><![CDATA[türkçe]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[adamindb]]></category>
            <category><![CDATA[data-organization]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Mon, 22 Aug 2022 08:56:52 GMT</pubDate>
            <atom:updated>2022-08-22T08:56:52.240Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu hafta uzun zamandır yazmak isteğim bir konu hakkında düşüncelerimi aktaracağım. Aslında teknik bir konu değil gibi ama veri ile ilgili her şeyin temelinde olan bir konu bence. Ürünleri, süreçleri ve hatta insan kaynağınızı bu temel üzerine inşa ettiğimiz için çok önemli bir konu.</p><p>Bildiğiniz üzere bazı sorular/sorunlar için verilecek doğru bir cevap yoktur; en azından şimdilik. Bu konu da bunlardan biri. Böyle konularda yaklaşımlar oluyor. Kimine göre doğru olan bir yaklaşım aynı sorun için bir başkası tarafından yanlış olarak addedilebilir. Veri merkezli organizasyonları bana göre “doğru” olan bir yaklaşımla irdelemeye çalışacağım.</p><p>Kullanılan teknolojiler, içinde bulunduğumuz ekonomik koşullar, yetenek havuzu, kurum kültürü, vb. bir çok konu organizasyonu etkileyebilecek unsurlar. Sadece yaklaşık 20 yıldan daha uzun bir süredir yaşadığım tecrübelere dayanarak şimdilik daha iyi olduğunu düşündüğüm bir yaklaşımı sizinle paylaşmak istedim.</p><p>Veri organizasyonların ana karar verme aracı olduğu için verinin de organizasyonların merkezinde yer alması gerekiyor. Son zamanlarda “data democratization” olarak hayatımızda yer almaya başlayan kavram işletme içerisindeki her bir çalışanın işini yapabilmesi için ihtiyaç duyacağı veriye erişebilme özgürlüğü olarak tanımlanıyor. Tabi ki sadece erişim yetmeyecek, çalışanlara veriden fayda sağlama yeteneklerinin de kazandırılması gerekecektir. İşte bu noktada işletmeler içinde veri ekiplerinin nasıl konumlandırılması gerektiği sorusu ortaya çıkıyor. 90&#39;lı yıllarda IT departmanları içerisinde küçük birer birim olan Veri ekipleri sadece kendilerinden istenen raporları sunmak ile sorumlulardı. Verinin değeri arttıkça bu ekiplerin de değeri, sayısı ve yetkinliği artmaya başladı. Özellikle 2010 yılların ortalarında veri işletmeler için vazgeçilmez bir ana kaynak haline gelmişti.</p><p>Ama veri altyapısında kullanılan teknolojiler ihtiyaçlara karşılık verecek düzeyde değildi. Özellikle IT dünyasında veri alanını domine eden vendorların çözümleri var olan ürünlerini biraz daha geliştirip süslemekten öte gidemiyordu. Bu noktada open source topluluklar imdada yetişti. Özellikle büyük internet firmaları (google, yahoo, amazon gibi) kendileri için yeterli olmayan veya çok pahalı olan çözümleri kullanmak yerine kendi problemleri için geliştirdikleri ürünleri açık kaynak haline getirip paylaşmaya başladılar. İşte bu nokta veri altyapısında kullanılan teknolojiler için dönüm noktası oldu. Buradaki problem artık çözüm yoluna girmişti.</p><p>İkinci problem ise bu ürünleri farklı işletmelerin ihtiyaçlarına göre uyarlayacak ve/veya kullanabilecek insan kaynağındaki yetersizlikti. Bu problem de paylaşımcı bir model (open source topluluklar vb.) ile zamanla aşıldı.</p><p>Geldik asıl soruna IT departmanları içinde küçük birer birim olan veri ekipleri nasıl bir evrim geçirecekti. Klasik yaklaşımda veri ekipleri IT operasyon ekiplerinin içinde büyümeye başladılar. Ama bu yaklaşım verinin erişilebilirliğini çok kısıtlıyor ve yavaşlatıyordu. Özellikle veriye erişip oradan çalışacakları analizler ile ilerlemesi gereken iş ekipleri bilgi olarak da erişim olarak da zayıf kaldılar. IT içerisinde <strong><em>merkezi </em></strong>veri ekipleri gerekli potansiyeli ortaya çıkaramıyordu.</p><p>Sonrasında veri ekiplerinin iş ekipleri içerisinde konumlandırılması yaklaşımı benimsendi. Bu seferde altyapı yetkinlikleri zayıflamaya başladı. Zaten az olan kaynaklar (insan, ekipman, bilgi vb.) daha da zor karşılanabilir oldu. Ayrıca veri çoklamaları (aynı veriden farklı noktalarda tekrar tekrar saklanması) gibi bir handikap ortaya çıktı. Hatta farklı işi birimleri içerisinde saklanan ve aynı olması gereken veriler arasında farklılıklar oluştu. Bu da yanlış kararların alınmasına veya çatışmalara yol açtı.</p><p>Son zamanlarda daha çok benimsenen yaklaşım ise hibrit bir yapı. Data platform engineer, data engineer, data analistlerin merkezi bir yapıda ama dedike iş ekipleri ile çalıştığı; data scientist’ların ise iş birimleri içinde konumlandırıldığı bir yapı. Bu yaklaşım ile veri teknik altyapısı ile ilgili bilgi bir ekipte tutulup daha fazla sinerji sağlanabilirken; dedike çalışan, ilgili domaini yakından tanıyan data engineer ve analistler ile veriden sağlanacak fayda daha da artırılmaktadır. İş birimlerinin, ihtiyaç duymaları halinde kendi ekiplerinde konumlandıracakları veri bilimcilerle kendi konularına daha fazla kafa yorabilecekler. Aşağıdaki bu yapıyı şekle dökmeye çalıştım.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*YAj9DhgJGeXD7enUnebA3w.png" /><figcaption>Data Tribes in the Organization</figcaption></figure><p>Bütün analiz veya veri araçları ile ilgili eğitimlerin giriş paragrafları “Know Your Data: Verini Tanı !” cümlesi ile başlar. O yüzden domaine özel çalışan analist ve/veya data engineer’ların olması bu yapıda veriden elde edilen faydayı artıracaktır kanaatindeyim. Aynı ekip içerisinde bulunan data platform engineer’lar ile birliktelik ise altyapıdan sağlanacak faydayı maksimize edecek, ekipler arası sinerjiyi artıracaktır.</p><p>Yazının başında da ifade ettiğim gibi bu konunun doğrusu maalesef yok. İlerde çıkacak yeni teknolojiler, yeni imkanlar burada yazılanları da tamamen çöp haline getirebilir. Ama benim sahip olduğum yaşanmışlıklarla (tecrübelerle) şimdilik en doğru yaklaşımın bu olduğu yönünde.</p><p>Bu haftaki yazımda teknik olmayan, daha çok organizasyonal bir konuya değindim ama bu insan kaynağını doğru konumlandırmanın her şeyin temelini oluşturduğunu düşünüyorum.</p><p>Bir sonraki yazım için daha teknik bir içerik hazırlıyorum, tamamlanınca onu da sizlerle paylaşacağım.</p><p>Mutlu günler.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=d6b328794f27" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Nedir bu Airflow, Nasıl Konumlandırılır?]]></title>
            <link>https://medium.com/@musars/nedir-bu-airflow-nas%C4%B1l-konumland%C4%B1r%C4%B1l%C4%B1r-57eebe3b8741?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/57eebe3b8741</guid>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[türkçe]]></category>
            <category><![CDATA[adamindb]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Tue, 26 Jul 2022 12:21:56 GMT</pubDate>
            <atom:updated>2022-07-26T12:21:56.953Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*re7b7ON6cTC8PMI2.png" /></figure><p>Data ile uğraşan organizasyonların yoğun olarak kullandıkları veya kullanmak istedikleri ürünleri incelemeye devam ediyoruz. Başlıktan da anlaşılacağız üzere konumuz airflow. Airflow, airbnb’de, ihtiyaca binaen python ile açık kaynak kodlu olarak geliştirilmiş bir uygulama olarak hayatına başlamış ve 1,5 yıl kadar sonra ise Apache bünyesine alınmış.</p><p>Benim Airflow ile tanışmam ise üç dört yıl kadar önce oldu. Bir çok sunucunun crontab’ında çalışan onlarca script’i yönetmek, takip etmek çok zor olmaya başlamıştı. Biz de arkadaşlarımızla bu işleri merkezileşticek açık kaynak kodlu bir ürün arayışına girdik. Airflow’un scheduler ve bashoperator’ü bizim ihtiyacımızı fazlası ile görecek gibiydi. Bazı testler yaptık. Gayet başarılı sonuçlar elde ettik. Sonrasında bash scriptlerimizi airflow üzerinden yönetmeye başladık. Aslında kulağa airflow’un amacına uygun bir kullanım değil gibi geliyor ama bizim işimizi fazlasıyla gördü. Hem airflow hem de bizim airflow tarafındaki deneyimimiz belli bir seviyeye geldikten sonra amacına uygun kullanım için sensörler, python operatörleri, vb özelliklerinden de faydalanmaya başladık.</p><p>Airflow kendisini <em>data orkestratörü </em>olarak tanımlıyor. Ama bence sadece tek başına <em>orkestratör </em>olarak da tanımlanabilir. Öncelikle airflow bir veri işleme ürünü olmadığını belirtmek gerekli. TB’lerce veriyi alıp işleyip hedefe yüklemek airflow’un işi değil. Onun yerinde işlenecek büyük hacimli veriniz var, bir de spark clusterınız var ise Airflow üzerinden spark operatörü aracılığıyla işlerinizi çalıştırıp monitör edip hatta branch’lere ayırıp akış haline getirebilirsiniz.</p><p>Kurulum gayet basit (tabi eğer internet bağlantınız var ise 😊). Airflow 2 versiyonundan itibaren biraz daha modüler hale getirildi; airflow core’u ve ihtiyaç duyacağınız yan bileşenlerini ayrı ayrı kurmanız gerekiyor (bazı bileşenler core kurulumu ile geliyor). Aşağıdaki örnekte airflow core ve dört adet provider’ın kurulum komutları var.</p><pre> pip install apache-airflow <br> pip install apache-airflow-providers-databricks<br> pip install apache-airflow-providers-dbt-cloud<br> pip install apache-airflow-providers-amazon<br> pip install apache-airflow-providers-http</pre><p>Airflow üç ana bileşenden oluşmakta: Scheduler, executer, Web UI ve metadata veritabanı. Scheduler adında da anlaşılacağı üzere hangi İşin ne zaman çalıştırılacağından sorumlu birim. Executer ise hangi işin hangi ortamda ve nasıl çalıştırılacağından sorumlu. Web ara yüzü işlerin görsel olarak yönetilmesini, veritabanı ise metadata bilgisinin tutulmasını sağlıyor.</p><p>Kısaca airflow’un modüllerinden de bahsedelim.</p><p><strong>DAG </strong>: Directed Acyclic Graph : Döngüsel olmayan yönlendirilmiş akış diyagramları. Airflow’da işler DAG’lar olarak tanımlanıyor.</p><p><strong>Operatör </strong>: Her bir operatör bir task, yapılacak bir iş. En az bir veya daha fazla task ise DAG’ları oluşturuyor. Aşağıda DAG’larınızda kullanabileceğiniz en temel operatörleri bulabilirsiniz. Açık kaynak ve modüler mimarisinden dolayı onlarca operatör ve açıklamasını <a href="https://airflow.apache.org/docs/apache-airflow/stable/_api/airflow/operators/index.html">linkten</a> erişebilirsiniz.</p><pre>• BashOperator<br>• PythonOperator<br>• SimpleHttpOperator<br>• MySqlOperator<br>• PostgresOperator<br>• MsSqlOperator<br>• OracleOperator<br>• JdbcOperator<br>• DockerOperator<br>• HiveOperator<br>• S3FileTransformOperator<br>• PrestoToMySqlOperator<br>• SlackAPIOperator</pre><p><strong>Sensör </strong>: Sensörler belli bir görevi yapması için tasarlanmış özel bir operatör tipidir. Bir şeyin olmasını bekleyip olunca başarılı olarak bitip sonraki taskın çalışmasına izin veren bir operatör tipi. Mesela bir dosyanın gelmesini bekleyen (FileSensor), sürenin dolmasını bekleyen (TimeSensör), S3 objesinin oluşmasını bekleyen (S3KeySensor) sensörler gibi.</p><p><strong>Connection ve Hook :</strong> Connection’lar dış bir sisteme (veritabanı, AWS, ftp, ssh, vb) bağlanmak için kullanacağınız bilgileri saklamamıza yarayan modüllerdir. Hook’lar ise bu connection’ları kullanarak dış sistemler ile etkileşim kurmamızı sağlayan arayüzlerdir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*F94KTFJjx53KOiE4ouMRkg.png" /></figure><p>Son olarak airflow’un zayıf ya da geliştirilmesi gereken özelliklerinden de bahsedelim.</p><ul><li>Airflow her ne kadar Data Management Tech Stack’de çok fazla adı geçiyor olsa da gelişmiş bir scheduler diyebiliriz.</li><li>Airflow Bir ETL/ELT ürünü değildir, bir orkestrasyon aracıdır. Çok fazla beklentiye girmemek, çok fazla anlam yüklememek, boyundan büyük işlere sokmamak gerek 😊.</li><li>%100 kodlama gerektiren bir üründür. Sadece Python dilini desteklemektedir. Haliyle öğrenme süreci diğer ürünlere göre biraz daha uzun zaman alabilir.</li><li>%100 kodlama gerektiren bir ürün olmasına rağmen bir CI/CD/DevOps ürünü ile entegre çalışmamakta ve kendi içinde de kod versiyonlamasını desteklememektedir.</li><li>Grafik ara yüzden hala çok temel işlemler bile (task’ları birbirine bağlamak, akışı oluşturmak, DAG’ı düzenlemek, schedule ayarlamak, vb.) yapılamamaktadır.</li></ul><p>Bir süre sonra airflow’dan spark submit ile çalıştırdığımız işlerden örnek bir yazı hazırlamayı da planlıyorum.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=57eebe3b8741" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[DBT Nedir, Ne İşe Yarar?]]></title>
            <link>https://medium.com/@musars/dbt-nedir-ne-i%CC%87%C5%9Fe-yarar-e77e1985c8?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/e77e1985c8</guid>
            <category><![CDATA[türkçe]]></category>
            <category><![CDATA[adamindb]]></category>
            <category><![CDATA[dbt]]></category>
            <category><![CDATA[data-pipeline]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Mon, 18 Jul 2022 08:37:47 GMT</pubDate>
            <atom:updated>2022-07-27T07:41:49.117Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*Cme0OaEnIAEIOwlw.png" /><figcaption>source : <a href="https://www.getdbt.com/ui/img/social/facebook.png">https://www.getdbt.com</a></figcaption></figure><p>Veri platformları ile ilgili incelememe DBT ile devam ediyorum. Veri işleme ile ilgili ortamlarda çok sık bahsi geçen dbt, açık adı ile <strong>D</strong>ata <strong>B</strong>uild <strong>T</strong>ool, bir veri işleme ürünü. Açık kaynak kodlu olarak python ile dbt-Labs tarafından geliştirilmiş. <a href="https://cloud.getdbt.com/">Cloud’da</a> veya lokalde çalışma imkanınız var. <a href="https://cloud.getdbt.com/signup/">Cloud</a> için 14 günlük deneme hesabı da oluşturabiliyorsunuz.</p><p>dbt tam olarak nasıl konumlandırılır, nerelerde öne çıkmaktadır, işletmelerin hangi işlerini kolaylaştırmakta? Öncelikle, dbt, <strong>ELT </strong>(Extract, Load, Transform) sürecinin <strong>T </strong>(Transform) aşamasını adreslemekte olduğunu ve özellikle ELT süreci için olduğunu belirtelim. Çünkü işlenecek verinin DWH ortamınızda hazır olması gerekiyor. Yani raw data extract edilip, DWH ortamına yüklenmiş (load) olması gerekli. Sonrası gayet basit. Temel SQL bilgisi ile verinizi iş tarafının ihtiyaçlarına göre çok hızlı işleyebiliyorsunuz. Peki, bu işlemleri SQL ile de yapamaz mıyız, neden ekstra bir tool’a daha ihtiyaç var diye düşünebilirsiniz. Aynı soru benim de aklıma geldi. Buradaki en önemli fark “temel SQL” bilgisi, yani sadece select ile istediğiniz modelleri oluşturma yeteneğine sahip olabiliyorsunuz. Arka tarafta DDL, DML vs gibi işlemleri dbt hallediyor. Zaten dbt’nin asıl hedef kitlesi de data analistler. Temel SQL bilgisi ile data engineer’a ihtiyaç duymadan, o süreci ortadan kaldırarak verinin daha hızlı raporlara, dash board’lara yansıması. Bildiğiniz üzere 1970&#39;lerde geliştirilen SQL o kadar çok yaygınlaştı ki; artık CXO’lar dahi temel SQL bilgisine sahip. Bu da dbt ile CXO’ların da kendi kendilerine model geliştirip istedikleri formatta veriye hızlıca ulaşmalarını mümkün kılıyor.</p><p>dbt’nin bir diğer artısı CI/CD entegrasyonu. Bu olanak ile işletmeler bir varlık/değer olarak veri işleme kodlarını da saklayıp, versiyonlayıp, dokümantosyon, test ve deployment süreçlerini otomatize edebilme yeteneğine kavuşuyor.</p><p>dbt’yi daha etkin kullanmak için temel SQL bilgisinin yanında biraz yaml ve jinja öğrenmeye ihtiyaç duyabilirsiniz (zaten biliyorsanız işiniz gayet kolay). dbt içinde her şey yaml ve sql dosyaları içinde tanımlanıyor. SQL’in içinde loop veya if/else blokları kullanmak için ise jinja template language’dan yardım alabilirsiniz. Bu sayede biraz daha kompleks makrolar yazabilirsiniz.</p><p>dbt’nin temel bileşenleri ise “dbt_project.yml” ve “profiles.yml”: “dbt_project.yml” dosyası ile dbt’ye çalışılan klasörün bir dbt projesi olduğu ve projenin nasıl çalışacağı ile ilgili temel bilgileri iletiyorsunuz. “profiles.yml” ise bağlanacağınız dwh ortamı ile ilgili bilgileri (user, password, ip, port, schema, vb) içeriyor. Yeri gelmişken, dbt bir çok dwh ortamı için adaptör içermektedir. Detaylı bilgiye <a href="https://docs.getdbt.com/docs/available-adapters">dbt doküman sitesinden</a> erişilebilir.</p><p>dbt’nin kurulumu ve kullanımı da çok basit. Aşağıdaki komutla çok kısa bir kurulumu var (ihtiyaç duyacağınız diğer adaptörleri de install komutuna eklemeniz gerekebilir).</p><pre>pip install \<br>  dbt-core  \<br>  dbt-snowflake \<br>  dbt-vertica  \<br>  dbt-postgres</pre><p>Kurulum sonrası lokalde komut satırı ile çalışan bir cli geliyor. dbt cli ile projelerinizi çalıştırabilir, test edebilir, dokümante edebilirsiniz. Aşağıda örnek çıktı bulabilirsiniz.</p><pre>$ dbt<br>usage: dbt [-h] [--version] [-r RECORD_TIMING_INFO] [-d] [--log-format {text,json,default}] [--no-write-json]<br>           [--use-colors | --no-use-colors] [--printer-width PRINTER_WIDTH] [--warn-error] [--no-version-check]<br>           [--partial-parse | --no-partial-parse] [--use-experimental-parser] [--no-static-parser]<br>           [--profiles-dir PROFILES_DIR] [--no-anonymous-usage-stats] [-x] [--event-buffer-size EVENT_BUFFER_SIZE]<br>           [-q] [--no-print] [--cache-selected-only | --no-cache-selected-only]<br>           {docs,source,init,clean,debug,deps,list,ls,build,snapshot,run,compile,parse,test,seed,run-operation} ...<br>An ELT tool for managing your SQL transformations and data models. For more documentation on these commands, visit:<br>docs.getdbt.com<br>options:<br>  -h, --help            show this help message and exit<br>  --version             Show version information<br>  -r RECORD_TIMING_INFO, --record-timing-info RECORD_TIMING_INFO<br>                        When this option is passed, dbt will output low-level timing stats to the specified file.<br>                        Example: `--record-timing-info output.profile`<br>  -d, --debug           Display debug logging during dbt execution. Useful for debugging and making bug reports.<br>  --log-format {text,json,default}<br>                        Specify the log format, overriding the command&#39;s default.<br>  --no-write-json       If set, skip writing the manifest and run_results.json files to disk<br>  --use-colors          Colorize the output DBT prints to the terminal. Output is colorized by default and may also be<br>                        set in a profile or at the command line. Mutually exclusive with --no-use-colors<br>  --no-use-colors       Do not colorize the output DBT prints to the terminal. Output is colorized by default and may<br>                        also be set in a profile or at the command line. Mutually exclusive with --use-colors<br>  --printer-width PRINTER_WIDTH<br>                        Sets the width of terminal output<br>  --warn-error          If dbt would normally warn, instead raise an exception. Examples include --models that selects<br>                        nothing, deprecations, configurations with no associated models, invalid test configurations,<br>                        and missing sources/refs in tests.<br>  --no-version-check    If set, skip ensuring dbt&#39;s version matches the one specified in the dbt_project.yml file<br>                        (&#39;require-dbt-version&#39;)<br>  --partial-parse       Allow for partial parsing by looking for and writing to a pickle file in the target directory.<br>                        This overrides the user configuration file.<br>  --no-partial-parse    Disallow partial parsing. This overrides the user configuration file.<br>  --use-experimental-parser<br>                        Enables experimental parsing features.<br>  --no-static-parser    Disables the static parser.<br>  --profiles-dir PROFILES_DIR<br>                        Which directory to look in for the profiles.yml file. Default = C:\Users\mustafa.arslan\.dbt<br>  --no-anonymous-usage-stats<br>                        Do not send anonymous usage stat to dbt Labs<br>  -x, --fail-fast       Stop execution upon a first failure.<br>  --event-buffer-size EVENT_BUFFER_SIZE<br>                        Sets the max number of events to buffer in EVENT_HISTORY<br>  -q, --quiet           Suppress all non-error logging to stdout. Does not affect {{ print() }} macro calls.<br>  --no-print            Suppress all {{ print() }} macro calls.<br>  --cache-selected-only<br>                        Pre cache database objects relevant to selected resource only.<br>  --no-cache-selected-only<br>                        Pre cache all database objects related to the project.<br>Available sub-commands:<br>  {docs,source,init,clean,debug,deps,list,ls,build,snapshot,run,compile,parse,test,seed,run-operation}<br>    docs                Generate or serve the documentation website for your project.<br>    source              Manage your project&#39;s sources<br>    init                Initialize a new DBT project.<br>    clean               Delete all folders in the clean-targets list (usually the dbt_packages and target<br>                        directories.)<br>    debug               Show some helpful information about dbt for debugging. Not to be confused with the --debug<br>                        option which increases verbosity.<br>    deps                Pull the most recent version of the dependencies listed in packages.yml<br>    list (ls)           List the resources in your project<br>    build               Run all Seeds, Models, Snapshots, and tests in DAG order<br>    snapshot            Execute snapshots defined in your project<br>    run                 Compile SQL and execute against the current target database.<br>    compile             Generates executable SQL from source, model, test, and analysis files. Compiled SQL files are<br>                        written to the target/ directory.<br>    parse               Parsed the project and provides information on performance<br>    test                Runs tests on data in deployed models. Run this after `dbt run`<br>    seed                Load data from csv files into your data warehouse.<br>    run-operation       Run the named macro with any supplied arguments.<br>Specify one of these sub-commands and you can find more help from there.<br>$</pre><p>dbt’nin temel bileşenlerinden de bahsedelim.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/927/1*Svz_UumCv5IaPcdOFICSJw.jpeg" /></figure><p><strong>projects </strong>: sql ve yml dosyalarından oluşan klasör yapısı. Bu klasördeki tanım ve sql dosyaları ile dbt’ye projenizin alt bileşenlerini yerlerini, modellerinizi, test senaryolarınızı, kaynaklarınızı, vs bildirmiş oluyorsunuz. dbt_project.yml dosyası bu klasörde olmalı.</p><p><strong>models </strong>: İçerisinde select ifadeleri olan .sql dosyaları ile oluşturulur ve genelde models klasöründe saklanır. Modelleri “materialized” keyword’ünü kullanarak “table”, “view”, “incremental” veya “ephemeral” olarak tanımlayabilirsiniz.</p><p><strong>hooks </strong>: dbt_project.yml dosyası içerisinde modellerin oluşturulması öncesi ve/veya sonrasında (pre/post sql commands) çalıştırılmasını istediğiniz komutlar (grant/revoke, vacuum, audit kayıtları vb.).</p><p><strong>sources </strong>: yml dosyası olarak DWH ortamındaki kaynaklarınızı (tablo, view, vb) isimlendirip detaylandırdığınız yapılar. Source tanımları yapıldıktan sonra model dosyalarında bu tablolara referans verebilirsiniz. (… from {{ source(‘crm’, ‘transactions’) }} …)</p><p><strong>macros </strong>: Projelerinize SQL’in yeterli olmadığı for loop, if/then/else blokları gibi ihtiyaçlarda jinja ile bu yeteneği kazandırabilirsiniz. Ayrıca deployment öncesinde production veya development ortamlarını tanımlamak için de makrolardan faydalanabilirsiniz.</p><p>Ayrıca, veri işleme altyapınızda faydalı olabilecek CTE (common table expression; tablolara alias verme), TAG’leme, snapshot alma, package oluşturma gibi daha bir çok özelliği dbt dokümanlarından inceleyerek kullanabilirsiniz.</p><p>Örnek dbt çalışmama <a href="https://gitlab.com/musars/learn_dbt">gitlab repomdan</a> ulaşabilirsiniz.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e77e1985c8" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache BEAM ile Data Pipeline]]></title>
            <link>https://medium.com/@musars/apache-beam-ile-data-pipeline-5187bf5a9f9c?source=rss-81cc2fe9724c------2</link>
            <guid isPermaLink="false">https://medium.com/p/5187bf5a9f9c</guid>
            <category><![CDATA[apache-beam]]></category>
            <category><![CDATA[türkçe]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[adamindb]]></category>
            <dc:creator><![CDATA[Mustafa Arslan]]></dc:creator>
            <pubDate>Mon, 11 Jul 2022 11:59:31 GMT</pubDate>
            <atom:updated>2022-07-11T11:59:31.815Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/196/0*kTslsl2-heT5BjtP.png" /><figcaption>Source : <a href="https://upload.wikimedia.org/wikipedia/commons/8/86/Beam-logo-full-color-name-right-200-autocrop.png">https://upload.wikimedia.org/</a></figcaption></figure><p>İnsanların, kurumların hayatında son yıllarda çok popüler olan veri, veriden anlam çıkarma, veriyi kullanarak karar verme vb. konular nedeniyle veri işleme de çok fazla kafa yorulan, ürün geliştirilen alanlardan biri haline geldi. Daha önceden belli başlı vendorlar tarafından domine edilen ve sadece ETL olarak tanımlanan veri işleme süreci (veya data engineering) çok farklılaştı ve open source projeler tarafından domine edilip komüniteler tarafından yönlendirilir hale geldi. İşte burada önde çıkan projelerden biri de Apache BEAM.</p><p>BEAM <a href="https://beam.apache.org/about">dokümanlarında </a>kendisini birleşik bir programlama modeli olarak tanımlıyor. Büyük hacimdeki veriyi stream veya batch olarak işleme dinamiklerini kolaylaştıran bir model olarak konumlandırıyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*RoRCd4plbqvPWXSR.png" /><figcaption>Source : <a href="https://beam.apache.org/about/">https://beam.apache.org/about/</a></figcaption></figure><p>BEAM’in geliştiriciler ve data engineer’lar tarafından tercih edilmesindeki ana motivasyon neler?</p><p>Öncelikle, BEAM developer’ları alt seviye (low level) distributed data processing programlamanın karmaşasından kurtarıyor. Her bir worker’ın yönetimi, kaynakların ve hedeflerin işlenmesi gibi alt seviyede işlerden izole, yapacağınız işe odaklanabiliyorsunuz.</p><p>Diğer bir önemli tercih nedeni ise BEAM’in platform seçme özgürlüğü (portability). BEAM ile yazdığınız pipeline’ları istediğiniz engine üzerinde (Spark, Flink, Samza, GC Dataflow, AWS KDA gibi) çalıştırabilirsiniz. Bu özellik (write once, run anywhere) size gelecekteki platform değişikliklerinizi de bütün kodlarınızı tekrar gözden geçirme ve modifiye etme zorluğundan ve platform/vendor bağımlılığından kurtarmış oluyor.</p><p>Ayrıca BEAM ile programlama dilinizi de seçme özgürlüğüne sahipsiniz. Python, Java, Go dillerinden herhangi biri ile BEAM’in nimetlerinden faydalanmaya başlayabilirsiniz.</p><p>Bu özelliklerinin yanı sıra <strong><em>Beam</em></strong>’in adının da kaynağı olan bir diğer özellik ise <strong><em>B</em></strong>atch ve str<strong><em>eam</em></strong> veriyi aynı model içinde işleyebilme yeteneği.</p><p>BEAM’in temel unsurlarından kısaca bahsedeyim.</p><p><strong>PIPELINE </strong>: İstenilen veri işlem operasyonlarının yürütüldüğü developer tarafında oluşturulan süreç bütünü (DAG; Directed Acyclic Graph<strong>)</strong></p><p><strong>PCollection </strong>: Pipeline’ların işlediği Data Set veya Data Stream.</p><p><strong>PTransform </strong>: Veriye uygulanacak işlem, değişiklik.</p><p>Aşağıdaki veri seti ile küçük bir kullanım örneği ekliyorum. Kodlara <a href="https://gitlab.com/musars/beam_examples">gitlab linkinden</a> ulaşabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/506/1*wooOkCa8JTEOGKV6Cfh4XA.jpeg" /><figcaption>data/course_data.txt</figcaption></figure><ol><li>“data/course_data.txt” dosyasını input alıp sadece calculus dersi alanların sayısını output olarak “out/1_count_calculus_students” dosyasına yazar.</li></ol><pre>import apache_beam as beam</pre><pre>p1 = beam.Pipeline()<br>class_count = (<br> <br>  p1<br>  | beam.io.ReadFromText(&#39;data/course_data.txt&#39;,skip_header_lines=1)</pre><pre>| beam.Map(lambda record: record.split(&#39;,&#39;))<br>  | beam.Filter(lambda record: record[3] == &#39;calculus&#39;)<br>  | beam.Map(lambda record: (record[3], 1))<br>  | beam.CombinePerKey(sum)<br> <br>  | beam.io.WriteToText(&#39;out/1_count_calculus_students&#39;)<br>)</pre><pre>p1.run()</pre><p>output :</p><pre>(&#39;calculus&#39;, 5)</pre><p>2. “data/course_data.txt” dosyasını input alıp class alanındaki her bir ders için count alıp output olarak “out/2_count_students_by_classes” dosyasına yazar.</p><pre>import apache_beam as beam</pre><pre>p1 = beam.Pipeline()<br>class_count = (<br> <br>  p1<br>  | beam.io.ReadFromText(&#39;data/course_data.txt&#39;,skip_header_lines=1)</pre><pre>| beam.Map(lambda record: record.split(&#39;,&#39;))<br>  | beam.Map(lambda record: (record[3], 1))<br>  | beam.CombinePerKey(sum)<br> <br>  | beam.io.WriteToText(&#39;out/2_count_students_by_classes&#39;)<br>)</pre><pre>p1.run()</pre><p>3. “data/course_data.txt” dosyasını input alıp class alanındaki her bir ders için dersi alan öğrencileri array olarak “out/3_list_class_students” dosyasına yazar.</p><pre>(&#39;calculus&#39;, [&#39;Ali&#39;, &#39;Ayse&#39;, &#39;Kadir&#39;, &#39;Lale&#39;, &#39;Jale&#39;])<br>(&#39;physics&#39;, [&#39;Ahmet&#39;, &#39;Murat&#39;, &#39;Leyla&#39;])</pre><p>4. 1. örnekteki aynı işi ParDo (paralel) ile yapıp sonucu “out/4_count_students_by_classes_byPARDO” dosyasına yazar.</p><pre>import apache_beam as beam</pre><pre>class SplitRow(beam.DoFn):<br>  def process(self, element):<br>    return  [element.split(&#39;,&#39;)]</pre><pre>class FilterCalculusStudents(beam.DoFn):<br>  def process(self, element):<br>    if element[3] == &#39;calculus&#39;:<br>      return [element]<br> <br>class PairStudents(beam.DoFn):<br>  def process(self, element):<br>    return [(element[3], 1)]</pre><pre>class Counting(beam.DoFn):<br>  def process(self, element):<br>    (key, values) = element<br>    return [(key, sum(values))]</pre><pre>p1 = beam.Pipeline()</pre><pre>student_counts = (<br> <br>  p1<br>  | beam.io.ReadFromText(&#39;data/course_data.txt&#39;,skip_header_lines=1)<br> <br>  | beam.ParDo(SplitRow())<br>  | beam.ParDo(FilterCalculusStudents())<br>  | beam.ParDo(PairStudents())<br>  | beam.GroupByKey()<br>  | beam.ParDo(Counting())<br> <br>  | beam.io.WriteToText(&#39;out/4_count_students_by_classes_byPARDO&#39;)<br>)</pre><pre>p1.run()</pre><p>5. 2. örnekteki sonuca Beam’in bir diğer özelliği olan pipeline’ları branch’lere ayırarak çalışma örneği.</p><pre>import apache_beam as beam</pre><pre>p1 = beam.Pipeline()</pre><pre>input_collection = (</pre><pre>p1<br>    | &quot;Read input data&quot; &gt;&gt; beam.io.ReadFromText(&#39;data/course_data.txt&#39;, skip_header_lines=1)<br>    | &quot;Split rows into columns&quot; &gt;&gt; beam.Map(lambda record: record.split(&#39;,&#39;))<br>                  )</pre><pre>calculus_count = (<br>    input_collection<br>    | &#39;Filter calculus students&#39; &gt;&gt; beam.Filter(lambda record: record[3] == &#39;calculus&#39;)<br>    | &#39;Pair each calc student with 1&#39; &gt;&gt; beam.Map(lambda record: (record[3], 1))<br>    | &#39;Aggegate calculus&#39;        &gt;&gt; beam.CombinePerKey(sum)<br>    )</pre><pre>physics_count = (<br>    input_collection<br>    | &#39;Filter physics students&#39;  &gt;&gt; beam.Filter(lambda record: record[3] == &#39;physics&#39;)<br>    | &#39;Pair each phys student with 1&#39; &gt;&gt; beam.Map(lambda record: (record[3], 1))<br>    | &#39;Aggregate physics&#39; &gt;&gt; beam.CombinePerKey(sum)<br>    )</pre><pre>output =(<br>    (calculus_count,physics_count)<br>    | beam.Flatten()<br>    | beam.io.WriteToText(&#39;out/5_all_classes&#39;)<br>)</pre><pre>p1.run()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*l1oJ8aNaB3YOpv-t.png" /><figcaption>Source : <a href="https://beam.apache.org/images/logos/full-color/name-right/beam-logo-full-color-name-right-1000.png">https://beam.apache.org/</a></figcaption></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=5187bf5a9f9c" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>