<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Yusuf Gözübüyük on Medium]]></title>
        <description><![CDATA[Stories by Yusuf Gözübüyük on Medium]]></description>
        <link>https://medium.com/@yusufgzbyk?source=rss-4452448cb1ca------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*miVDDHRzYGEdx3flrWNe8w.jpeg</url>
            <title>Stories by Yusuf Gözübüyük on Medium</title>
            <link>https://medium.com/@yusufgzbyk?source=rss-4452448cb1ca------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 14:52:36 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@yusufgzbyk/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[The Performance Improvement Journey in Apache Iceberg Tables]]></title>
            <link>https://medium.com/tom-tech/the-performance-improvement-journey-in-apache-iceberg-tables-438eccbe136d?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/438eccbe136d</guid>
            <category><![CDATA[apache-spark]]></category>
            <category><![CDATA[apache-iceberg]]></category>
            <category><![CDATA[data-lake]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Mon, 20 Apr 2026 10:24:32 GMT</pubDate>
            <atom:updated>2026-04-20T10:24:32.073Z</atom:updated>
            <content:encoded><![CDATA[<p>Who am I? I currently work as a Data Platform Engineer at TOM (Technology of Money). I ponder upon systems that ensure the safe and meaningful flow of data at the heart of financial technologies.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*LcknWr17KG5xuSUYueAgEA.png" /></figure><p>One of the most frequently encountered scenarios in data engineering is making huge data accumulated in operational databases (MongoDB, PostgreSQL, etc.) suitable for analytical queries.</p><p>In another project at TOM, Kaan Özbudak wrote about a project where we built a dual-partition structure from scratch; I also recommend reading that article. <a href="https://medium.com/tom-tech/from-chaos-to-clarity-building-a-scalable-on-prem-data-lake-with-apache-iceberg-spark-a6e419ce11b3">Link</a></p><p>In our scenario, we had a dataset on MongoDB that had grown too large to be queried. We converted this data into Apache Iceberg format, stored it on S3, and made it queryable with Spark SQL. Initially, we partitioned the data based only on created_at_date. However, as the data grew and the business units&#39; query needs changed, we realized that a single partition structure created a performance bottleneck.</p><p>In this article, I will explain how we transformed a single-partition Iceberg table into a dual-partition structure without losing data and without disrupting production processes, and how we validated data integrity during this process.</p><h3>Problem: The “Single Partition” Bottleneck</h3><p>In our initial structure, when writing data to S3, we set the created_at_date field as the partition key. However, when requested to &quot;bring the records generated for event X last week&quot;, Spark had to scan all files belonging to that day.</p><p>In data with billions of rows, reading the entire day’s data just to search for a specific event_name was inefficient in terms of both time and resource costs.</p><pre>s3://your-bucket/bronze/table_name/created_at_date=YYYY-MM-DD/ <br>--- part-00000.parquet <br>--- part-00001.parquet<br>--- part-00002.parquet<br>--- part-00003.parquet</pre><h3>Solution: Changing the Partition Strategy</h3><p>As a solution, we decided to deepen the partition structure. Dividing the data not only by date but also by event_name under the date would allow Spark to use its &quot;Partition Pruning&quot; feature to its full capacity.</p><p>Our new structure would be as follows:</p><ol><li><strong>Partition 1:</strong> created_at_date</li><li><strong>Partition 2:</strong> event_name</li></ol><p>Thus, when a query like WHERE created_at_date=&#39;2023-10-01&#39; AND event_name=&#39;Login&#39; arrived, Spark would completely ignore the files belonging to other events.</p><blockquote>The image below shows how a dual partition looks on an S3.</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hXBTgTvMIq-XffZI2elanQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cnC9Mbv5zgOdD4pHDTCgNQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*ABy68DdYwCTTSWiRWzbJkw.png" /></figure><h3>Redistributing Data (Repartitioning)</h3><p>This process is risky in a live system. Instead of deleting and recreating the table, we developed a “Migration Pipeline” that reads the data day by day and writes it to a target table with the new schema.</p><p>Our step-by-step approach was as follows:</p><ul><li>We performed repartitioning from the Bronze folder to bronze_final</li><li>We adjusted the existing pipeline in production according to the dual partition; this way, it started writing correctly to the specified location for the day we updated the code and onwards.</li><li>We started reading the historical data as a single partition and writing it as a dual partition.</li></ul><h4>1. Date-Based Iteration</h4><p>Since the data was too large, it was impossible to load the entire table into memory and write it all at once. Therefore, we processed the data day by day by setting up a loop between start_date and end_date</p><pre>while current_date &lt;= end_date:<br>    date_str = current_date.strftime(&#39;%Y-%m-%d&#39;)<br>    <br>    df = spark.read.table(source_table_identifier).where(f&quot;{partition_col1} = &#39;{date_str}&#39;&quot;)</pre><h4>2. Missing Event Name Value Not</h4><p>receiving a value we expect is a serious problem for us, especially when it is a partition column; so, to avoid losing the incoming data, we kept it in a column named unknown_event</p><ul><li><strong>If it doesn’t arrive at all</strong>: Spark/Iceberg will throw an error during writing and the pipeline will crash.</li><li><strong>If it comes as Null or Empty</strong>: The data will be collected under “null” or unorganized folders, which will cause the data to be “lost” or produce incorrect results in future analyses.</li></ul><p>For these reasons, we have made the following addition.</p><pre>if partition_col2 not in df.columns:<br>    df = df.withColumn(partition_col2, lit(&quot;unknown_event&quot;))<br>else:<br>    df = df.withColumn(<br>        partition_col2,<br>        when(<br>            (col(partition_col2).isNull()) | <br>            (col(partition_col2) == &quot;&quot;) |<br>            (isnan(col(partition_col2))),<br>            &quot;unknown_event&quot;<br>        ).otherwise(col(partition_col2))<br>    )<br>    </pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/300/0*i80R1x89_xwnfjQG.gif" /></figure><h4>Writing Data to the New Area</h4><p>The biggest challenge we faced while writing data to the new area was the data structure changing over time. When writing to Iceberg tables, if a column added later to the source dataset is not defined in the target table, a mismatch error may occur.</p><p>To overcome this, we established a manual schema evolution mechanism in our code. Our update_table_schema function analyzes the incoming data before each write operation, and if it finds a missing column in the target table, it updates the table with the ALTER command. Thus, when the overwritePartitions operation runs, there is no schema mismatch, and newly arrived columns are automatically included in the bronze_final layer.</p><pre>def update_table_schema(spark, target_identifier, df):<br>    try:<br>        target_cols = spark.table(target_identifier).columns<br>        <br>        for col_name in df.columns:<br>            if col_name not in target_cols:<br>                spark.sql(f&quot;ALTER TABLE {target_identifier} ADD COLUMN {col_name} STRING&quot;)<br>                make_logger(f&quot;Added column {col_name} to {target_identifier}&quot;)<br>                <br>    except Exception as e:<br>        make_logger(f&quot;Schema update failed: {e}&quot;, alert_type=&quot;error&quot;)<br><br><br><br></pre><p>After completing all controls and data cleaning, we arrive at the stage of writing the data to the bronze_final layer.</p><p>Here, we follow a hybrid approach: At the beginning of the workflow, we check for the existence of the target table using a simple SELECT query (table_exists). As we write the data day by day within the loop, we act based on this flag:</p><ol><li><strong>If the Table Does Not Exist Yet:</strong> If a write operation is being performed for the first time, we use the createOrReplace() method to create the table.</li><li><strong>If the Table Exists:</strong> If the table has already been created (or was created during previous iterations of the loop), we first conduct a new column check using our update_table_schema function, and then safely append the data using overwritePartitions.</li></ol><pre>table_exists = False<br>try:<br>    spark.sql(f&quot;SELECT * FROM {target_table_identifier} LIMIT 1&quot;).collect()<br>    table_exists = True<br>.<br>.<br>.<br><br>if not table_exists:<br>    df.writeTo(target_table_identifier) \<br>        .partitionedBy(*partition_columns) \<br>        .createOrReplace()<br>    table_exists = True<br>else:<br>    update_table_schema(spark, target_table_identifier, df)<br>    df.writeTo(target_table_identifier).overwritePartitions()</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/220/0*qZXeTYOgM2plWLzH.gif" /></figure><h3>Data Validation</h3><p>In data engineering, saying “I did it, it’s done” is the biggest mistake. You must make sure that no data loss occurs when moving millions of rows of data from one table to another.</p><p>After this migration process, we wrote a separate validation pipeline that compares the Source and Target tables. This script performs a two-level check:</p><p><strong>1. Count Check</strong> : Are the row counts in the source and target tables equal for each day?.</p><pre>source_count = spark.read.table(source).where(f&quot;{PARTITION_COLUMN} = &#39;{date_str}&#39;&quot;).count()<br>target_count = spark.read.table(target).where(f&quot;{PARTITION_COLUMN} = &#39;{date_str}&#39;&quot;).count()<br><br>if source_count != target_count:<br>    make_logger(f&quot;HATA: Sayılar eşleşmiyor! Fark: {source_count - target_count}&quot;)</pre><p><strong>2. In-Depth Data Check: </strong>Even if the numbers match, the data might be corrupted. Therefore, we selected a random unique ID for each day and checked whether all columns of this record were exactly the same.</p><pre>source_record = spark.read.table(source).where(f&quot;_id = &#39;{sample_id}&#39;&quot;).first().asDict()<br>target_record = spark.read.table(target).where(f&quot;_id = &#39;{sample_id}&#39;&quot;).first().asDict()<br><br>if source_record == target_record:<br>    make_logger(f&quot;Doğrulama Başarılı: ID {sample_id} birebir aynı.&quot;)<br>else:<br>    make_logger(f&quot;HATA: Veri içeriği uyuşmuyor!&quot;, alert_type=&quot;error&quot;)</pre><p>Thanks to this control mechanism, we completed the migration process with peace of mind. With Slack integration, we were able to monitor the process instantly.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/0*SzDEujzBMPMLhbeK.gif" /></figure><p>Now, probably only one question remains: how was this process scheduled?</p><h3>Scheduling with Apache Airflow</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-qZDgveEwKw7_-ZelQ-Q0w.png" /></figure><p>When we completed the development and validation processes, there was only one question left in mind: <strong>How will this process be managed and scheduled in the production environment?.</strong></p><p>The process needed to progress day by day, be capable of being re-triggered in case of an error, and be traceable. For this, we transformed the job into an API service by adding a new endpoint to our FastAPI project that was already running on our Spark Master server.</p><p>Instead of Airflow dealing with Spark-submit commands directly, we ensured that Airflow acts merely as an orchestrator, sending an API request and passing the necessary configurations as a payload.</p><pre>class RepartitionRequest(BaseModel):<br>    app_name: str<br>    start_date: str<br>    end_date: str<br>    source_table_name: str<br>    target_table_name: str<br>    partition_col1: str = &quot;created_at_date&quot;<br>    partition_col2: str = &quot;event_name&quot;</pre><pre>@app.post(&quot;/repartition_iceberg_table&quot;)<br>async def repartition_iceberg_table(request: RepartitionRequest):</pre><p>Thanks to this structure:</p><ul><li>Manageability: By only changing the date parameters via Airflow, we became able to re-process the data of any past day with a single click.</li><li>Traceability: Tracking the process became easier thanks to API responses and Airflow logs.</li></ul><h4>Conclusion</h4><p>In our transition journey from a single partitioned structure to a created_at_date + event_name structure; we combined the flexible structure of Iceberg, the processing power of Spark, and the orchestration capability of Airflow.</p><ol><li><strong>Query Speeds Increased</strong>: In specific event queries, instead of scanning the entire dataset, Spark now only reads the relevant subfolders.</li><li><strong>Cost Decreased</strong>: S3 read requests and Spark executor times decreased.</li><li><strong>Manageability</strong>: We were able to isolate missing data such as unknown_event at the partition level.</li><li><strong>Operational Ease</strong>: Thanks to the API-based structure we built, retrospective data correction or reprocessing processes turned into a standard operation that does not require manual intervention.</li></ol><p>In big data platforms, the real engineering problem is not only storing the data, but optimizing access to that data and making the process sustainable.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=438eccbe136d" width="1" height="1" alt=""><hr><p><a href="https://medium.com/tom-tech/the-performance-improvement-journey-in-apache-iceberg-tables-438eccbe136d">The Performance Improvement Journey in Apache Iceberg Tables</a> was originally published in <a href="https://medium.com/tom-tech">TOM Tech</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Veri Analitiğinde Modernleşme: dbt Veri Oluşturma Aracı]]></title>
            <link>https://medium.com/i%CC%87stanbuldatascienceacademy/veri-analiti%C4%9Finde-modernle%C5%9Fme-dbt-veri-olu%C5%9Fturma-arac%C4%B1-1bb218a82d3a?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/1bb218a82d3a</guid>
            <category><![CDATA[data-warehouse]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-build-tool]]></category>
            <category><![CDATA[dbt]]></category>
            <category><![CDATA[data-engineering]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Wed, 24 Apr 2024 11:53:36 GMT</pubDate>
            <atom:updated>2025-09-19T07:59:36.045Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*O9Nrst8c6BJGcMRK_l3KDA.png" /></figure><p>Günümüzde veri analitiği, karmaşıklığı ve hızlı değişen iş gereksinimlerini göz önünde bulundurarak sürekli evrim geçiriyor. Büyük veri setleri, farklı kaynaklardan gelen veri çeşitliliği ve değişen iş akışları, veri analistlerini ve mühendislerini zorlayıcı bir ortamda çalışmaya zorluyor. Geleneksel veri yapıları ve analitik yöntemler, bu hızlı değişime ayak uydurmakta zorlanırken, süreçler zaman alıcı ve karmaşık hale geliyor. Bu zorluklarla başa çıkmak ve veri analitiği süreçlerini modernleştirmek için tasarlanmış olan dbt (Data Build Tool), bu alanda dikkate değer bir çözüm sunuyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*y4WsLMtKs5cG58kU.png" /></figure><p>DBT Extract, Transform, Load (ETL) süreçlerin de Transform aşamasını hızlandırmak ve kolaylaştırmak için tasarlanmış bir veri analitiği aracıdır.</p><p>dbt bu süreçleri kullandığımız data warehouse’ı (BigQuery, Redshift, Snowflake, etc.) kullanarak yapar. dbt, SQL sorgularını ve Jinja şablonlarını kullanarak veri modelleri oluşturur ve yönetir.</p><p>Aslında basitce yazdığımız sql leri kullandığımız platformlarda çalıştırır ve sonuçları data warehouse’ımıza yazar.</p><p>Peki bunu neden data warehouselar(dwh diyeceğiz kısaca) üzerinde yaparız ?</p><p>Bu işlem için Python, Spark gibi tooları kullanmadan sadece sql ile yapmamızın sebebi, moden dwh’ların bu işlemleri yapmaya uygun olmasıdır. Bu işlemleri yaparken veri warehouse’ımızın sağladığı performans, güvenlik, ölçeklenebilirlik gibi avantajlarından faydalanabiliriz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*9hAJ7YykV4jbYfPe" /></figure><h4>dbt Nedir ve Nasıl Çalışır?</h4><p>dbt, veri analistlerine ve mühendislerine veri setlerini hazırlama, işleme ve belirli analitik sorulara cevap bulma konusunda yazılım mühendisliğinin pratiklerini sunarak yardımcı olan bir araçtır. dbt’nin özellikleri arasında şunlar bulunur:</p><ol><li>Veri Modelleri ve İş Birliği: dbt, veri modelleri üzerinde iş birliği yapmayı sağlar. Analistler, modelleri select ifadeleri olarak yazabilir ve .sql olarak kaydedebilirler. Bu sayede, ekip içinde işbirliği yapmak ve modelleri kolayca güncellemek mümkün olur.</li><li>Sürümlendirme ve Kontrol: dbt, geliştirme sürecinin kontrolü için sürümlendirmeyi sağlar. Proje, git/github VCS ile entegre edilebilir, bu da kod değişikliklerinin takibini ve geri alınmasını kolaylaştırır.</li><li>Güvenli Dağıtım ve Test: dbt, sorguları güvenli bir şekilde canlı ortama dağıtmadan önce test etmeyi sağlar. Ayrıca, sorguları belgelemek için de kullanılabilir.</li></ol><p>Yukarıda belirtilen özellikleri özetlemek gerekirse kod yazarken yaptığımız modüler yapıyı versiyonlamayı ve test etmeyi sağlayan bir araç diyebiliriz.</p><p><strong>dbt’nin Yapısı ve İşlevleri</strong></p><p>dbt projesi, projenin bağlamını ve verilerin dönüştürülme şeklini belirtir. Temel bileşenler şunlardır:</p><ul><li><strong>Models </strong>: dbt projesinde geliştiricilerin zamanlarının çoğunu geçirdiği yerdir. Modeller, select ifadeleri olarak yazılır ve .sql olarak kaydedilir.</li><li><strong>Seeds </strong>: dbt projenizdeki CSV dosyalarıdır ve dbt, “dbt seed” komutunu kullanarak veri ambarınıza yükleyebilir.</li><li><strong>Tests </strong>: dbt projenizdeki modelleriniz ve diğer kaynaklarınız hakkında yaptığınız iddialardır. dbt testini çalıştırdığınızda, projenizdeki her testin başarılı mı yoksa başarısız mı olduğunu söyler.</li><li><strong>Macros </strong>: Birden çok kez yeniden kullanılabilen kod parçalarıdır.</li></ul><p>dbt’nin Faydaları ve Etkisi</p><p>dbt, veri analisti ve mühendislerin işlerini kolaylaştırırken, aynı zamanda veri tabanlarının performansını artırır. Veri dönüşüm işlemlerini dwh içinde gerçekleştirerek, işlemleri hızlandırır ve daha verimli hale getirir. Ayrıca, dbt’nin sağladığı programlama unsurları ve paket yöneticisi ile SQL’i bir araya getirerek, veri tabanları için üst düzey bir programlama ortamı oluşturur.</p><p>Örnek bir yapı:</p><p>dbt Projesi Yapısı</p><p>dbt projesi, veri analitiği süreçlerini düzenlemek ve yönetmek için önemli bir yapı sağlar. Bu yapı, genellikle belirli bir düzen içinde organize edilir ve farklı dosya ve klasörlerin rollerini içerir. Aşağıda, tipik bir dbt projesinin yapısı ve bileşenleri hakkında daha detaylı bir açıklama bulunmaktadır:</p><ol><li>dbt_project.yml: Bu dosya, dbt projesinin temel yapılandırma ayarlarını içerir. Proje adı, veri ambarı bağlantı bilgileri ve diğer önemli yapılandırma ayarları bu dosyada belirtilir.</li><li>models/ (Modeller): Bu klasör, dbt projesinin ana işlem alanını oluşturur. Modeller, genellikle .sql uzantılı dosyalarda saklanır ve veri setlerini işlemek için SQL sorgularını içerir. Örneğin, müşteri boyut tablosunu oluşturan bir modelin SQL kodu bu klasörde bulunabilir.</li></ol><pre>my_dbt_project/<br>├── dbt_project.yml<br>├── models/<br>│   ├── customer_dim.sql<br>│   ├── sales_fact.sql<br>│   └── schema.yml<br>├── macros/<br>├── analysis/<br>├── seeds/<br>├── snapshots/<br>└── test/</pre><p><strong>customer_dim.sql</strong></p><pre>-- Müşteri boyut tablosu modeli<br>{{ config(materialized=&#39;table&#39;) }}<br><br>-- Müşteri boyut tablosunu oluşturma sorgusu<br>SELECT<br>    customer_id,<br>    first_name,<br>    last_name,<br>    email,<br>    phone,<br>    address,<br>    city,<br>    state,<br>    country<br>FROM<br>    {{ ref(&#39;source_customer_table&#39;) }}</pre><p><strong>sales_fact.sql</strong></p><pre>-- Satış faktör tablosu modeli<br>{{ config(materialized=&#39;table&#39;) }}<br><br>-- Satış faktör tablosunu oluşturma sorgusu<br>SELECT<br>    sale_id,<br>    customer_id,<br>    product_id,<br>    sale_date,<br>    sale_amount<br>FROM<br>    {{ ref(&#39;source_sales_table&#39;) }}</pre><p><strong>schema.yml</strong></p><pre>version: 2<br><br>models:<br>  - name: customer_dim<br>    description: Müşteri boyut tablosu<br>    columns:<br>      - name: customer_id<br>        description: Müşteri kimlik numarası<br>        tests:<br>          - unique<br>          - not_null<br>      - name: first_name<br>        description: Müşterinin adı<br>        tests:<br>          - not_null<br>      - name: last_name<br>        description: Müşterinin soyadı<br>        tests:<br>          - not_null<br>      - name: email<br>        description: Müşterinin e-posta adresi<br>        tests:<br>          - not_null<br>          - email_format<br>      - name: phone<br>        description: Müşterinin telefon numarası<br>        tests:<br>          - phone_number_format<br>      - name: address<br>        description: Müşterinin adresi<br>        tests:<br>          - not_null<br>      - name: city<br>        description: Müşterinin şehri<br>        tests:<br>          - not_null<br>      - name: state<br>        description: Müşterinin eyaleti<br>        tests:<br>          - not_null<br>      - name: country<br>        description: Müşterinin ülkesi<br>        tests:<br>          - not_null<br><br>  - name: sales_fact<br>    description: Satış faktör tablosu<br>    columns:<br>      - name: sale_id<br>        description: Satış kimlik numarası<br>        tests:<br>          - unique<br>          - not_null<br>      - name: customer_id<br>        description: Müşteri kimlik numarası<br>        tests:<br>          - not_null<br>      - name: product_id<br>        description: Ürün kimlik numarası<br>        tests:<br>          - not_null<br>      - name: sale_date<br>        description: Satış tarihi<br>        tests:<br>          - not_null<br>          - date_format<br>      - name: sale_amount<br>        description: Satış tutarı<br>        tests:<br>          - not_null<br>          - numeric_format</pre><p><strong>Sonuç</strong></p><p>dbt, veri analitiği süreçlerini modernleştiren ve veri ekiplerine daha etkili bir çalışma ortamı sunan önemli bir araçtır. Veri analistlerine ve mühendislerine, veri setlerini hazırlama, işleme ve analitik sorulara cevap bulma konusunda yazılım mühendisliği pratiklerini sunarak yardımcı olur. Bu sayede, veri analitiği süreçleri daha verimli hale gelir ve işletmelerin rekabet avantajını artırır.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=1bb218a82d3a" width="1" height="1" alt=""><hr><p><a href="https://medium.com/i%CC%87stanbuldatascienceacademy/veri-analiti%C4%9Finde-modernle%C5%9Fme-dbt-veri-olu%C5%9Fturma-arac%C4%B1-1bb218a82d3a">Veri Analitiğinde Modernleşme: dbt Veri Oluşturma Aracı</a> was originally published in <a href="https://medium.com/i%CC%87stanbuldatascienceacademy">İstanbul Data Science Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Döküman Tabanlı NoSQL Teknolojilerine Genel Bakış]]></title>
            <link>https://medium.com/i%CC%87stanbuldatascienceacademy/d%C3%B6k%C3%BCman-tabanl%C4%B1-nosql-teknolojilerine-genel-bak%C4%B1%C5%9F-908881448b42?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/908881448b42</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[data-engineering]]></category>
            <category><![CDATA[nosql]]></category>
            <category><![CDATA[mongodb]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Thu, 14 Mar 2024 07:56:58 GMT</pubDate>
            <atom:updated>2024-03-14T08:16:23.339Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*x-9lp-xj0HSCG-p4v6_o0A.png" /></figure><h3>ISTDSA Bülten 50 — Doküman Tabanlı NoSQL Teknolojilerine Genel Bakış</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/390/0*umAe0y9V3NHM_BMO" /></figure><p>Merhaba ben Yusuf Gözübüyük bu yazımda sizlere NoSql yapılarında Döküman tabanlı veri tabanlarından bahsetmeye çalışıcam umarım sizin içinde keyifli bir yazı olur. <br>Hadi başlayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/0*Js9hXgssoYu4MlOY.gif" /></figure><p>Döküman tabanlı NoSQL veritabanları, belge odaklı bir veri modeli kullanarak veriyi depolayan ve işleyen veritabanı sistemleridir. Bu sistemler, geleneksel ilişkisel veritabanlarından farklı olarak esnek şema (schema) yapısına sahiptir. Esnek şema, verileri düzenlemenin ve depolamanın daha serbest olduğu bir yapıdır, yani her belge (document) kendi içinde farklı bir yapıya sahip olabilir.</p><p>Örnek vermek gerekirse klasik bir veri tabanında<strong> id,isim, yas</strong> kolonları olsun elimizdeki kolonların dışına çıkmamızın çok da bi olasılığı yok eğer kalıcı değişiklikler yapmıyorsak</p><p>Döküman tabanlı NoSql lerde ise bu durum farklılaşıyor ve yine <strong>id,isim, yas</strong> kolonları olsun elimizde fakat başka bir veri eklenirken <strong>meslek </strong>kolonu da eklenebiliyor bu da yapının esnekliğini bize gösteriyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*gSCIuHsP3PaSKXf1.png" /></figure><p><strong><em>Döküman tabanlı NoSQL sistemleri genellikle yüksek performans ve ölçeklenebilirlik sunar</em></strong>. Verilerin paralel olarak dağıtılabilmesi sayesinde büyük veri kütlelerini etkili bir şekilde yönetebilirler.</p><p>Veriler üzerinde karmaşık sorgular yapabilmek için indeksleme mekanizmalarını kullanır.<br><strong><em>Her NoSql teknolojisi kendine ait özel sorgu dilleri veya SQL benzeri sorgu dilini destekler</em></strong></p><p><strong><em>NoSQL veritabanları genellikle dağıtık mimarileri destekler</em></strong>. Bu, verinin birden fazla sunucu veya düğüm arasında dağıtılmasını ve bu düğümler arasında yükün dengelenmesini sağlar.</p><h3><strong>Döküman tabanlı NoSQL veritabanları</strong></h3><p>Burada bir çok oyuncu bizi karşılıyor ve her biri kendi alanlarında öne çıkan ürünler daha detaylı bakmak için <a href="https://db-engines.com/en/ranking/document+store"><strong><em>DB-Engines Ranking of Document Stores</em></strong></a><strong><em> </em></strong>linke tıklayabilirsiniz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*aQcS_zZseF41u4BB1LPBog.png" /></figure><p>Görsele bakınca birçok ürün bizi karşılıyor kimi open-soruce kimi lisanslı kimi her ikisi burada önemli olan amacımız ve teknoloji hakkında ki bilgimiz. <br>Bu yazımızda MongoDb ve Couchbase den bahsediyor olacağız</p><p>Döküman Tabanlı NoSql lerin Artıları Eksileri</p><h3>MongoDB Nedir ?</h3><p>MongoDB, döküman tabanlı bir NoSQL veritabanı sistemidir. Bu veritabanı, açık kaynaklı bir proje olarak geliştirilmiş olup, MongoDB Inc. tarafından desteklenmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*0HVLovbOyacYKD5X.png" /></figure><p>MongoDB isterseniz open-source da isterseniz de lisanslayarak kullanabilme imkanınız bulunuyor</p><p>MongoDB, özellikle büyük ve karmaşık veri modelleriyle çalışan uygulamalarda kullanılmak üzere tasarlanmıştır.</p><p>MongoDB, JSON benzeri BSON (Binary JSON) formatında belgeleri depolar. Her belge, alan-değer çiftlerini içerir ve bu alanlar genellikle ilgili veri özelliklerini temsil eder</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/298/0*nq39PuNAkyFiAF18.png" /></figure><p>Esnek bir şema yapısına sahiptir, yani her belge kendi içinde farklı bir yapıya sahip olabilir. Bu özellik, geliştiricilere uygulamalarını daha dinamik bir şekilde evriltme imkanı tanır.<br>Yukarıdaki görsele dikkat edecek olursak örnek olarak <strong><em>author</em></strong> kısmında başka bir veride <strong><em>age:25</em></strong> diye bir veri gelebilir</p><p>MongoDB kullanabilmek için birçok seçeneğimiz mevcut</p><h4>1-MongoDB Web sitesi üzerinden</h4><p><a href="https://www.mongodb.com/"><strong>Mongodb</strong></a><strong> </strong>web sitesine giderseniz Try to Free den ücretsiz tek nodelu bir yapı bize sunnuyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/545/1*hIxSzN428zNdZxjPgxqgjA.png" /></figure><p><strong>2-MongoDB uygulaması üzerinden</strong></p><p>Masaüstü uygulaması isterseni ze <a href="https://www.mongodb.com/try/download/atlascli#:~:text=MongoDB%20Atlas%20CLI%20Download"><strong>MongoDB</strong></a><strong> </strong>web sitesinden sisteminize uygun olanı şeçip indirebilirsiniz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/722/1*U5ZCNaR52EauD4moUw25gw.png" /></figure><h4>3-Docker üzerinden</h4><p>Buraya kadar anlattıklarımda hep bir arayüz vardı ama sadece komut satırları üzerinden giderek bir süreç ilerletmek istiyorsanız Docker dan da yararlanabilirsiniz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*T5uzbK8VVJGW1lYNCSHKWw.png" /></figure><h3><strong><em>MongoDB Terimleri</em></strong></h3><p><strong><em>MongoDB Terimleri:</em></strong></p><ul><li>Database (Veritabanı): MongoDB’de, veri koleksiyonlarını gruplamak için kullanılır.</li><li>Collection (Koleksiyon): MongoDB’de, belgelerin saklandığı veri gruplarıdır.</li><li>Document (Belge): MongoDB’de, temel veri birimidir ve JSON benzeri bir formatta bilgileri içerir.</li></ul><p><strong><em>SQL Terimleri:</em></strong></p><ul><li>Database (Veritabanı): SQL’de, veri tablolarını gruplamak için kullanılır.</li><li>Table (Tablo): SQL’de, verilerin yapılandırıldığı temel birimdir.</li><li>Row (Satır): SQL’de, bir tablodaki her bir kaydı temsil eder.</li><li>Column (Sütun): SQL’de, bir tablonun alanlarını temsil eder.</li></ul><h4>MongoDB veri sorgulama dili</h4><p>Mongodb nin kendine has bir sorgulama dili vardır yer yer karmaşıklık lar olsa da genel manada mantığı sabittir</p><p>Örnek birkaç sorgu ile anlatalım</p><pre>// Koleksiyondaki tüm belgeleri getir<br>db.users.find()</pre><pre>// Belirli bir koşula uyan belgeleri getir<br>db.users.find({ age: 25 })</pre><pre>// Büyüklük küçüklük kontrolü<br>db.users.find({ age: { $gt: 25 } })</pre><h3>Couchbase Nedir ?</h3><p>Couchbase, doküman tabanlı ve key-value tabanlı bir NoSQL veritabanı sistemidir doğuşta aslında key-value olarak çıkan bu ürün gelişerek mongoDB gibi döküman tabanlı hale de gelmiştir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/648/0*O8CfGZ54iC0gQZGJ.png" /></figure><p>Bu veritabanı, açık kaynaklı bir proje olarak geliştirilmiştir ve Couchbase Inc. tarafından desteklenmektedir. Couchbase, esnek, dağıtık ve yüksek performanslı veritabanı çözümleri sunarak özellikle büyük ve karmaşık veri modelleriyle çalışan uygulamalara odaklanmıştır.</p><p>Couchbase, JSON formatındaki belgeleri depolar ve bu belgelerin içinde alan-değer çiftleri bulunur. Her belge, ilgili veri özelliklerini temsil eden bu alanları içerir. Couchbase, esnek bir şema yapısına sahiptir, bu da her belgenin kendi içinde farklı bir yapıya sahip olabileceği anlamına gelir. Bu özellik, geliştiricilere uygulamalarını dinamik bir şekilde evriltme imkanı tanır.</p><h4>Couchbase kullanımı için birkaç seçenek mevcuttur:</h4><p>Couchbase Web Sitesi üzerinden: <a href="https://www.couchbase.com/"><strong>Couchbase</strong></a><strong> </strong>web sitesine giderek ücretsiz bir deneme hesabı oluşturabilir ve hemen kullanmaya başlayabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/695/1*04cgDSE7aILKswMNZorlVw.png" /></figure><p>Couchbase uygulaması üzerinden: <a href="https://www.couchbase.com/downloads/"><strong>Couchbase</strong></a>’in masaüstü uygulamasını indirip sisteminize uygun olanı seçerek kullanabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*sPNJpSJwpzcKxx05xpKO3Q.png" /></figure><p>Docker üzerinden: Sadece komut satırları üzerinden işlem yapmak istiyorsanız, Docker kullanarak Couchbase’i başlatabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*do-7gFhTKw8iH6PZ6joDLQ.png" /></figure><h4>Couchbase Terimleri:</h4><ul><li>Bucket (Kova): Couchbase’de, veri koleksiyonlarını gruplamak için kullanılır.</li><li>Document (Belge): Couchbase’de, JSON formatındaki bilgilerin saklandığı temel veri birimidir.</li></ul><h4>SQL Terimleri:</h4><ul><li>Database (Veritabanı): SQL’de, veri tablolarını gruplamak için kullanılır.</li><li>Table (Tablo): SQL’de, verilerin yapılandırıldığı temel birimdir.</li></ul><p>Couchbase Sorgulama Dili: Couchbase’in kendine özgü bir sorgulama dili vardır.</p><pre>-- Belirli bir buket içindeki tüm belgeleri getir<br>SELECT * FROM `myBucket`</pre><pre>-- Belirli bir koşula uyan belgeleri getir<br>SELECT * FROM `myBucket` WHERE age = 25</pre><pre>-- Büyüklük küçüklük kontrolü<br>SELECT * FROM `myBucket` WHERE age &gt; 25</pre><h3>Sonuç</h3><p>Bu yazıda, döküman tabanlı NoSQL teknolojileri, özellikle MongoDB ve Couchbase üzerinden incelemeler yaptık. Döküman tabanlı NoSQL veritabanlarının esnek şema yapısına sahip olduğu, her belgenin kendi içinde farklı bir yapıya sahip olabileceği ve genellikle yüksek performans ile ölçeklenebilirlik sunduğu gibi konularda bilgiler vermeye çalıştım</p><p>Evet yazımın sonuna geldim umarım NoSQL teknolojilerini, özellikle MongoDB ve Couchbase kavramlarından edindiğiniz bilgiler size fayda sağlar.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=908881448b42" width="1" height="1" alt=""><hr><p><a href="https://medium.com/i%CC%87stanbuldatascienceacademy/d%C3%B6k%C3%BCman-tabanl%C4%B1-nosql-teknolojilerine-genel-bak%C4%B1%C5%9F-908881448b42">Döküman Tabanlı NoSQL Teknolojilerine Genel Bakış</a> was originally published in <a href="https://medium.com/i%CC%87stanbuldatascienceacademy">İstanbul Data Science Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[BigQuery’de Partition ve Clustring Kavramları]]></title>
            <link>https://medium.com/@yusufgzbyk/bigqueryde-partition-ve-clustring-kavramlar%C4%B1-19d4e3d621b7?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/19d4e3d621b7</guid>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[data-warehouse]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Wed, 28 Feb 2024 08:57:41 GMT</pubDate>
            <atom:updated>2024-03-01T12:02:58.862Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhabalar ben Yusuf Gözübüyük bu yazımda sizlere Google BigQuery de Partition ve Clustring gibi kavramlardan bahsedip nasıl oluşturabiliriz bizlere ne gibi avantajlar sunuyor sorularına bakacağız umarım sizler içinde faydalı bir yazı olur</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/699/1*EKyRSpUm6D2MONMSNfSiBw.png" /></figure><h3>Giriş</h3><p>Partition ve Clustring kavramlarına değinmeden önce BigQuery bildiğiniz gibi Column-Oriented bir yapısı olduğunu hatırlamamız gerekiyor.</p><p>Yapacağımız analitik sorgularda gereksiz kolon yazılması aslında hem sorgunun uzun sürmesine hemde maliyete sebep olacaktır bundan dolayı BigQueryde Partition ve Clustring dediğimiz kavramlar karşımıza çıkmaktadır.</p><p>Bu kavramlar sorgularımızın hem hızını arttırır hem de daha az maliyetli olur.</p><p>Kulağa güzel geliyor değil mi ?<br>Hadi gelin bu süreçlerin nasıl olduğuna bakalım.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/316/0*nWeQ_Kxpp2xwQXH8" /></figure><h3>Partition Nedir ?</h3><p><strong>Partition</strong>, kısaca, büyük bir veri tablosunu yönetilebilir ve sorgulanabilir daha küçük alt bölümlere ayırma işlemidir. Bu işlem tablonuzu mantıksal olarak parçalara bölerek sorgulamaların yalnızca belirli bir bölümünü işlemesi sağlar. Bu, sorgu performansını artırabilir, çünkü yalnızca ilgili bölümleri işlemek daha hızlıdır.</p><p><strong>Partition’ın Avantajları:</strong></p><ul><li><strong>Sorgu performansı:</strong> BigQuery, sorgunuzda filtre olarak kullandığınız partition kolonu değerlerine göre sadece ilgili partitionları tarar. Bu da özellikle büyük verilerle çalışırken sorguların daha hızlı çalışmasını sağlar.</li><li><strong>Maliyet optimizasyonu:</strong> Sadece ihtiyacınız olan verileri tarayarak gereksiz veri okuma maliyetinden kaçınırsınız.</li><li><strong>Veri yönetimi:</strong> Büyük bir tabloyu yönetmek zor olabileceğinden, partitionlar daha küçük ve anlaşılması daha kolay birimler oluşturur.</li></ul><h3><strong>Clustring Nedir ?</strong></h3><p>BigQuery’de kümeleme, büyük veri kümelerini benzer özelliklere sahip alt gruplara veya kümelere ayırma işlemidir.</p><p>Clustring aslında partitiondan sonra kullanılması gereken bir özelliktir ve bi nevi birbirini tamamlayan bir ikilidirler</p><p><strong>Clustring Avantajları:</strong></p><ol><li><strong>Sorgu Performansı:</strong> Clustering, belirli bir sütuna göre veriyi fiziksel olarak düzenler. Bu sayede, bu sütuna dayalı yapılan sorgular daha hızlı çalışabilir. Özellikle bu sütuna dayalı filtreleme veya sıralama yapan sorgularda performans artışı sağlar.</li><li><strong>Veri Saklama Maliyeti:</strong> Clustering, veriyi sık sık bir arada kullanılan sütuna göre düzenlediği için veri sıkıştırma ve depolama maliyetlerinde azalmaya yardımcı olabilir.</li></ol><h3>Partition Ayarlanması</h3><p>Aşağıdaki şekilde sıfırdan bir tablo oluşturmak istiyorsak en basit ayarlama örneği aşağıdaki gibidir</p><pre>-- Tabloyu oluştururken kolonları, türleri ve isimleri belirterek<br>-- partition ayarlanması <br>CREATE TABLE `proje.dataset.tablo1`<br>(<br>  id INT64,<br>  ad STRING,<br>  soyad STRING,<br>  tarih TIMESTAMP,<br>  miktar FLOAT64<br>)<br>PARTITION BY DATE(tarih)<br>OPTIONS (<br>  description=&quot;Tarih tabanlı partitioning uygulanan örnek tablo&quot;<br>);</pre><pre>-- Tabloyu doldurmak için örnek veri ekleme<br>INSERT INTO `proje.dataset.tablo1`<br>VALUES<br>  (1, &#39;Ahmet&#39;, &#39;Yılmaz&#39;, TIMESTAMP &#39;2024-01-15 12:30:00&#39;, 100.50),<br>  (2, &#39;Ayşe&#39;, &#39;Demir&#39;, TIMESTAMP &#39;2024-02-20 08:45:00&#39;, 75.20);</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/697/1*VTU4lRfeotniTJeG99CoDQ.png" /></figure><p>Eğer var olan bir tablodan yeni bir partition ayarlamasının olduğu bir tabloya geçmek istenirse de aşağıdaki gibi yapılır</p><pre>-- Varolan bir tabloyu referans alarak yeni bir tablo oluşturma<br>CREATE TABLE `proje.dataset.tablo2`<br>PARTITION BY DATE(tarih)<br>OPTIONS (<br>  description=&quot;Tarih tabanlı partitioning uygulanan örnek tablo&quot;<br>) AS<br>SELECT<br>  id,<br>  ad,<br>  soyad,<br>  tarih,<br>  miktar<br>FROM<br>  `proje.dataset.kaynak_tablo`;</pre><p>BigQuery de tablonun detayına baktığımızda yapılan işlemin başarılı olduğunu göreceğiz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/457/1*HsP-W8UuKWXX-3mocPuZQQ.png" /></figure><h3>Clustring Ayarlanması</h3><p>Aşağıdaki şekilde sıfırdan bir tablo oluşturmak istiyorsak en basit ayarlama örneği aşağıdaki gibidir</p><pre>-- Tabloyu oluştururken kolonları, türleri ve isimleri belirterek<br>CREATE TABLE `proje.dataset.tablo_partition_clustering`<br>(<br>  id INT64,<br>  ad STRING,<br>  soyad STRING,<br>  tarih TIMESTAMP,<br>  miktar FLOAT64<br>)<br>PARTITION BY DATE(tarih)<br>CLUSTER BY id<br>OPTIONS (<br>  description=&quot;Tarih tabanlı partitioning ve id tabanlı clustering uygulanan örnek tablo&quot;<br>);</pre><pre>-- Tabloyu doldurmak için örnek veri ekleme<br>INSERT INTO `proje.dataset.tablo_partition_clustering`<br>VALUES<br>  (1, &#39;Ahmet&#39;, &#39;Yılmaz&#39;, TIMESTAMP &#39;2024-01-15 12:30:00&#39;, 100.50),<br>  (2, &#39;Ayşe&#39;, &#39;Demir&#39;, TIMESTAMP &#39;2024-02-20 08:45:00&#39;, 75.20);</pre><p>Eğer varolan bir tablodan yeni bir partition ve clustring ayarlamasının olduğu bir tabloya geçmek istenirse de aşağıdaki gibi yapılır</p><pre>-- Varolan bir tabloyu referans alarak yeni bir tablo oluşturma<br>CREATE TABLE `proje.dataset.tablo_referans_partition_clustering`<br>PARTITION BY DATE(tarih)<br>CLUSTER BY id<br>OPTIONS (<br>  description=&quot;Tarih tabanlı partitioning ve id tabanlı clustering uygulanan örnek tablo&quot;<br>) AS<br>SELECT<br>  id,<br>  ad,<br>  soyad,<br>  tarih,<br>  miktar<br>FROM<br>  `proje.dataset.kaynak_tablo`;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/917/1*fim1UW5KMDFwnA_eTOnewg.png" /></figure><p>Tablo detaylarına bakmak istersek de aşağıdaki ayarları görebileceğiz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/546/1*rzDWmQXAkwdGnRnc_YEzew.png" /></figure><h3>Performans Değerlendirmesi</h3><p>Evet bütün kısımları öğrendik şimdi wikipedia datasetini kullanarak parttition ve clustring ayarlamasının ne kadar önemli olduğuna bakacağız</p><p>BigQuery de bir Query ekranı açalım</p><p>Çalışacağımız tablo wikipedianın 10 milyarlık bir tablosu <br>v2 isimli tabloda sadece partition ayarlaması varken v3 isimli tabloda hem partition hemde clustring ayarlaması bulunuyor</p><pre>--- Sadece partition ayarlaması bulunan tabloya sorgu<br>select wiki , sum(views) as views <br>from `fh-bigquery.wikipedia_v2.pageviews_2017` <br>where datehour &gt;= &#39;2017-01-01 00:00:00&#39; <br>and wiki IN (&#39;en&#39;,&#39;en.m&#39;)<br>and title = &#39;Kubernetes&#39;<br>group by wiki order by wiki</pre><pre>--- Partition ve Clustring ayarlaması bulunan tabloya sorgu<br>select wiki , sum(views) as views <br>from `fh-bigquery.wikipedia_v3.pageviews_2017` <br>where datehour &gt;= &#39;2017-01-01 00:00:00&#39; <br>and wiki IN (&#39;en&#39;,&#39;en.m&#39;)<br>and title = &#39;Kubernetes&#39;<br>group by wiki order by wiki</pre><p>Sorgulara bakılınca 1–1 aynılar sadece <strong><em>wikipedia_v2 – wikipedia_v3</em></strong> olarak ayrılıyorlar</p><p>Sorgularımızı çalıştıralım sırasıyla</p><p><strong>V2 </strong>tablomuzda çalıştıracağımız sorgunun boyut olarak döneceği 2.2TB olarak gözüküyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*R2yZk90hC4TupYrHfktJkQ.png" /></figure><p>EXECUTION DETAILS’a bakacak olursakda slotların ne kadar çalıştığını görebiliriz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/753/1*AADC6F8Rjxp4TYmxIa9aww.png" /></figure><p>Sıra <strong>V3</strong> tablomuzda burada görüldüğü gibi clustring ayarlaması ile beraber <strong><em>2.2TB dan 36.19GB’a düşüyor</em></strong> verimiz bu gerçekten çok iyi</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kc2YS9Tj_moX7CwyCaeHEw.png" /></figure><p>EXECUTION DETAILS’a bakacak olursakda slotların ne kadar çalıştığını görebiliriz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/736/1*fnp1uyEbQFFBbU3bF79u6w.png" /></figure><h3><strong>Sonuç</strong></h3><p>Partition ve Clustring birbirinden kıymetli yapılar ve 2 si bir arada kullanıldığında ise gerçekten müthiş performans sunuyor yaptığımız testlerde de görüldüğü üzere</p><p>Google tarafından da bu yöntemin kullanılması bize öneriliyor</p><p>Evet yazımın sonuna geldim umarım BigQuery’de partition ve clustring kavramlarından edindiğiniz bilgiler size fayda sağlar<br>Beni takip etmeyi ve beğenmeyi unutmayalım iyi günler</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=19d4e3d621b7" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[BigQuery Temelleri ve Bileşenler]]></title>
            <link>https://medium.com/@yusufgzbyk/bigquery-temelleri-ve-bile%C5%9Fenler-dce58b790443?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/dce58b790443</guid>
            <category><![CDATA[bigquery]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[big-data]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Tue, 13 Feb 2024 06:04:49 GMT</pubDate>
            <atom:updated>2024-02-13T06:04:49.699Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhabalar ben Yusuf Gözübüyük bu yazımda sizlere Google BigQuery’nin ne olduğuna ve bazı temel bileşenlerine bakacağız umarım sizler içinde faydalı bir yazı olur</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*l-bNNKyGN5cR6Dvm.png" /></figure><h3><strong>BigQuery Nedir ?</strong></h3><p>BigQuery Google tarafından geliştirilen bir Data Warehouse ürünüdür. Data Warehouse kavramının ne olduğunu bilmeyenler için kısaca özetlemek gerekirse:<em><br>Farklı kaynaklardan gelen ve boyut olarak klasik veri tabanlarında tutulamayan verilerin depolanmasını ve bu verilerin analiz edilmesine olanak sağlayan sistemlere Data Warehouse diyoruz<br></em>BigQuery büyük veri setleri üzerinde SQL sorguları kullanarak anlık analizler yapmanıza olanak tanıyan ve Google Cloud’un diğer araçları ile entegrasyonu, kullanıcı dostu arayüzü, ölçeklenebilirliği ve fully managed yapısı ile büyük veri projeleri için ideal bir Data Warehouse dır.</p><h3>Ölçeklenebilirlik Nasıl Oluyor ?</h3><p>BigQuery, ihtiyaca göre otomatik olarak ölçeklenir. Yani, kullanıcıların ihtiyaçlarına bağlı olarak sistem otomatik olarak daha fazla kaynak tahsis edebilir. Bu, anlık taleplere yanıt verme ve performansı koruma açısından önemlidir.</p><p>BigQuery’nin ölçeklenebilir mimarisinde önemli bir rol oynayan oyuncumuza <strong><em>SLOT </em></strong>diyoruz.<br>Bir sorgunun hızlı bir şekilde çalıştırılabilmesi için paralel işleme tabanlı altyapıda sorgular birden çok işlem birimine bölünür ve her bir parçayı ayrı slot’lar üzerinde çalıştırır. Bu sayede büyük veri setleri üzerinde etkili bir şekilde sorgular gerçekleştirilebilir.<br>Tabi burada sorgunun kaç slota ihtiyaç duduğu gibi konular bizi değil bigquery’i ilgilendiriyor kendisi otomatik hesaplıyor</p><h3>Fully Managed Nasıl Oluyor ?</h3><p>Belki de Cloud’un hayatımıza girmesinin en güzel yanlarından biri de Fully Managed bir yapının bize sunulması bu terim tabiki sadece BigQuery için değil birçok cloud sağlayıcısının ürünlerinde gözlemleyebiliyoruz.<br>Gelelim Fully Managed kavramına bu kavram aslında kullanıcıların altyapı yönetimiyle ilgili endişeleri minimumda tutarak veri analitiği ve sorgulama işlemleri gerçekleştirmelerine odaklanmalarını sağlayan bir hizmettir</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/0*ITFsOsh4qkrW8HwE.gif" /></figure><h3>Temel BigQuery Kavramları</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*AS4XEWWqM0fRxkkplfB_Tw.png" /></figure><p><strong>Project: </strong>Aslında bu kavram bütün bir cloud organizasyonu kapsar ama bigquey içinde geçerlidir. BigQuery kullanımınızı organize etmek ve kaynakları izlemek için kullanılan temel birimdir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/367/1*ds1leEJKx9O8mX7Z_tu5QQ.png" /></figure><p><strong>Dataset</strong>: Datasetler verilerinizi düzenli bir şekilde gruplamak için kullanılır. Bir projede birden çok dataset olabilir ve her dataset içinde tablolar bulunur. Postgrsql, Oracle gibi ürünlerle kıyaslayacak olursak <strong><em>veri tabanı</em></strong> diyebiliriz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/351/1*jWy1-0mV-5Y406KkS1X-dw.png" /></figure><p><strong>Table:</strong> BigQuery’de verilerin depolandığı temel birimdir. Veri setleri içinde bulunur ve sorgulanabilir. Tablolar, yapısal şemaları, veri tiplerini ve indeksleri içerir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SJhxf0DqvgfPGWxUzaj2xw.png" /></figure><p><strong>Column-Oriented:</strong> BigQuery’nin Column-Oriented yapısı veriyi sütunlar halinde depolar ve işler. Bu, belirli sütunlara yönelik sorgulamaların ve analiz işlemlerinin daha etkili bir şekilde gerçekleştirilebilmesini sağlar.<br>Klasik veri tabanlarında ise row-oriented bir yapı söz konusudur.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*OpunS0t8RHC8X8AM" /></figure><p><strong>SQL Query:</strong> BigQuery, SQL benzeri bir sorgu dilini kullanır. SQL sorguları, veri setlerini sorgulamak, analiz etmek ve işlemek için kullanılır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*zcTs2RIL_LpOzi3zdpL9CA.png" /></figure><p><strong>Slot</strong>: Yazının üstünde belirttim ama tekrar edecek olursak BigQuery’de sorguların çalıştırılması için ayrılan kaynak birimleridir. Slotlar, paralel sorgulama yeteneği sağlar ve kullanıcıların belirli bir dönemde çalıştırabilecekleri sorgu sayısını belirler.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*36sHrkNa50j4SXHUvboypw.png" /></figure><h3><strong>BigQuery Veri Ekleme Süreci</strong></h3><p>Bir Data Warehouse olduğu için farklı türde farklı kaynaklardan veri alabilen BigQuery bize bu süreçte birçok veri formatından kendi içine veri ekletebilme imkanı sunuyor.</p><p>Veri kaynağı olarak AWS S3, Azure Blob Storege gibi kaynaklar varken Upload la yükleme Drive dan yada Google Cloud Storage dan veri alma seçenekleri sunuyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/220/1*n9s1gdVLfZwzoCYbSBpT1A.png" /></figure><blockquote>Veri formatları olarak’da aşağıdaki gibi listelenebilir:<br>- CSV<br>- Newline_Delimited_JSON<br>- AVRO<br>- Datastore_backup<br>- Parquet<br>- ORC</blockquote><p>Tabi bunların dışında sıkıştırılmış dosyalar da yükleyebilirsiniz ama süre olarak uzun sürer</p><p>Bu formatlarda yüklerken Parquet, Avro gibi kendi içinde schema sı olan yapılarda BigQuery herhangi bir ekstra ayar yapmadan veriyi kolon adı ve türünü belirler<br>CSV veya Json türündekilerde de belirler ama sonradan müdahale edebiliyoruz</p><h3>BigQuery de Sorgular ve Maliyet</h3><p>BigQuery, kullanımına göre fiyatlandırılan bir bulut tabanlı veritabanı ve analiz hizmetidir.<br>BigQuery’de sorguların maliyeti, sorgunun karmaşıklığına, işlem hacmine ve kullanılan kaynaklara bağlıdır yani sorguların karmaşıklığı( Join, Aggregations, SubQuery …) ve kullanılan kaynaklara bağlı olarak değişir.</p><p>Depolama maliyeti ise BigQuery’de saklanan veri miktarına dayanır.</p><p>Slot kullanımı, sorgunun işleme alınması için ayrılan kaynak sayısını belirler. Karmaşık sorgular, daha fazla slot kullanabilir ve dolayısıyla daha fazla kaynak tüketebilir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*atCF0OiGkUQH41gEnx4kjQ.png" /></figure><p>Yukardaki resimde 1.83 MB lık bir veriye sql sorgusu attacağım ardından aynı sorguyu tekrar çalıştıracağım <br>İlk çalıştırdığımda EXECUTION DETAILS kısmına geliyorum ve göründüğü gibi ne kadar sürede çalıştığı gibi birçok detay görünüyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SMjLbqSBOQ7TIJpS3vN8HQ.png" /></figure><p>Aynı sorguruyu tekar çalıştırdığım zaman ise göründüğü gibi herhangi bir süre yada boyut gelmedi bu da bigquerynin sorgulara yaptığı caching mekanizmasının bize geirdiği hız ve maliyet avatajıdır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*4BaQ52dhwOld-Q0KY8OjYA.png" /></figure><p>Caching in yapısının hem süresi var hem de eğer sorgu attığınız tablo/tablolarda herhangi bir değişiklik yoksa çalışır eğer değişiklik varsa yeniden sorguyu çalıştırır ve maliyet yazar</p><h3><strong>BigQuery ile Machine Learning</strong></h3><p>ML süreçleri sql üzerinden yapıldığı bilinen bir gerçek ama BigQuery gibi bir Data Warehouse içinde olması tabi ki veriyi bir yere çıkartmadan yapmamıza olanak tanıyor</p><p>Akıllara şu soru gelebilir python da yaptığım makine öğrenmesi algoritmaları burada farklı mı diye cevap olarak <strong>HAYIR </strong>diyebiliriz çünkü bu algoritmaların temelinde matematik yatıyor yani Lineer Regrasyon her yerde aynı bundan dolayı da bir problem olmayacaktır.</p><p>BigQuery ML yapısı başta Uber olmak üzere büyük şirketlerde yaygın bir şekilde ve başarılı bir kullanım durumu karşımıza çıkıyor tabi ki elde ettiğimiz modellerin çıktılarını alabiliyoruz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RjffaFK8itmtWyDxrk42uw.png" /></figure><h3>BigQuery’de Güvenlik</h3><p>Row-Level Security (RLS), BigQuery’de bulunan bir güvenlik özelliğidir. Bu özellik, kullanıcıların veya grupların belirli veri satırlarını sorgulama veya görüntüleme yetkilerini kontrol etmelerini sağlar. Böylece, <em>farklı kullanıcılar veya gruplar</em>, aynı tabloyu sorguladıklarında <em>farklı sonuçlar alabilirler</em>.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/0*x6EL1QPUtDI8LmJ3.jpg" /></figure><h3><strong>BigQuery’de Real-Time bir veriyle çalışılır mı ?</strong></h3><p>Cevabımız <strong><em>EVET, </em></strong>BigQuery bu konuda çok iyi bir Data Warehouse ürünüdür, hem kendi ürünlerinden gerçek zamanlı veri alabileceği gibi api servisleri sayesinde dışardan da veri alabilir tabi akıllara gelen bi soruya cevap vermek gerekirse <strong><em>bir Data Warehouse da neden real time a ihtiyaç var </em></strong>diye kısaca cevap vermek gerekirse:<br><strong><em>Real-time maliyetli bir iştir BigQuery bu konuda oldukça performanslı fakat ihtiyaç noktasına gelecek olursak eğer elimizdeki veriden karar almamız gerekiyorsa ve bu kararı da bir gün sonra değilde anlık yapmamız gerekiyorsa veriyi real-time okuyup ardından analitik işlemlerimizi yapmalıyız</em></strong><br>Yani buda görüldüğü gibi <em>tamamen kazanç meselesi</em> hangi durumda elde edeceğim kazanç fazla ise o durumu tercih ediyorum</p><p>BigQuery e direkt Dataflow dan, Pub/Sub dan DataProc, DataPrep vs bu gibi Google Cloud’un kendi ürünlerinden hızlı ve uğraşmaksızın veriyi gerçek zamanlı aktarabilirsiniz bu konuda otomatik bağlantı yapıları var<br>Ama dışardan bir ürünle veriyi atmak istiyorsanız bu sefer Service Account kısmından kendinize bir yetkilendirme key’i almalısınız bu .json uzantılı bir doya olarak size verilecektir</p><p>Evet yazımın sonuna geldim umarım BigQuery konusunda edindiğiniz bilgiler size fayda sağlar<br>Beni takip etmeyi ve beğenmeyi unutmayalım iyi günler</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dce58b790443" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Cassandra Kurulumu Sorgular ve Python ,PySpark ile Kullanımı]]></title>
            <link>https://medium.com/@yusufgzbyk/apache-cassandra-kurulumu-sorgular-ve-python-pyspark-ile-kullan%C4%B1m%C4%B1-55bd7e30b98b?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/55bd7e30b98b</guid>
            <category><![CDATA[apache]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Fri, 26 May 2023 08:18:46 GMT</pubDate>
            <atom:updated>2023-05-29T19:45:39.074Z</atom:updated>
            <content:encoded><![CDATA[<h3>Apache Cassandra Kurulumu Sorgular</h3><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*-nKGJcYK0raq6L1sYo1ybg.png" /></figure><h3><strong>Docker ile kurulum</strong></h3><pre>docker pull cassandra <br><br>docker run -d --name cassandra-docker -p 9842:9842 cassandra <br><br>docker exec -it cassandra-docker bash</pre><p>KeySpace Nedir ?<br>Veritabanlarındaki şemalara karşılık geliyor tabiki daha dinamik bir yapıya sahip</p><p>Docker üzerinden Keyspace oluşturmak</p><pre>#Container a bağlanıyoruz<br>docker exec -it cassandra-docker bash<br><br># container içinde aşağıdaki komutu yazıp enter a tıklayın<br>cqlsh</pre><pre>CREATE  KEYSPACE cassandra_tutorial WITH replication = { &#39;class&#39; : &#39;SimpleStrategy&#39; , &#39;replication_factor&#39; : &#39;1&#39; };</pre><p>Keyspace ye geçiş yapalım konsoldan</p><pre>USE cassandra_tutorial;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/886/1*JRLswfh_RkFXPN0BP5AJ0g.png" /></figure><p>Evet Keyspace’i oluşturduğumuza göre şimdi tablomuzu oluşturalım</p><pre> CREATE TABLE deneme_tablo ( <br>        id int  PRIMARY KEY, <br>        name text, <br>        address text <br>    );</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/416/1*FTYBkkvwJv7aSZnMNTE4uQ.png" /></figure><p>Tablomuzu oluşturduğumuza göre birkeç veri ekleyelim</p><pre>INSERT INTO deneme_tablo (id,name, address) VALUES(1,&#39;yusuf&#39;, &#39;adres deneme1&#39;);</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/582/1*-GX2Aa0eoT3WRLBq4vcf5A.png" /><figcaption>Örnekteki gibi 3 tane ekledim</figcaption></figure><p>3 farklı veri yükledik şimidi Select sorguları atalım</p><pre>Select * from deneme_tablo ;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/404/1*E3fgnTrNj-igLoGvRWotYw.png" /></figure><pre>Select name as isim from deneme_tablo;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/466/1*CUT-7oof0dL7dVG2ni1x9Q.png" /></figure><pre>Select * from deneme_tablo where id=2;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/468/1*MNHVB_jIoqih8AcldFrbYw.png" /></figure><pre>Select count(*) from deneme_tablo;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/449/1*GTXaNeBzwbGZYEmu1MiyQA.png" /></figure><p>Şimdi de Update ve Delete işlemlerine bakalım</p><pre>UPDATE deneme_tablo SET address=&#39;adres güncellendi&#39; WHERE id=2;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/658/1*4wphVzybJSmJNsoN-x51jQ.png" /></figure><pre>DELETE FROM deneme_tablo WHERE id=2;</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/456/1*1EGyFRuKSd63YE9fMi8EMQ.png" /></figure><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=55bd7e30b98b" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Cassandra yı DBeaver’a Bağlama]]></title>
            <link>https://medium.com/@yusufgzbyk/apache-cassandra-y%C4%B1-dbeavera-ba%C4%9Flama-b14484143ae4?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/b14484143ae4</guid>
            <category><![CDATA[cassandra]]></category>
            <category><![CDATA[nosql]]></category>
            <category><![CDATA[apache-cassandra]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Fri, 24 Feb 2023 09:07:46 GMT</pubDate>
            <atom:updated>2023-02-24T09:07:46.927Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhabalar ben Yusuf Gözübüyük bugün size kısaca apache cassandra’yı dbeaver a nasıl bağlanacağını anlatacağım.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/420/0*KS0At0VZ_fGbOUy9.png" /></figure><p>Öncelikle neden böyle bir işlem yaptığımızdan bahsedeyim<br>Cassandra yı kurduktan sonra herhangi bir arayüz malesef bulunmuyor tabi consoldan bütün işlemlerimizi yapabiliyoruz ama verileri de tablo halinde görsek fena olmaz</p><p>Bunu Cassandra da yapmamızın sebebi wide column store tabanlı bir NoSql olması</p><h3>DBeaver nedir ?</h3><p>DBeaver bize varolan bir veritabanına bağlanmamıza olanak sağlayan basit bir tool dur <br>Cloud ortamında tuttuğunuz bir MySql veri tabanındaki verileri görmek için bilgisayarınıza DBeaver’ı kurduğunuzda sadece port, ip, admin, şifre gibi girdileri girerek veri tabanınıza kolaylıkla bağlanabilirsiniz<br>DBeaver’ın cominity sürmününde NoSQL desteklenmiyor bundan dolayı biz ufak ayarlamalar la bu desteği bi nebze getireceğiz</p><p>Öncelikle Cassandrayı çalıştıralım<br>Ben Docker üzerinden çalıştırıyorum</p><pre>version: &#39;3&#39;<br><br>services:<br>  cassandra:<br>    image: cassandra:latest<br>    container_name: cassandra-docker<br>    ports:<br>      - 9042:9042<br>    volumes:<br>      - C:/Users/Yusuf/Desktop/PythonPrograming/VeriTabanı/NoSql/Cassandra101/data:/var/lib/cassandra</pre><p>yukardaki docker-compose.yaml dosyasında cassandranın çalışacağı yapı mevcut<br>konsola sadece aşağıdaki komutu yazıp(konsolun bulunduğu dosya konumu docker-compose.yaml dosyasıyla aynı olması lazım) enter’a basmanız yeterli</p><pre>docker-compose up -d</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*hgd_5FLazmOy-McmxSW6kQ.png" /></figure><p>Evet cassandra ayağa kalktı</p><p>Şimdi DBeaver kısmına geçelim</p><p>Eğer kurulu değilse<br><a href="https://dbeaver.io/download/">Download | DBeaver Community</a> bu linkten kurulum yapabilirsiniz</p><p>DBeaver ın cassandra ya bağlanması için gerekli driver ı indirelim<br><a href="https://downloads.datastax.com/#odbc-jdbc-drivers">Apache Cassandra Download | DataStax Enterprise</a> bu likten aşağıdaki gibi ayarlayıp indirelim ve dosya zip içinde geliyor, zip içindeki dosyaları çıkartalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*RRoupctUSH_01uG8I6tk7w.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/345/1*JSucCEF20Peh31FlHZ9vrw.png" /></figure><p>Şimdi DBeaver’ı açalım ve üst sekmeden <strong>databese </strong>ye gelelim oradan <strong>Driver Manager</strong> e tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/601/1*eQVC2TQQ88mUDkPN_RCZYA.png" /></figure><p>Gelen ekrandan <strong>New </strong>diyelim<br>Not:Bende kurulu olduğu için arayüzde görünüyor ama siz dikkate almayın onu</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/353/1*mFaHur84sLYr2vmWg5Zl1g.png" /></figure><p>Settings kısmında ayarlamalarımız bu şekilde olacak</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*NuR72rIHe99Ul-dPSMLSYA.png" /></figure><p>Libraries kımına gelelim ve Add File tıklayıp indirdiğimiz driver klasörüne gidip cassandrajdbc42.jar dosyasını seçelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/984/1*RIHnt-DNcU8GWs-UBinFDg.png" /></figure><p>Son hali bu şekilde olacak</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/995/1*3wFvZGCDrNkERUDfqXlcAA.png" /></figure><p>Artık Ok diyip kurulumu bitirebiliriz</p><p>Bundan sonra sadece yapmamız gereken bağlantı işlemlerini yapmak</p><p>Cassandraya bağlanmak için sol üst köşede file ın altındaki bağlantı butonuna tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/573/1*O8YwmUNP38MPD3SxbUk09g.png" /></figure><p>Ve karşımıza birçok veritabanı çıkıyor aşağıda işartelediğme dikkat edin o bizim oluşturduğumuz bağlantı oraya tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*Af0WwZM1CxZF14q1EGZXGw.png" /></figure><p>Docker ile kurduğumuz için aşağıda gelen kısımda önce bir <strong>Test Connection</strong> a tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*cbCDQ3kNz-YzpZj4B08U5g.png" /></figure><p>Bağlantı başarılı artık <strong>Ok </strong>diyip sağ altta ki <strong>Finishe</strong> tıklayabiliriz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*UBSMYp8I8QxfcgrIHLUgWQ.png" /></figure><p>Ve evet artık kurulum bitti ve cassandrayı başarılı bir şekilde dbeaver a bağladık</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*5uM0C3ETpgPI_G5wySOQOQ.png" /></figure><p>Burada hocam bu tablolar nerden geldi diye sorabilirsiniz o da başka bir yazının konusu olsun :)</p><p>Evet arkadaşlar bu yazımda sizlere<br>Cassandra Kurulumu,<br>Dbeaver da yeni bir bağlantı oluşturmanın yolunu ve<br>Cassandra yı Dbeaver a bağlamayı anlatmaya çalıştım umarım faydalı olmuştur</p><p>Düşünce ve yorumlarınızı merak ediyorum yorumlar kısmında belirtmenizi bekliyorum…</p><p>Benimle <a href="https://www.linkedin.com/in/yusuf-g%C3%B6z%C3%BCb%C3%BCy%C3%BCk/">linkedin </a>den bağlantı kurmayı unutmayın iyi günler</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=b14484143ae4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Airflow Temelleri]]></title>
            <link>https://medium.com/@yusufgzbyk/apache-airflow-temelleri-eec26a9bcb07?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/eec26a9bcb07</guid>
            <category><![CDATA[airflow]]></category>
            <category><![CDATA[apache]]></category>
            <category><![CDATA[docker]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Sun, 13 Nov 2022 09:38:39 GMT</pubDate>
            <atom:updated>2023-08-22T03:32:54.224Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese merhaba ben Yusuf Gözübüyük bu yazımda sizlere Apache Airflow’un ne olduğunu, kurulumunu ve temel birkaç yapısını anlatmaya çalışacağım ben de bu teknolojiye yeni yeni adapte olmaya çalışıyorum öğrendiklerimi de bu yazıda aktarmaya çalışacağım umarım faydalı olur iyi okumalar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FJsMPN5kPMI7JuqhsaP7rA.png" /></figure><p><strong>Airflow Nedir ?</strong></p><p>Airbnb tarafından geliştirilen airflow verdiğimiz işleri sırasıyla ve zamanında yapan bir Data Pipeline aracıdır</p><p><strong>Airflow Mimarisi</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*IdqXqZXcajq1oo0McqDhHw.png" /></figure><p><strong>Webserver: </strong>Monitör etmek ve debug etmek için kullanılan arayüz</p><p><strong>Scheduler: </strong>Hem zamanlanmış iş akışlarını tetikleyen hem de DAG görevlerini Airflow Worker larına ileterek yürütülmek üzere zamanlamaya başlar.</p><p><strong>Worker: </strong>Yürütülmek üzere zamanlanmış görevleri alır ve yürütür.</p><p><strong>Dag Directory:</strong> Sahip olunan bütün dagları tutan ve scheduler tarafından sık sık okunan klasör.</p><p><strong>Metedata Database:</strong> Airflow’un mevcut durumunu depolamak için kullanılan bir meta veritabanı.</p><p><strong>Airflow Kurulumu</strong></p><p>Ben airflowu docker ile kullanıyorum, o yüzden aşağıdaki adımları uygulayabilmeniz için bilgisayarınızda docker yüklü olması gerekiyor.</p><p><a href="https://github.com/yusufgzb/AirFlow-example/blob/master/docker-compose.yaml"><strong>BURADAN</strong></a><strong> </strong>docker compose dosyasını indirebilirsiniz<br>ve docker-compose.yaml dosyasının bulunduğu klasörde komut satırına aşağıdaki kodları sırasıyla yazalım</p><p>mkdir -p ./dags ./logs ./plugins</p><pre>echo -e &quot;AIRFLOW_UID=$(id -u)&quot; &gt; .env</pre><p>docker-compose up airflow-init<br>docker-compose up</p><p>Son adımda bir süre bekledikten sonra konsoldan 2 kere Airflow yazsını konsoldan görünce artık airflow çalışmış oluyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*6J5IMvZMwepBI2S_3e1V2Q.png" /></figure><p>Eğer sistemi kaparmak istiyorsanız <br>docker-compose down</p><p><a href="http://localhost:8080/">http://localhost:8080</a>/ adresinden sisteme giriş yapabilirsininiz<br>kullanıcı adı ve şifre: airflow</p><p><strong>Bu yazıda sizlere anlatacağım başlıklar<br>1) </strong>İlk Dagımızı Oluşturalım<br>2) PythonOperator Nedir ?<br>3) XComs Nedir ?<br>4) Multiple Dependencies Nedir ?<br>5) Decorators Nedir ?<br>6) Dynamic Dag Nedir ?</p><p><strong>İlk Dagımızı Oluşturalım</strong></p><p><strong>Dag Nedir ?<br></strong>DAG(Directed Acyclic Graph), ilişkilerinin ve bağımlılıklarının yansıtılacağı şekilde düzenlenmiş görevler topluluğudur. DAG modelinin avantajlarından birisi pipeline yürütmek için oldukça basit bir teknik sunmasıdır</p><p>Daglarda döngü olmaz, bir iş başlar ve biter yani başlayan biten süreci binlerce kez çalıştırabilir ama sürekli döngüsü olan işleri yapamazsınız. <br>Aşağıdaki görselde Eğer Task3 geri Task2 ye bağlanmış olsaydı sistem çalışmazdı</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/333/1*E-7n9JvICitIOvfMrx6GPQ.png" /></figure><p><strong>BashOperator</strong>: Bash comutlarını çalıştırmamızı sağlar<br><strong>dag_id</strong>: Her dag yapısı benzersiz bir id alır<br><strong>schedule:None </strong>Biz istemediğimiz zaman çalışmaz<br><strong>start_date</strong>: Dagın başlayacağı tarih<br><strong>&gt;&gt;</strong>: Bu işaret dagların çalışma sırasını gösterir</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br><br>import pendulum<br><br>with DAG(<br>    dag_id=&#39;first_dag&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;)<br>) as dag:<br><br>    task1= BashOperator(<br>        task_id=&#39;task1&#39;,<br>        bash_command=&#39;echo hello world&#39;<br>    )<br><br>    task2 = BashOperator(<br>        task_id=&#39;task2&#39;,<br>        bash_command=&#39;sleep 3&#39;<br>    )<br><br>    task1 &gt;&gt; task2 #Önce task1 sonra task2 çalışacak<br></pre><p>Dag yapısını görmek için <a href="http://localhost:8080/">http://localhost:8080</a>/ ekranına gelelim ve first_dag yazısına tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2MaDdW71tqeIb1WQcCdUWw.png" /></figure><p>Bu yapı Airflow ekranında aşağıdaki gibi bir görünüm oluşturacak</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/345/1*Xj522umiPYmbYPBBxTCIog.png" /></figure><p>Sağdaki Play tuşuna basıp triger is dag’a tıklayalım ve dagımızı çalıştıralım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/152/1*CNMfMVcJCv8AXCnYBHmlSA.png" /></figure><p>Task1 ve Task 2 yeşil yanınca yapımız çalışmış olacak</p><p>Task1 Kutucuğuna bastığınızda yeni bir ekran açılacak ve oradan <strong>Log </strong>butonuna basalım</p><p>Açılan sayfanın aşağısında gördüğünüz gibi hello world yazımız geldi</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/716/1*LS2XXyzkx9PCgOdn6rA1JQ.png" /></figure><p>PythonOperator Nedir ?<strong><br></strong>Python da yazdığımız fonksiyonları Daglarda çalıştırmak için <strong>PythonOperator </strong>sınıfını kullanıyoruz, fonksiyonumuz değer alıyorsa <strong>op_kwargs </strong>ile alacağı değerleri belirliyoruz. Eğer sizin istediğiniz bir önceki dagın ürettiği veriyi almak ise birazdan o konuya geleceğiz :)</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br>from airflow.operators.python_operator import PythonOperator<br>from datetime import datetime<br>import pendulum<br><br>def my_func():<br>    print(&#39;Hello from my_func&#39;)<br><br><br>def greet(name,age):<br>    print(f&quot;Hello world I am {name} {age}&quot;)<br><br>with DAG(<br>    dag_id=&#39;python_dag&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;)<br>    ) as dag:<br>   <br>    python_task1 = PythonOperator(<br>        task_id=&#39;python_task1&#39;,<br>        python_callable=my_func<br>        )<br>    python_task2 = PythonOperator(<br>        task_id=&#39;python_task2&#39;, <br>        python_callable=my_func<br>        )<br>    python_task3 = PythonOperator(<br>        task_id=&#39;python_task3&#39;, <br>        python_callable=greet,<br>        op_kwargs={&quot;name&quot;:&quot;Yusuf&quot;,&quot;age&quot;:24}<br>        )<br><br>    python_task1 &gt;&gt; python_task2 &gt;&gt; python_task3</pre><p>op_kwargs ile alacağı değeri key:value şeklinde girmemiz gerekiyor</p><p>Bu yapının Airflow ekranında aşağıdaki gibi bir görünüm oluşturacak</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/435/1*K5GrC13jsL1dh86YtkwX_w.png" /></figure><p>python_task3 kutucuğunda Log kısmında ise</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/244/1*K7H8PqciioNgmMC-9mnbZA.png" /></figure><p><strong>XComs Nedir?</strong><br>Python ile bir fonksiyon yazdığımızı düşünelim bu fonksiyon bir değeri return ediyor ve başka bir fonksiyonun ihtiyacı olan veri o return edilmiş değer olsun Airflow işte burada XCom ile veri iletimini sağlıyor.<br>Xcom veri iletimi için fonksiyonlara “ti(task instance)” objesini eklememiz gerekiyor, ti airflow için özel bir obejdir.</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br>from airflow.operators.python_operator import PythonOperator<br>from datetime import datetime<br>import pendulum<br><br>def get_name():<br>    return &quot;Yusuf&quot;<br><br>def greet(age,ti):#ti buraya ekleniyor<br>    name= ti.xcom_pull(task_ids=&quot;xcom_task1&quot;)<br>    print(f&quot;Hello world I am {name} {age}&quot;)<br><br>with DAG(<br>    dag_id=&#39;xcom_dag1&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;)<br>    ) as dag:<br>   <br>    xcom_task1 = PythonOperator(<br>        task_id=&#39;xcom_task1&#39;, <br>        python_callable=get_name<br>        )<br><br>    xcom_task2 = PythonOperator(<br>        task_id=&#39;xcom_task2&#39;,<br>        python_callable=greet,<br>        op_kwargs={&quot;age&quot;:24}<br>        )<br>    <br>    xcom_task1 &gt;&gt; xcom_task2</pre><p>Evet yukarıda görüldüğü gibi get_name fonksiyonu return olarak bir değer dönüyor greet ise age olarak bir değer alıyor ve name parametresi ti.xcom_pull ile task id=xcom_task1 dag dan veri alacak</p><p>Şimdi Xcomun başka bir yöntemine bakalım</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br>from airflow.operators.python_operator import PythonOperator<br>from datetime import datetime<br>import pendulum<br><br>def get_name2(ti):<br>    ti.xcom_push(key=&#39;first_name&#39;, value=&quot;Yusuf&quot;)<br>    ti.xcom_push(key=&#39;last_name&#39;, value=&quot;Gzb&quot;)<br><br>def greet2(age,ti):<br>    first_name= ti.xcom_pull(task_ids=&quot;xcom_task3&quot;,key=&quot;first_name&quot;)<br>    last_name= ti.xcom_pull(task_ids=&quot;xcom_task3&quot;,key=&quot;first_name&quot;)<br><br>    print(f&quot;Hello world I am {first_name} ,{last_name} {age}&quot;)<br><br><br>with DAG(<br>    dag_id=&#39;xcom_dag&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;)<br>    ) as dag:<br><br>    xcom_task3 = PythonOperator(<br>        task_id=&#39;xcom_task3&#39;, <br>        python_callable=get_name2<br>        )<br><br>    xcom_task4 = PythonOperator(<br>        task_id=&#39;xcom_task4&#39;,<br>        python_callable=greet2,<br>        op_kwargs={&quot;age&quot;:24}<br>        )<br><br><br>    xcom_task3 &gt;&gt; xcom_task4</pre><p>Bu yapıda ise greet2 fonksiyonu task id si xcom_task3 olan dag dan veriyi alacak</p><p>Bu sefer xcom_task3 tıklayıp Log yerine aynı ekranda XCom butonuna tıklayalım aşağıdaki gibi gönderilen veriyi görebiliriz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/821/1*6Qm0fasIFas-GbpA5gpafg.png" /></figure><p><strong>Multiple Dependencies Nedir ?</strong></p><p>Şimdiye kadar hep sadece tek sıra halinde birbirine bağlı bir yapı gördük ama örnek olarak 2 farklı dosya okuyup içeriklerini mail atmak gibi düşünebiliriz bu örnekte 2 farklı kutucuk 1 kutucuğa veri gönderecek şeklinde gözümüzde canlana bilir hadi kodlamasını yapıp airflow görseline bakalım</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br><br>import pendulum<br><br>with DAG(<br>    dag_id=&#39;multiple_dependencies&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,12, tz=&quot;UTC&quot;)<br>) as dag:<br><br>    task1 = BashOperator(<br>        task_id=&#39;task1&#39;,<br>        bash_command=&#39;sleep 5&#39;<br>    )<br><br>    task2 = BashOperator(<br>        task_id=&#39;task2&#39;,<br>        bash_command=&#39;sleep 5&#39;<br>    )<br><br>    task3 = BashOperator(<br>        task_id=&#39;task3&#39;,<br>        bash_command=&#39;sleep 5&#39;<br>    )<br><br>    task4 = BashOperator(<br>        task_id=&#39;task4&#39;,<br>        bash_command=&#39;sleep 5&#39;<br>    )<br><br>    task5 = BashOperator(<br>        task_id=&#39;task5&#39;,<br>        bash_command=&#39;sleep 5&#39;<br>    )<br><br>    task1 &gt;&gt; task2<br>    task3 &gt;&gt; task4<br>    [task2, task4] &gt;&gt; task5<br><br></pre><p>Evet şimdi yapıya bakalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/407/1*cgXsLSHEicChJs5JKY3v3A.png" /></figure><p><strong>Decorators Nedir ?<br></strong>Bu yapıda ise decorator yardımı ile dag oluşturacağız, decorator python dan aşina olduğumuz bir yapı ve aynı şekilde airflow için de kullanabiliyoruz</p><pre>from datetime import datetime,timedelta<br>from airflow.decorators import dag, task<br><br>import pendulum<br><br>@dag(dag_id=&#39;task_dag&#39;,<br>    schedule=None,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;)<br>    )<br>def hello_world_etl():<br>    @task(multiple_outputs=True)<br>    def get_name():<br>        return {<br>            &quot;first_name&quot;:&quot;Yusuf&quot;,<br>            &quot;last_name&quot;:&quot;Gzb&quot;<br>        }<br>    @task()<br>    def get_age():<br>        return 24<br><br>    @task()<br>    def greet(first_name,last_name,age):<br>        print(f&quot;Hello world I am {first_name} {last_name} {age}&quot;)    <br>    <br>    name_dict = get_name()<br>    age = get_age()<br>    greet(first_name=name_dict[&quot;first_name&quot;],last_name=name_dict[&quot;last_name&quot;], age=age) <br>greet_dag=hello_world_etl()</pre><p>Bu yapıda greet fonksiyonu get_name ve get_age fonksiyonlarından gelen veriyi alıyor <br>Oluşan yapı ise aşağıdaki gibi</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/285/1*dKcbMPd4l68cnhzsuY46Ow.png" /></figure><p><strong>Dynamic Dag Nedir ?</strong></p><p>Bazen yapılacak iş yükün kesin olarak bilinmez yani bazen 1 dosya bazen ise 100 dosya airflow tarafından kontrol edildiği bir yapımızolabilir böyle bir durumda ise yapmamız gereken Yaptığımız dag yapılarını dinamik hale getirmek iş yüküne göre kendisi otomatik bir şekilde artması ve azalmasını sağlamak</p><pre>from airflow import DAG<br>from airflow.operators.bash import BashOperator<br>from datetime import datetime<br>import pendulum<br><br><br>with DAG(<br>    dag_id=&#39;dynamic_dag&#39;,<br>    start_date=pendulum.datetime(2022,11,11, tz=&quot;UTC&quot;),<br>    schedule_interval=&quot;0 3 * * Tue,Sat&quot;<br>) as dag:<br>    files = [&quot;a&quot;,&quot;b&quot;,&quot;c&quot;]<br>    for file in files:<br><br>        extract = BashOperator(<br>            task_id=f&#39;extract_{file}&#39;,<br>            bash_command=&#39;echo helloworld&#39;<br>        )<br><br>        transform = BashOperator(<br>            task_id=f&#39;transform_{file}&#39;,<br>            bash_command=&#39;echo helloworld1&#39;<br>        )<br><br>        load = BashOperator(<br>            task_id=f&#39;load_{file}&#39;,<br>            bash_command=&#39;echo helloworld3&#39;<br>        )<br><br>        extract &gt;&gt; transform &gt;&gt; load<br></pre><p>Files listemizde 3 tane değer var ama biz bir tane dag yapısı oluşturduk, airflow burada döngü yardımıyla işlerimizi kolaylaştırıyor</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/377/1*jx_QrSGiQsCWg_KTzh2mUA.png" /></figure><p>Şimdi files listesine birkaç tane daha veri ekleyelim</p><pre>files = [&quot;a&quot;, &quot;b&quot;, &quot;c&quot;, &quot;d&quot;, &quot;e&quot;]</pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/1*b80cAEfwJWmWXaKs-Nx1dA.png" /></figure><p>Dagı tekrar çalıştırmadığım için yeşil değil ama dinamik dag nasıl üretildiğini gördük</p><p>Evet arkadaşlar bu yazımda sizlere <br>Airflow nedir,<br>Docker ile Airflow kurulumu,<br>Basit bir dag oluşturma, <br>Python fonksiyonlarını dag ile kullanma, <br>Xcom ile daglar arasında veri transferi, <br>Multiple Dependencies ile çoklu yapıları bağlanma yöntemine,<br>Decorators ile dag oluşturma ve Dinamik dag oluşturma konu başlıklarını anlatmaya çalıştım umarım sizler için faydalı bir yazı olmuştur.</p><p>Düşünce ve yorumlarınızı merak ediyorum yorumlar kısmında belirtmenizi bekliyorum..</p><p>Benimle <a href="https://www.linkedin.com/in/yusuf-g%C3%B6z%C3%BCb%C3%BCy%C3%BCk-29052a170/">linkedin</a> den bağlantı kurmayı unutmayın iyi günler</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eec26a9bcb07" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Nifi ile Apache Kafkaya Veri Alışverişi ve MongoDb ye Kayıt]]></title>
            <link>https://medium.com/i%CC%87stanbuldatascienceacademy/apache-nifi-ile-apache-kafkaya-veri-al%C4%B1%C5%9Fveri%C5%9Fi-ve-mongodb-ye-kay%C4%B1t-eaa1c0908bf6?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/eaa1c0908bf6</guid>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[mongodb]]></category>
            <category><![CDATA[apache-nifi]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Fri, 23 Sep 2022 10:06:42 GMT</pubDate>
            <atom:updated>2022-09-23T10:06:42.200Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese merhaba ben Yusuf Gözübüyük bu yazımda sizlere Google Cloud Platfomda(GCP) Apache kafka kurup Nifi ile veri alıp vermenin nasıl işlediğini ve Nifi ile veriyi ETL sürecine sokup elde ettiğimiz veriyi de MongoDb ye nasıl kayıt edeceğimizi göstermeye çalışacağım, keyifli okumalar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*QaUqBrEeBb0JaYyvqPIC0g.jpeg" /></figure><p>Öncellikle Nifi’yi nasıl kuracağınızı ve gerekli ayarlamaların nasıl olacağını bilmiyorsanız mediumda ki bu <a href="https://medium.com/@yusufgzbyk/google-cloud-platforma-apache-nifi-kurulumu-789e3a777670">linkten</a> gidip bakabilirsiniz<br>Yada Nifi ile uygulamalı bir örnek için mediumdaki bu <a href="https://medium.com/@yusufgzbyk/google-cloud-platforma-apache-nifi-kurulumu-789e3a777670">linkten</a> gidip bakabilirsiniz</p><p>Bu yazı için bir mongoDb hesabınız olması gerekiyor bu yazıda bu aşamalardan bahsedilmeyecek sadece birkaç önemli adımı anlatacağım hesap oluşturmak için <a href="https://www.mongodb.com/">https://www.mongodb.com/</a> adresinden ücretsiz bir hesap oluşturmanız yeterli ben mongoDb 5.0.12 versiyonuyla oluşturdum(diğer versiyonlarda işlemlerin değişeceğini sanmıyorum)<br><a href="https://www.youtube.com/watch?v=VKRIz9s9V70">https://www.youtube.com/watch?v=VKRIz9s9V70</a> bu videoda anlatılan adımları yapın eğer ip adresinizi herkese açamadıysanız</p><p>Sol ortada <strong>SECURITY </strong>bölümünden Network Access’e tıklayın ve orada gördüğünüz ip adres kısmında edit diyip var olan ip adresini silip 0.0.0.0/0 yapın</p><p>Videoda kopyalanan URI de <br>mongodb+srv://<strong>kullanıcıAdı</strong>:<strong>sifre</strong><a href="/service/mailto:DC2Y0Lgk12@cluster0.ymcuu5r.mongodb.net">@cluster0.ymcuu5r.mongodb.net</a>/<strong>veritabanıAdı</strong>=true&amp;w=majority<br>şeklinde yapın (kopyaladığınız yerdeki değerleri değiştirmeyin sadece kullanıcı adı, şifre ve veritabanı adını gösterilen yerlere yazmanız yeterli )<br>Bu bilgileri en son kullanacağız.</p><p>Şimdi GCP ye kafka kurulumuna geçelim</p><p><a href="http://console.cloud.google.com/">Google Consol Platfom</a> hesabına girelim ve arama kısmına <br><em> Apache Kafka Server on Ubuntu Server 20.04 </em>Tıklayıp aşağıdaki görseldeki bölüme tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/601/1*wtMp-ticWhsiK6Xm_Gal8A.png" /></figure><p>LAUNCH a tıklayalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/656/1*99GEBZdQMpDw3Ql1TdEQRA.png" /></figure><p>En aşağıdaki 3 kısmı işaretleyip DEPLOY diyelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/491/1*3WWJ7PXxux4SVicfTdVEDA.png" /></figure><p>Evet kafka kurulu bilgisayarımız yükleniyor <br>Şimdi sağ üsteki bölüme tıklayıp Compute Engine diyelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/297/1*z6WJt9JCDJEVZm9JcAslzg.png" /></figure><p>SSH a tıklayalım, toplamda 3 tane kafka için ssh ekranı açacağız</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/937/1*cPWAmn7PQHFr7kVDP2XEXg.png" /></figure><p>1.SSH ekranında aşağıdaki kodları sırasıyla yazıp enter diyoruz</p><blockquote><strong>cd /opt/kafka/<br></strong> <strong>sudo bin/zookeeper-server-start.sh config/zookeeper.properties</strong></blockquote><p>2.SSH ekranında aşağıdaki kodları sırasıyla yazıp enter diyoruz</p><blockquote><strong>cd /opt/kafka/<br>sudo bin/kafka-server-start.sh config/server.properties</strong></blockquote><p>3.SSH ekranında aşağıdaki kodları sırasıyla yazıp enter diyoruz</p><blockquote><strong>cd /opt/kafka/</strong></blockquote><p>Kafka için bir topic oluşturalım.</p><pre><strong>sudo bin/kafka-topics.sh --create --topic ornek --bootstrap-server localhost:9092</strong></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/795/1*0hNPWXXw3lR4fFNx_5k3gw.png" /></figure><pre><strong>sudo bin/kafka-topics.sh --describe --topic ornek --bootstrap-server localhost:9092</strong></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/801/1*zOzNZEWlkmVI2A9b1Qalgg.png" /></figure><p>Şimdi Nifi den gelen mesajları görmek için aşağıdaki kodu yazalım</p><pre><strong>sudo bin/kafka-console-consumer.sh --topic ornek --from-beginning --bootstrap-server localhost:9092</strong></pre><figure><img alt="" src="https://cdn-images-1.medium.com/max/898/1*tX9QnW9fAnx1VgpKsL0iZw.png" /></figure><p>Artık kafkada ki kurulumumuzu tamamladık şimdi GCP de Compute Engine geçelim</p><p><strong>Nifi yazılarımı okuduğunuzu varsayarak kurulumları yaptığınızı varsayıyorum</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/975/1*MUPQ_h1sDP6aTRetBGtp6Q.png" /></figure><p>34.122.249.22 yazan yere tıklıyoruz ve açılan sekmede ip ye ek olarak “:8080/nifi “ ibaresini ekleyelim 34.122.249.22:8080/nifi şeklinde</p><p>not: bende ip nin önüne https koydu bundan dolayı çalışmadı https’i silmeyi unutmayın</p><p>Bu yazıda herhangi bir api ye kayıt olup veri alma zahmetine girmek yerine bir api’nin yapısını kullanacağız.</p><h3><strong>Haydi Başlayalım</strong></h3><p>Nifi Ekranında Process Group u ekrana çekip projemize isim verelim ben app yazdım şimdi çift tıklayıp içine girelim</p><p><strong>Kafkaya mesajı gönderme</strong></p><p>Processor’ü ekrana sürükleyip bırakalım ve arama kısmına GenerateFlowFile yazıp seçelim.<br>Çift tıklayıp içine girelim Scheduling sekmesinde Run Schedule’ü 3 yapalım yoksa çok hızlı mesaj geleceği için net bir şekilde veri akışını görmemiz olmaz<br>Properties sekmesine gelip Custom Text e aşağıdaki yazıyı yapıştıralım</p><pre>{<br>  &quot;success&quot;: true,<br>  &quot;result&quot;: {<br>    &quot;base&quot;: &quot;USD&quot;,<br>    &quot;lastupdate&quot;: &quot;2019-12-25 11:22 UTC&quot;,<br>    &quot;data&quot;: [<br>      {<br>        &quot;code&quot;: &quot;USD&quot;,<br>        &quot;name&quot;: &quot;US Dollar&quot;,<br>        &quot;rate&quot;: 1,<br>        &quot;calculatedstr&quot;: &quot;1000.00&quot;,<br>        &quot;calculated&quot;: 1000<br>      },<br>      {<br>        &quot;code&quot;: &quot;EUR&quot;,<br>        &quot;name&quot;: &quot;Euro&quot;,<br>        &quot;rate&quot;: 0.9015829342,<br>        &quot;calculatedstr&quot;: &quot;901.58&quot;,<br>        &quot;calculated&quot;: 901.58<br>      },<br>      &quot;...&quot;<br>    ]<br>  }<br>}</pre><p>Evet aşağıdaki gibi Apply diyelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/658/1*IqhY8phkSNcG6P0NTR652Q.png" /></figure><p>Processor’ü ekrana sürükleyip bırakalım ve arama kısmına PublishKafka_2_0 yazıp seçelim.</p><p>GenerateFlowFile dan PublishKafka_2_0 ok çekelim(Processor’ün ortasındaki ok) ve success işaretleyelim<br>Çift tıklayıp içine girelim<br>Properties sekmesine gelelim</p><p>Kafka brokers ta kafka’nın kurulu olduğu makinenin External IP adresini kopyalayalım benim ip adresim “35.239.78.172” ve yanına “:9092” yazalım<br>35.239.78.172:9092 şeklinde olacak<br>Topik Name e kafka topiğine verdiğimiz “ornek” yazalım<br>Aşağıdaki resimlerdeki gibi yapıp Apply diyelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/560/1*w1sCgqHZ2kPcoTuzPycchA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/513/1*9tkEgWuuJ8CpS_JQy55TTw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/503/1*b4La1NJ6AsTZXJq51vWeHQ.png" /></figure><p><strong>Kafkadan Veri Alma</strong></p><p>Processor’ü ekrana sürükleyip bırakalım ve arama kısmına ConsumeKafka_2_0 yazıp seçelim ve çift tıklayıp içine girelim<br>kafka brokers a yukarıdaki gibi ip adresini yazalım ve aşağıdaki resimler deki gibi ayarlamayı yapalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/498/1*t6xKDeHjNOVDf38Le5A49g.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/438/1*aUBpuxqK__xLbqPislb8Yg.png" /></figure><p>Processor’ü ekrana sürükleyip bırakalım ve arama kısmına JoltTransformJSON yazıp seçelim.<br>Şimdi ise gelen veride ihtiyacımız olmayan değerleri elememiz gerekiyor,<br>JoltTransformJSON çift tıklayıp içine girelim <br>Settings kısmında failure işaretleyelim</p><p>Properties kımına gelip Jolt Specification karşısına gelip tıklayalım ve aşağıdaki kodu yapıştıralım ve ok diyelim, daha sonra apply diyip çıkalım</p><pre>[{<br>  &quot;operation&quot;: &quot;shift&quot;,<br>  &quot;spec&quot;: {<br>    &quot;result&quot;: {<br>      &quot;data&quot;: {<br>        &quot;*&quot;: {<br>          &quot;code&quot;: &quot;data-&amp;1-code&quot;,<br>          &quot;calculated&quot;: &quot;data-&amp;1-calculated&quot;<br>        }<br>      }<br>    }<br>  }<br>}]</pre><p>ConsumeKafka_2_0 dan JoltTransformJSON’a ok çekelim success i seçelim</p><p>Evet artık verimizi aldık ve düzenledik verinin son hali aşağıdaki gibi oldu</p><pre>{<br>  &quot;data-0-code&quot; : &quot;USD&quot;,<br>  &quot;data-0-calculated&quot; : 1000,<br>  &quot;data-1-code&quot; : &quot;EUR&quot;,<br>  &quot;data-1-calculated&quot; : 901.58<br>}</pre><p>Şimdi ise bu veriyi mongoDb ye kayıt edeceğiz</p><p>Processor’ü ekrana sürükleyip bırakalım ve arama kısmına PutMongo yazıp seçelim.<br>PutMongo çift tıklayıp içine girelim <br>Settings kısmında success ve failure işaretleyelim(son adım olduğu için)</p><p>Properties kısmında Mongo URI karşısına yukarda aldığımız mongodb+srv ile başlayan bilgiyi girelim</p><p>Ben <strong>Database Name ve Collection Name </strong>lere deneme ismini verdim<br>Son hali aşağıdaki resimdeki gibi</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*dEv5kxF_PQsSNFXxnr7OOw.png" /></figure><p>Yapını son hali aşağıdaki gibi görünüyor artık</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/839/1*2oZS7Dx-LXi_DKyVet2sLA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/288/1*XNsCq0kwQw3McA5kw7GGNQ.png" /></figure><p>Sağdaki Operate bölümünden play tuşuna basalım ve Kafka da ki 3.SSH ekranına dönelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/338/1*E5XD09B-Cxrybo1BZAMlVg.png" /></figure><p>Evet gördüğünüz gibi nifi veriyi kafka ya gönderdi ve aynı şekilde geri çekti</p><p>Şimdi mongoDb de veritabanına bakalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/730/1*usFu_H-OruzpCJkbb99SgQ.png" /></figure><p>Harika bir şekilde verimiz kayıt olmuş.</p><p>Evet arkadaşlar bu yazımda sizlere GCP ye Kafka kurulumu ,Nifi ile Kafka’ya mesaj gönderme ve almanın yöntemini , Nifi ile ETL sürecini ve elde ettiğimiz veriyi mongoDb ye nasıl kayıt edeceğimizi anlatmaya çalıştım umarım sizler için faydalı bir yazı olmuştur.</p><p>Düşünce ve yorumlarınızı merak ediyorum yorumlar kısmında belirtmenizi bekliyorum..</p><p>Benimle <a href="https://www.linkedin.com/in/yusuf-g%C3%B6z%C3%BCb%C3%BCy%C3%BCk-29052a170/">linkedin</a> den bağlantı kurmayı unutmayın iyi günler</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=eaa1c0908bf6" width="1" height="1" alt=""><hr><p><a href="https://medium.com/i%CC%87stanbuldatascienceacademy/apache-nifi-ile-apache-kafkaya-veri-al%C4%B1%C5%9Fveri%C5%9Fi-ve-mongodb-ye-kay%C4%B1t-eaa1c0908bf6">Apache Nifi ile Apache Kafkaya Veri Alışverişi ve MongoDb ye Kayıt</a> was originally published in <a href="https://medium.com/i%CC%87stanbuldatascienceacademy">İstanbul Data Science Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Nifi ve Slack kullanarak bir hava durumu uygulaması]]></title>
            <link>https://medium.com/i%CC%87stanbuldatascienceacademy/apache-nifi-ve-slack-kullanarak-bir-hava-durumu-uygulamas%C4%B1-7d256ba57aec?source=rss-4452448cb1ca------2</link>
            <guid isPermaLink="false">https://medium.com/p/7d256ba57aec</guid>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[apache-nifi]]></category>
            <category><![CDATA[google-cloud-platform]]></category>
            <category><![CDATA[slack]]></category>
            <category><![CDATA[weather-api]]></category>
            <dc:creator><![CDATA[Yusuf Gözübüyük]]></dc:creator>
            <pubDate>Mon, 19 Sep 2022 10:01:05 GMT</pubDate>
            <atom:updated>2022-09-19T10:01:05.224Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese merhaba ben Yusuf Gözübüyük bu yazımda sizlere bir api’den veri alıp apache Nifi ile düzenleyip slack kullanarak cep telefonumuza mesaj gönderen bir hava durumu uygulaması yaptım keyifli okumalar</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/325/1*iQJHtI4jW7s_ISc_g3j2sw.jpeg" /></figure><p>Yazıya başlamadan önce bir</p><p>Google Cloud hesabınızın olması ve nifi nin kurulu olması gerekiyor eğer kurulu değilse nifi kurulumuna <a href="https://medium.com/@yusufgzbyk/google-cloud-platforma-apache-nifi-kurulumu-789e3a777670">bu yazımdan</a> ulaşabilirsiniz<br><a href="http://www.weatherapi.com/">www.weatherapi.com</a> üzerinden bir api nizin<br><a href="https://api.slack.com/messaging/webhooks">https://api.slack.com/messaging/webhooks</a> üzerinden de slack bot ve kanalınızın olması gerekiyor</p><p>Önceki derste ki gibi ssh ile sanal bilgisayara gidip sırasıyla<br>./nifi.sh start<br>./nifi.sh status <br>yapın</p><p><strong>Haydi başlayalım</strong></p><p><strong>Adım 1: Çalışma ortamını hazırlamak</strong></p><p>İlk işimiz Process Group ‘u sürükleyip ekrana bırakmak ve ona bir isim vermek, ben <em>WeatherApp </em>yaptım isim verdikten sonra çift tıklayıp içine giriyoruz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/211/1*rDPgb5eb4HK9a9dnwdJS3A.png" /></figure><p><strong>Adım 2: Veriyi almak</strong></p><p>Öncelikle apimizden veriyi almamız lazım bunun için Processor’ü sürükle bırak ile ekrana çekip arama kısmına <strong>InvokeHTTP </strong>yazalım ve seçelim daha sonra çift tıklayıp içine girelim</p><p>Settings te <em>Response </em>hariç hepsini işaretliyelim Response bizim veriyi gönderirken lazım olacak(Burada özellikle belirtmeliyim ki bir sonraki adımda gidecek olan yapı hangisiyse o/onlar hariç diğerlerini işaretlemeliyiz).</p><p><strong>Scheduling </strong>kısmından <strong>Run Schedule’yi 10 Yapalım Sonuçta </strong>şuanda google’ın bize verdiği ücretsiz kredinin hızlı bitmesini istemeyiz :) ardından Property kısmında RemoteUrl kısmına aldığımız api’yi yapıştırıp apply diyip kayıt edelim artık veriyi alabileceğiz</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/584/1*hqApyF5d0TblUIf0xBjFCQ.png" /></figure><p><strong>Adım 3: Veriyi temizlemek</strong></p><p>Aldığımız api ye baktıysanız çok fazla bilgi dönüşü yapıyor oysaki bizim bunların çoğuna ihtiyacımız yok bundan dolayı gelen veriden ihtiyacımız olanları almamız lazım.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/526/1*wh7UbMTg8VoyKjzQwZXFRw.png" /></figure><p>Processor’ü çekip arama kısmına JoltTransformJSON yazalım seçelim aldığımız her processor’ün ortasında bi sonraki adıma veri göndermemiz için ok var(fareyi processor’ün üstüne götürdüğünüzde belli oluyor)</p><p>InvokeHTTP den JoltTransformJSON ok çekelim ve gelen ekrandan Response u işaretliyelim(Hatırlarsanız bir önceki adımda Response işaretlememiştik)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/217/1*dIVZ4vPRak8Tj1_db23tAg.png" /></figure><p>JoltTransformJSON çift tıklayıp içine girelim Settings te <strong>failure</strong> işaretliyelim.</p><p>Sol altta ise ADVENCED yazan bölüme tıklayalım bu bölüm bizim veri üzerinde işlem yapmamızı sağlıyor</p><p>Gelen bölüme aşağıdaki kodu yazalım ve SAVE diyip ana ekrana dönelim</p><blockquote>[{<br>“operation”: “shift”,<br>“spec”: {<br>“*”: {<br> “name”: “name”,<br>“country”: “country”,<br>“localtime”: “localtime”,<br>“temp_c”: “temp_c”<br>}<br>}<br>}]</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/410/1*139nTnNb5Y1HP0LbU5sZqw.png" /></figure><p><strong>Adım 4: Değişken atamak</strong></p><p>Artık veri istediğimiz ayarda şimdi ise bu veride istediğimiz değerleri seçip ona göre şart koşmamız gerekiyor ilerde</p><p>Processor’ü çekip arama kısmına EvaluateJsonPath yazalım seçelim</p><p>JoltTransformJSONdan EvaluateJsonPath’e bir ok çekip <strong>success </strong>seçelim ve apply diyip EvaluateJsonPath’e çift tıklayıp içine girelim</p><p>Settings te <em>failure</em> ve <em>un matched</em> işaretliyelim</p><p>Properties kısmında sağdaki + işaretine tıklayıp önce değişkenin adı sonra “$.” koyarak json daki değişkenin adı</p><p>json da belirlediğimiz değerleri tekrar burda değişkene atamamız lazım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/689/1*kheOTHlaXkeOnjeSDQxI4A.png" /></figure><p><strong>Adım 5: Şartımızı belirtmek</strong></p><p>Artık veriyi aldık düzenledik ve verilerin her birini bir değişkene atadık atık şartımızı belirtip belli bir sıcaklığın üstüne çıkarsa veri tabanına yazdırma işlemi kaldı bunun için gelen değerleri kontrol etmemiz lazım bu adımı kodlamadaki if bloğu olarak görebiliriz</p><p>Processor’ü çekip arama kısmına RouteOnAttribute yazalım seçelim</p><p>EvaluateJsonPath’den RouteOnAttribute’e bir ok çekip matched’i seçelim ve apply diyip RouteOnAttribute’e çift tıklayıp içine girelim ve Settings’te <strong>unmatched’ı </strong>seçelim</p><p>Properties kısmında sağdaki + işaretine tıklayıp <em>yuksek_sicaklik </em>ve ardından <em>${temp_c:ge(25.0)}</em> yazalım ve apply diyip çıkalım</p><p>Not: Ben yazdığımda hava sıcaklığı daha düşük olduğu için 15 yaptım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/493/1*FVeNx_YpB80hrMkmg95IPg.png" /></figure><p><strong>Adım 6: Slack ile mesajı almak</strong></p><p>Artık son adımımıza geldik artık json dosyasından aldığımız veriyi mesaj olarak Slack kanalımıza gönderebiliriz bunun için bir slack kanalınız olması lazım</p><p><em>özetle</em></p><p><a href="https://api.slack.com/messaging/webhooks"><em>https://api.slack.com/messaging/webhooks</em></a><em> adresineden </em><a href="https://api.slack.com/apps/new"><em>Create your Slack app</em></a><em> butonuna basıp gelen ekrandan </em><strong><em>From scratch</em></strong><em> ismini ve kanalını seçip Create app demeniz yeterili size vereceği linki kopyalayın</em></p><p>Processor’ü çekip arama kısmına PutSlack yazalım seçelim</p><p>Son adım olduğu için Settings te <strong>failure ve success </strong>işaretliyelim(veri artık bi sonraki adıma gitmeyeceği için hepsini seçmemiz lazım)</p><p>Properties kısmında <strong>Webhook URL </strong>kısmına kopyaladığımız linki yapıştıralım</p><p><strong>Webhook Text’</strong>e ise</p><blockquote>Sehir: ${name}<br>Ulke: ${country}<br>Tarih: ${localtime}<br>Derece: ${temp_c}</blockquote><p>yazıp apply diyelim</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/727/1*6oeZZIs30yhisClTled0Mg.png" /></figure><p>Evet Projenin son görünümü aşağıdaki gibidir</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/799/1*SU0OolPMU6ABESBjc_y5sA.png" /></figure><p>Şimdi Projeyi çalıştırmak için sol ortada bulunan play tuşuna tıklayarak çalıştıralım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/306/1*DifReG04VUBwOjIJcwPrKg.png" /></figure><p>Evet şimdi Slack kanalına bakalım</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/278/1*oHm2obWAkz0m3z_5SLQVTQ.png" /></figure><p>Harika istediğimiz gibi mesajımız gelmiş</p><p>Eğer bu yapıda sorununuz varsa size kendi yaptığım yapıyı nasıl yüklemeniz gerektiğini göstereyim.</p><p><strong>Hazır bir yapı nasıl yüklenir ?</strong></p><p>Yazının daha fazla uzamaması için size bu videoda belirtilen dk da gösterilen adımları uygulamanızı isticem<br><a href="https://youtu.be/1RnQG7Fu6Ds?t=286">https://youtu.be/1RnQG7Fu6Ds?t=286</a><br>İndireceğiniz nifi dosyası ise<br><a href="https://github.com/yusufgzb/Nifi-and-Slack-Weather-app">https://github.com/yusufgzb/Nifi-and-Slack-Weather-app</a> adresinden <a href="https://github.com/yusufgzb/Nifi-and-Slack-Weather-app/blob/main/weatherapp1.1.xml">weatherapp1.1.xml</a> adlı dosyayı indirebilirsiniz</p><p>Eklemeniz gerekeler:<br> 2.Adımda yaptığımız api ekleme kısmı<br>6.Adımda yaptığımız Slack api mizi eklememiz<br>Eğer apiler’i doğru yapıştırdıysanız sıkıntısız çalışacaktır</p><p>Evet arkadaşlar bu yazımda sizlere Nifi + Slack kullanarak bir hava durumu uygulaması yapmaya ve anlatmaya çalıştım umarım faydalı olmuştur yazı hakkında geri dönüşlerinizi bekliyorum</p><p>Benimle <a href="https://www.linkedin.com/in/yusuf-g%C3%B6z%C3%BCb%C3%BCy%C3%BCk-29052a170/">Linkedin </a>üzerinden takip etmeyi unutmayın başarılar</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7d256ba57aec" width="1" height="1" alt=""><hr><p><a href="https://medium.com/i%CC%87stanbuldatascienceacademy/apache-nifi-ve-slack-kullanarak-bir-hava-durumu-uygulamas%C4%B1-7d256ba57aec">Apache Nifi ve Slack kullanarak bir hava durumu uygulaması</a> was originally published in <a href="https://medium.com/i%CC%87stanbuldatascienceacademy">İstanbul Data Science Academy</a> on Medium, where people are continuing the conversation by highlighting and responding to this story.</p>]]></content:encoded>
        </item>
    </channel>
</rss>