<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by Serkan Sengonul on Medium]]></title>
        <description><![CDATA[Stories by Serkan Sengonul on Medium]]></description>
        <link>https://medium.com/@sengonulserkan?source=rss-2315324d391f------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*X3513ru7VLecdZxcE0f9vw.jpeg</url>
            <title>Stories by Serkan Sengonul on Medium</title>
            <link>https://medium.com/@sengonulserkan?source=rss-2315324d391f------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Tue, 17 Nov 2026 00:55:09 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@sengonulserkan/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[GCP Üzerinde Covid-19 Etki ve Duygu Analizi]]></title>
            <link>https://medium.com/@sengonulserkan/gcp-%C3%BCzerinde-covid-19-etki-ve-duygu-analizi-bc9052ec444?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/bc9052ec444</guid>
            <category><![CDATA[gcp]]></category>
            <category><![CDATA[python]]></category>
            <category><![CDATA[sentiment-analysis]]></category>
            <category><![CDATA[büyük-veri]]></category>
            <category><![CDATA[covid19]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Sat, 16 May 2020 12:38:06 GMT</pubDate>
            <atom:updated>2020-05-16T13:26:59.333Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhaba, son günlerde dünyayı etkisi altına alan Covid-19 salgını hepimizin hayatını etkilemiş durumda. Bu konuyla ilgili bir çok paylaşım yapıldı. Bizde bu paylaşımlara kayıtsız kalmayıp hem teknolojik olarak kendimizi geliştirmek, hemde pandemiyle alakalı bakış açımızı sizlerle paylaşmak istedik.</p><p>Projeyi genel hatlarıyla özetleyecek olursak, twitter üzerinden real time gelen veriler ile ve Google Cloud servisleriyle bir takım analizler çıkardık. Projenin tüm detaylarını sizlerle paylaşacağız. Öncelikle projenin detaylarına geçmeden önce şunu belirtmekte fayda var. Bu çalışmanın amacı yeni teknolojiler öğrenmek ve güncel bir konu üzerine kendi yorumlarımızı katmaktır. Fikirleriniz ve eleştirileriniz bizim için çok önemli.</p><p><strong>Neden Google Cloud?</strong></p><p>Öncelikle projeyi on-premise bir ortamda yapmak yerine cloud ortamında yapmaya karar verdik. Biraz araştırma yaptıktan sonra belirlediğimiz kriterlere en uygun hizmet sağlayıcısı olarak Google’u tercih ettik.</p><h4>Mimari</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*DJgvyKUGspjisSZiUqBUOA.png" /></figure><p>Aşağıdaki kod bloğunda belirlediğimiz anahtar kelimelerle twitter üzerinden ihtiyacımız olan alanları real time olarak elde ediyoruz.</p><p><a href="https://gist.github.com/730dfc7631058e95a9ff53e5ab38ac32">https://gist.github.com/730dfc7631058e95a9ff53e5ab38ac32</a></p><pre>import tweepy<br>from tweepy import StreamListener<br>import datetime<br>import json<br>import time<br>from google.cloud import pubsub<br>from datetime import datetime<br>import settings<br>from google.cloud import language<br>from google.cloud.language import enums, types<br>from googletrans import Translator<br>import re<br>from http.client import IncompleteRead <br>from urllib3.exceptions import IncompleteRead as urllib3_incompleteRead<br>from http.client import IncompleteRead<br>import emoji<br>from urllib3.exceptions import ProtocolError<br>class TweetStreamListener(StreamListener):<br>    client = pubsub.PublisherClient(credentials=cred)<br>    topic_path = client.topic_path(settings.PROJECT_NAME, settings.PUBSUB_TOPIC_NAME)<br>    count = 0<br>    tweets = []<br>    batch_size = 1<br>    total_tweets =1000000<br>def write_to_pubsub(self, text,loc,time_tweet,emotional):<br>        publish(self.client, self.topic_path, text, loc,time_tweet,emotional)<br>     <br>    <br>    def on_status(self, status):<br>            if not status.user.location:<br>                return<br>tweet_data = json.dumps(status._json)<br>    tweet_data=json.loads(tweet_data)<br>        if &quot;extended_tweet&quot; in tweet_data:<br>            if &#39;RT&#39; not in tweet_data[&#39;extended_tweet&#39;][&#39;full_text&#39;]: <br>                text = tweet_data[&#39;extended_tweet&#39;][&#39;full_text&#39;]  <br>                loc = tweet_data[&#39;user&#39;][&#39;location&#39;]<br>                text = text.replace(&quot;\n&quot;,&quot;&quot;)<br>                time_tweet=datetime.now().strftime(&quot;%d/%m/%Y %H:%M:%S&quot;)<br>                emotional=analyze_text_sentiment(text)<br>                if len(text) &gt;= self.batch_size:<br>                self.write_to_pubsub(text,loc,time_tweet,emotional)<br>self.count += 1<br>                    if (self.count % 50) == 0:<br>                        print(&quot;count is: {}&quot;.format(self.count))<br>                    if self.count &gt;= self.total_tweets:<br>                        return False<br>return True<br>                    <br>def publish_twitter_stream():<br>    auth = tweepy.OAuthHandler(settings.TWITTER_APP_KEY, settings.TWITTER_APP_SECRET)<br>    auth.set_access_token(settings.TWITTER_KEY, settings.TWITTER_SECRET)<br>    api = tweepy.API(auth)<br>stream_listener = TweetStreamListener()<br>    stream = tweepy.Stream(auth=api.auth, listener=stream_listener,tweet_mode=&#39;extended&#39;)<br>    tags = [&#39;evdekal&#39;,&#39;stayhome&#39;,&#39;stay home&#39;,&#39;covid&#39;,&quot;corona&quot;,&quot;coronavirus&quot;,&quot;korona&quot;,<br>    &quot;covid-19&quot;,&quot;Covid19&quot;,&quot;Covid-19&quot;,&quot;Corona Virus&quot;,&quot;pandemic&quot;,&quot;pandemi&quot;,&quot;COVID-19&quot;]<br>    while True:<br>        try:<br>            stream.filter(track=tags,stall_warnings=True)<br>        except (ProtocolError, AttributeError):<br>            continue<br>if __name__ == &#39;__main__&#39;:<br>    publish_twitter_stream()</pre><blockquote><strong>Natural Language Api: </strong>Natural Language API’nin güçlü, önceden eğitilmiş modelleri, geliştiricilerin yaklaşım analizi, varlık analizi, varlık yaklaşım analizi, içerik sınıflandırması ve söz dizimi analizi gibi doğal dil anlama özellikleriyle çalışmalarına olanak tanır. (kaynak: <a href="https://cloud.google.com/natural-language">https://cloud.google.com/natural-language</a> )</blockquote><p>Bir çok farklı dilden atılmış tweetler’e sahip olduğumuzdan dolayı, verinin hangi dile ait olduğunu öğrenmek için translator api’nı kullanıyoruz. Bu sayede duygu analizi için çoklu dil desteğinden yararlanıyoruz. Daha sonra elde edilen verileri Natural Language Api’na gönderiyoruz. Dönen sonuca göre tweet’in duygu durumu belirliyoruz.</p><p><a href="https://gist.github.com/759eac040bccb73786185f1af0314015">https://gist.github.com/759eac040bccb73786185f1af0314015</a></p><pre>def analyze_text_sentiment(tweet):<br>        <br>        cl = language.LanguageServiceClient(credentials=cred)<br>        translator = Translator()<br>        tweet = re.sub(r&quot;http\S+&quot;, &quot;&quot;, tweet)<br>        tweet=&quot; &quot;.join(filter(lambda x:x[0]!=&#39;#&#39; and x[0]!=&#39;@&#39; , tweet.split()))<br>        tweet=re.sub(r&#39;[^\w]&#39;, &#39; &#39;,str(tweet))<br>        tweet=re.sub(&#39;@[^\s]+&#39;,&#39; &#39;,str(tweet))<br>        print(tweet)<br>        <br>        try:<br>            res_tr=translator.translate(json.dumps(tweet))<br>            lang=res_tr.src<br>            time.sleep(1)<br>        except Exception as e:<br>            print(str(e))<br>            pass<br>        <br>        try:<br>            document = types.Document(<br>                content=text,<br>                language=lang,<br>                type=enums.Document.Type.PLAIN_TEXT)</pre><pre>response = cl.analyze_sentiment(document=document)<br>        <br>        except:<br>            document = types.Document(<br>                content=tweet,<br>                language=&quot;en&quot;,<br>                type=enums.Document.Type.PLAIN_TEXT)</pre><pre>response = cl.analyze_sentiment(document=document)<br>            <br>            <br>        sentiment = response.document_sentiment<br>        if sentiment.score&lt;(-0.5):<br>            emotion=&quot;Negative&quot;<br>        elif -0.5&lt;sentiment.score&lt;0.5:<br>            emotion=&quot;Nötr&quot;<br>        else:<br>            emotion=&quot;Positive&quot;<br>        return emotion</pre><p><strong>Pub/Sub: </strong><br>Pub / Sub, birbirinden bağımsız uygulamalar arasında mesaj göndermenizi ve almanızı sağlayan, gerçek zamanlı bir mesajlaşma servisidir. Kafka, RabbitMQ vb. servisler gibi düşünülebilir.</p><p><em>Topic oluşturma:</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/393/1*AP5ClygRR4eu46DsL1rfuQ.png" /><figcaption>(CONSOLE BAR-&gt;PUB/SUB-&gt;TOPICS-&gt;CREATE TOPICS)</figcaption></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*JB2U6PJFlysRCVC2iehitQ.png" /></figure><p>Yukarıdaki adıma geldikten sonra, bir isim vererek topic oluşturuyoruz.</p><p><em>Subscription oluşturma:</em></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/654/1*CaJoACWSWF0a1kvvM-Q_7g.png" /><figcaption>(CONSOLE BAR-&gt;PUB/SUB-&gt;Subscription-&gt;CREATE Subscription)</figcaption></figure><p>Gerekli parametreleri doldurduktan sonra<em> </em>Subscription’ı oluşturuyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/596/1*MYEy2sqCj3rc0Nc0zZOa_g.png" /><figcaption><a href="https://cloud.google.com/pubsub/docs/subscriber?hl=vi-vn">https://cloud.google.com/pubsub/docs/subscriber?hl=vi-vn</a></figcaption></figure><p>Api üzerinden elde edilen veriyi pub/sub’a gönderiyoruz.</p><p><a href="https://gist.github.com/5a60ac7168966ad00c7428c558b2a0a6">https://gist.github.com/5a60ac7168966ad00c7428c558b2a0a6</a></p><pre>def publish(client, topic_path, text, loc,time_tweet,emotional):<br>    message_data = {<br>                &quot;tweet&quot;:text,<br>                &quot;location&quot;: loc,<br>                &quot;time&quot;:time_tweet,<br>                &quot;emotional&quot;:emotional<br>                   }<br>    message_data = json.dumps(message_data)<br>    message_data = message_data.encode(&#39;utf-8&#39;)<br>    response = client.publish(topic_path, message_data , origin=&#39;python-sample&#39;)</pre><blockquote><strong>Dataflow</strong>:</blockquote><blockquote>Dataflow, otomatik ölçeklendirme ve toplu işlem aracılığıyla gecikme, işleme süresi ve maliyeti en aza indiren bir tümüyle yönetilen akış analizi hizmetidir. (kaynak <a href="https://cloud.google.com/dataflow">https://cloud.google.com/dataflow</a>)</blockquote><p>Pub/Sub’a real time akan veriyi alabilmek için, Dataflow üzerinde bir akış kurguluyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/590/1*phs_YMQK8OzW40YNDq7ZRQ.png" /><figcaption>(CONSOLE BAR-&gt;DATAFLOW-&gt;CREATE JOB FROM TEMPLATE)</figcaption></figure><p>Gerekli parametreleri doğru bir şekilde girdikten sonra akış çalışabilir hale gelmektedir. Burada dikkat edilmesi gereken konu, oluşturduğunuz template türü, subscription adı, tablo dizini ve location’ın doğru verilmiş olması.</p><p>Not: Temprory location kısmı için Console Bar -&gt; Storage -&gt; Create Bucket -&gt; diyip bir isim vererek bir dosya yolu oluşturmanız gerekiyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/758/1*b_fcntHIGV4rkxLVgpN3CA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/698/1*G-lU9ak4sjPqFn0AHYu_IQ.png" /></figure><p>Yukarıda kurgulamış olduğumuz akış Subscription’ı dinleyip, veriyi BigQuery’e göndermektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/861/1*gVU2-REcPzIZMBn0PBHrAQ.png" /></figure><h4>BigQuery</h4><blockquote>BigQuery: ANSI SQL kullanarak, gigabayt ve petabaytlarca veriyi ek operasyon yükü olmadan yüksek hızla analiz etmenizi sağlar. Detaylı bilgi için: <a href="https://cloud.google.com/bigquery">https://cloud.google.com/bigquery</a></blockquote><p>BigQuery servisine girdikten sonra, ilk olarak dataset oluşturuyoruz. Ardından oluşturulan dataset’e tıklayarak Create Table diyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/704/1*iSevYQsmdyJeBKt4Idx8CQ.jpeg" /></figure><p>Daha sonra ihtiyacımız olan tablo ismi, schema vb özellikleri girerek tabloyu oluşturuyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/715/1*UwyJMFscCxq4BrmW4Fy1Xw.png" /></figure><h4>Data Studio:</h4><p>Görselleştirme aracı olarak Google Cloud ekosisteminde bulunan Data Studio’u tercih ettik. Verinin uçtan uca yolculuğunda, elde ettiğimiz çıkarımları son kullanıcıyıla paylaşmak için Data Studio’u kullandık.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/770/1*0_R5jd6z2vBafoAeda0IaA.png" /><figcaption>Data Stduio -&gt; Oluştur -&gt;Veri Kaynağı -&gt; BigQuery</figcaption></figure><p>Data studio veri kaynağı için, mimarimizin bir önceki adımı olan bigquery’i seçtik. Data Studio’da raporlar real time olarak güncellenmektedir ve bu nedenle sayıların anlık olarak artığı gözlemlenebilmektedir.</p><p>Toplamda 100.000 e yakın tweet çekildi ve yaklaşık olarak 35.000 farklı noktadan veri alındı. Aldığımız konum verilerini ülke bazlı sınıflandırdık.</p><p>Aşağıdaki görselde ülke bazlı atılmış tweetlerin çoktan aza doğru sıralanmış halini görüyoruz. Amerika ve İngiltere gelen tweet sayısında başı çekmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*kHIsf_ndJJXd0oz2ojL6YA.png" /></figure><p>2.Görselde duygu analizinin ülke bazlı yansımasını görmekteyiz. Özellikle vaka saysının ve ölüm oranlarının çok olduğu ülkelerde negatif tweet sayılarının fazla olması dikkat çekici. (bknz: USA)</p><p>Ülkelere göre pozitif ve nötr tweet sayıları, negatif tweet sayılarına göre arttığında, o ülkenin normalleşme sürecine girdiğini öngörmekteyiz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*faLHqmVtzK8_vyslmlJY7Q.png" /></figure><p>Bu raporda seçtiğiniz gün ve tüm ülkeler bazında toplam duygu durumlarını görebiliyoruz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*GiUisFklVqoJyseCxcb_Ww.png" /></figure><p>Ve son olarak atılan tweet yoğunluğunu dünya haritası üzerinde gözlemleyebiliyoruz. Dünya üzerindeki vaka konumlarının, atılan tweet konumlarına yaklaşık olarak benzerliği dikkat çekici. Psikolojik olarak düşünüldüğünde de bu virüsün insanları olumsuz veya herhangi bir duygu içerisinde etkileyip bir şekilde tweet atmaya yönelttiğini düşünüyoruz. Psikolojik etmenler, gerçekten tweet atmamızı sağlamış olabilirler mi?</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*PKEB3eE1OUpQ5MGFfikRgA.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*t9o36Vm3682YtVgseiIttQ.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*zFYiq1j78u2I9serCI-f6Q.jpeg" /></figure><p>Kaynak:</p><blockquote><a href="https://www.storybench.org/how-to-collect-tweets-from-the-twitter-streaming-api-using-python/">https://www.storybench.org/how-to-collect-tweets-from-the-twitter-streaming-api-using-python/</a></blockquote><blockquote><a href="https://github.com/AstroHyde/gcp-tweets-streaming-pipeline/tree/master/twitter-to-pubsub">https://github.com/AstroHyde/gcp-tweets-streaming-pipeline/tree/master/twitter-to-pubsub</a></blockquote><blockquote><a href="https://towardsdatascience.com/lets-build-a-streaming-data-pipeline-e873d671fc57">https://towardsdatascience.com/lets-build-a-streaming-data-pipeline-e873d671fc57</a></blockquote><blockquote><a href="https://github.com/pramodnagare/Applied-Learning/blob/37b855e875b81b4da1c00dec6e378acc7daae842/GCP%20Data%20Analytics%20Pipeline/Big%20Data%20Analytics%20Pipeline.ipynb">https://github.com/pramodnagare/Applied-Learning/blob/37b855e875b81b4da1c00dec6e378acc7daae842/GCP%20Data%20Analytics%20Pipeline/Big%20Data%20Analytics%20Pipeline.ipynb</a></blockquote><blockquote><a href="https://cloud.google.com/">https://cloud.google.com/</a></blockquote><blockquote><a href="https://towardsdatascience.com/game-of-thrones-twitter-sentiment-with-keras-apache-beam-bigquery-and-pubsub-382a770f6583">https://towardsdatascience.com/game-of-thrones-twitter-sentiment-with-keras-apache-beam-bigquery-and-pubsub-382a770f6583</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=bc9052ec444" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Home Office 101]]></title>
            <link>https://medium.com/@sengonulserkan/home-office-101-ef5435fefafe?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/ef5435fefafe</guid>
            <category><![CDATA[computer-science]]></category>
            <category><![CDATA[home-office]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[uzaktan-çalışmak]]></category>
            <category><![CDATA[remote-working]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Mon, 16 Mar 2020 17:44:04 GMT</pubDate>
            <atom:updated>2020-03-16T17:44:04.825Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhaba,</p><p>Çok uzun süredir buralarda bir şeyler yazıp, çizemiyordum. Bunun en büyük sebeplerinden biri, yaptığım iş değişikliği ve öğrenmek istediğim bazı konulara odaklanmak oldu. Bugün bir deneyimimi sizinle paylaşmak istiyorum.</p><p>Sanırım son günlerde tüm dünya da etkisini gösteren virüs salgınından hepimiz haberdarız. Size bu virüsü hatırlatıp, daha fazla canınızı sıkmadan asıl konuma dönmek istiyorum.</p><blockquote>Umarım en kısa sürede tüm insanlık olarak bu salgından kurtulmuş oluruz.</blockquote><p>Üniversiteden mezun olduktan sonra İstanbul’a taşındım. Hemen ardından çalışma hayatına başladım. İlk başlar da ofis ortamları çekici gelmişti. İşe hazırlanıp gitmek, insanlarla çalışmak, açık ofisi deneyimlemek, sosyalleşmek vb. kavramlar ilgimi çekmişti. Zaman geçtikçe motivasyonumu düşüren bazı sorunlar ortaya çıkmaya başladı.</p><p>1. Ulaşım yüzünden kaybedilen zaman.</p><p>Beni en çok üzen noktalardan biri kesinlikle bu. Peki yolda geçen zamanım da kitap veya makale okuyarak, en azından netflix’te dizi izleyerek neden değerlendirmiyorsun sorusunu duyar gibiyim. Bunun cevabı 2.madde de :)</p><p>2. Toplu Taşıma Araçlarındaki kalabalık.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/650/0*ph4IC8LvZXuwVtde.jpg" /></figure><p>Özellikle metrobüsle uzun süre işe gitmiş biri olarak bununla ilgili sayfalarca yazı yazabilirim.</p><p>3. Açık ofislerdeki fazla gürültü.</p><p>4. Ofiste başkaları tarafından bölünmek</p><p>5. Her sabah hazırlanıp işe gitmek..</p><p>Ve daha yazılabilecek bir çok sebep.</p><p>Ve bugün ilk defa evden çalışmayı deneyimledim. Bunun yararlı olup olamayacağının kararını tabiki ilk günden söyleyemeyiz. Sadece ilk günki hislerimi ve deneyimlerimi paylaşmak istiyorum. Öncelikle hepimizin aklına gelen bazı konu başlıkları var. Şimdi tek tek bunları incelemek istiyorum.</p><ol><li>Ekip nasıl iletişim kuracak ?</li></ol><p>Zaten hepimizin hali hazırda kullandığı bir çok açık kaynaklı veya lisanslı bir çok ürün vardır. Bunları listeleyecek olursak:</p><p><a href="https://slack.com/">Slack</a><br>Facebook Workplace<br>Discord<br>Telegram gibi gibi uzayan bir liste.</p><p>2. Daily, toplantı bunlar nasıl olacak peki ?</p><p><a href="https://hangouts.google.com/">Google Hangouts</a><br>Skype<br><a href="https://www.youtube.com/my_live_events">Youtube Live</a> …</p><blockquote>Ama benim tercihim kesinlikle <a href="https://hangouts.google.com/">Google Hangouts</a> :)</blockquote><p>3. Proje yönetimi</p><p><a href="https://www.atlassian.com/software/jira">JIRA</a><br><a href="https://trello.com/">Trello</a></p><blockquote>Hemen hemen çoğumuzun yabancı olmadığı toollar diyebiliriz.</blockquote><p>Son olarak git, drive gibi hayat kurtaran toolları da unutmamak lazım.</p><p>Sonuç olarak şunu söyleyebilirimki, yeni işe başlayalı henüz iki hafta olmuşken adapte olma konusunda home office biraz olsun korkutsa da ilk gün deneyimlerim kesinlikle çok iyiydi. Hiç yorulmadan çalıştığım, kendime daha çok vakit ayırdığım ve verim olarakta kesinlikle güzel geçen bir günü geri de bıraktım. Evden çalışma devam ederse fikrimin değişip, değişmeyeceğini ve getirebileceği olumsuzlukları merakla bekliyor olacağım.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=ef5435fefafe" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Yeni başlayanlar için Apache Kafka]]></title>
            <link>https://medium.com/@sengonulserkan/yeni-ba%C5%9Flayanlar-i%C3%A7in-apache-kafka-dd726011218f?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/dd726011218f</guid>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[kafka]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[veri-bilimi]]></category>
            <category><![CDATA[büyük-veri]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Sat, 31 Aug 2019 12:47:24 GMT</pubDate>
            <atom:updated>2019-08-31T12:47:24.307Z</atom:updated>
            <content:encoded><![CDATA[<p>Bu yazıda linux makine üzerinde Apache Kafka kurulumunu yapacağız. Ardından Kafka üzerinde örnekler yapmaya ve keşfetmeye devam edeceğiz.</p><p><strong>Bir bakışla Apache Kafka:</strong></p><blockquote>Bu yazıda yukarıda da bahsettiğim gibi, Kafka üzerine teorik konuşmaktan ziyade örneklerle tanımaya çalışacağız. Tahminimce 2–3 blog yazısında da kafka üzerine örnekler yapmaya devam edeceğiz. Teorik olarak kafka hakkında bilgisi olmayanlar için <a href="https://kafka.apache.org/intro.html">https://kafka.apache.org/intro.html</a> dökümanını okumalarını tavsiye ediyorum.</blockquote><p><strong>Kısaca</strong>: Kafka 2011 yılında Linkedin tarafından geliştirilmiş olup açık kaynak olarak sunulmuştur. Kafka akan verilerini depolamak, okumak ve analiz etmek için ortaya çıkmış bir yazılımdır. Kafka “dağıtılmış” bir ortamda çalıştırılmak üzere tasarlanmıştır. Kafka hızlı bir şekilde çalışabilir, büyük kümeler üzerindeki değişimleri izleyebilir ve bunlara tepki verebilir. Kendi içerisinde yedekleme yapısı ve mimarisi sayesinde veri kaybını engeller. Geniş ekosistemi ve geliştirilmeye devam eden yapısı ile popüleritesini hala korumaktadır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/797/1*68VR0h2cR6tg-9-scq7M_Q.png" /></figure><p><strong>KURULUM:</strong></p><p>Bu kurulum için linux dağıtımı olan Centos 7 kullandım.</p><ol><li><em>Java Kurulumu:</em></li></ol><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/05a924a16f47c084b9e79e0b1665f3ec/href">https://medium.com/media/05a924a16f47c084b9e79e0b1665f3ec/href</a></iframe><p>2. Zookeper Kurulumu:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/9fdadd94c489315994903d7c547396f8/href">https://medium.com/media/9fdadd94c489315994903d7c547396f8/href</a></iframe><p>3. Kafka Kurulumu</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/e7c1337c57ce6d054f6c49dfe49087a4/href">https://medium.com/media/e7c1337c57ce6d054f6c49dfe49087a4/href</a></iframe><p>4. Topic yaratma, listeleme, silme ve okuma</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6c6ac22399f3ee011822b2fe4430fb0d/href">https://medium.com/media/6c6ac22399f3ee011822b2fe4430fb0d/href</a></iframe><p><strong>Sonuç olarak:</strong></p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*HTJycfac14VOy7i3AVhKQg.gif" /></figure><p>Vakit ayırıp okuduğunuz için teşekkürler. Eksik veya yanlış olduğunu düşündüğünüz noktaları lütfen benimle paylaşın. Apache Kafka ile örnekler yapmaya devam edeceğiz.</p><p>Kaynak:</p><blockquote><a href="https://howtoprogram.xyz/2016/07/10/apache-kafka-connect-example/">https://howtoprogram.xyz/2016/07/10/apache-kafka-connect-example/</a></blockquote><blockquote><a href="https://www.bernardmarr.com/default.asp?contentID=1525">https://www.bernardmarr.com/default.asp?contentID=1525</a></blockquote><blockquote><a href="https://www.tutorialspoint.com/apache_kafka/apache_kafka_installation_steps.htm">https://www.tutorialspoint.com/apache_kafka/apache_kafka_installation_steps.htm</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=dd726011218f" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Veri bilimcilerin güçlü takım arkadaşı -JupyterHub]]></title>
            <link>https://medium.com/@sengonulserkan/veri-bilimcilerin-g%C3%BC%C3%A7l%C3%BC-tak%C4%B1m-arkada%C5%9F%C4%B1-jupyterhub-224b05ace8d4?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/224b05ace8d4</guid>
            <category><![CDATA[jupyterhub]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[jupyter-notebook]]></category>
            <category><![CDATA[computer-science]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Tue, 27 Aug 2019 07:41:41 GMT</pubDate>
            <atom:updated>2019-08-27T07:41:41.168Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*-SLRoEh7n31NvIDE.png" /></figure><p><strong>JupyterHub Nedir ?</strong></p><p>Kullanıcılar, öğrenciler, araştırmacılar ve veri bilimciler tarafından uzun süredir kullanılan ve popüleritesi hala devam eden Jupyer Notebook’u hepimiz duymuşuzdur. Fakat profosyonel iş hayatında ve ekip çalışmalarında yetersiz kalmaya başlamıştır. Bu noktada jupyter ailesinin güçlü takım oyuncusu “JupyterHub” ortaya çıkmıştır.</p><blockquote>JupyterHub, notebookların gücünü kullanıcı gruplarına getirmiştir. Kullanıcılara kurulum ve bakım görevlerini zorlamadan, hesaplama ortamlarına ve kaynaklarına erişim sağlamaktadır. JupyterHub bulutta veya kendi donanımınızda çalışır ve önceden yapılandırılmış bir veri bilimi ortamını dünyadaki herhangi bir kullanıcıya sunmayı mümkün kılar. Özelleştirilebilir ve ölçeklenebilirdir; küçük ve büyük takımlar, akademik kurslar ve büyük ölçekli altyapı için uygundur. ( <a href="https://jupyter.org/hub">https://jupyter.org/hub</a>)</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/1000/0*96Nc0IxNA8E6mtf2.jpeg" /></figure><p>Ayrıca Jupyter Notebook, Jupyter Lab, Rstudio vb. eklentiler ile çalışma imkanı sağlamaktadır. JupyterHub konteyner dostudur ve günümüz konteyner teknolojisi ile birlikte kullanılabilir. Aynı zamanda Kubernet’lerde çalışır ve on binlerce kullanıcıya kadar çalışabilir.</p><p><strong>JupyterHub kurulumu:</strong></p><p>Gereksinimler:</p><ul><li>Linux/Unix</li><li>• Python =&gt; 3.5</li><li>• Pip veya Conda</li><li>• Nodejs/npm</li></ul><p><strong>1.Anaconda indirilmesi:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/2013f28e8a94f65e64a09f02a57e01f7/href">https://medium.com/media/2013f28e8a94f65e64a09f02a57e01f7/href</a></iframe><p><strong>2.Kurulum:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3ad1790033dd9fb5064ff1a44e826dfb/href">https://medium.com/media/3ad1790033dd9fb5064ff1a44e826dfb/href</a></iframe><p><strong>3) Conda ayarları:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/3672cab2a93be464bf597e3a38e1369f/href">https://medium.com/media/3672cab2a93be464bf597e3a38e1369f/href</a></iframe><p><strong>4) Environment oluşturulması:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/8176c1dd1a7077d9a29099e607f38264/href">https://medium.com/media/8176c1dd1a7077d9a29099e607f38264/href</a></iframe><p><strong>5) Jupyterhub kurulumu:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/67e84bb4a4809358183d7c0348825f5e/href">https://medium.com/media/67e84bb4a4809358183d7c0348825f5e/href</a></iframe><p>Not: Kurulum tamamlandıktan sonra unix file system’inde;</p><ul><li>/srv/jupyterhub // güvenlik ayarları</li><li>• /etc/jupyterhub // config dosyaları</li><li>• /var/log // Log dosyaları <br>Bu dizinlerin var olması gerekmektedir.</li></ul><p><strong>6) Config dosyaları yaratmak:</strong></p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/804ef914de9b1c8c96681595a413cdba/href">https://medium.com/media/804ef914de9b1c8c96681595a413cdba/href</a></iframe><p><strong>Referans:</strong></p><ol><li>Jupyter Hub — <a href="https://github.com/jupyterhub/jupyterhub">https://github.com/jupyterhub/jupyterhub</a></li><li><a href="https://jupyter.org/hub">https://jupyter.org/hub</a></li></ol><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=224b05ace8d4" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Spark-Word Count]]></title>
            <link>https://medium.com/@sengonulserkan/apache-spark-word-count-a024c497fbb3?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/a024c497fbb3</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[artificial-intelligence]]></category>
            <category><![CDATA[spark]]></category>
            <category><![CDATA[machine-learning]]></category>
            <category><![CDATA[computer-science]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Mon, 25 Feb 2019 12:00:35 GMT</pubDate>
            <atom:updated>2019-02-25T12:00:35.184Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/700/0*gYH4_EzXVnyMZLA1.jpg" /></figure><p>Merhaba, bugün büyük veri platformunun güçlü oyuncularından olan Apache Spark hakkında konuşacağız. Ardından Apache Zeppelin ile HDFS’ten okuyacağımız bir e-kitap üzerinde Word-Count uygulaması geliştireceğiz.</p><h4>Apache spark</h4><p>Spark, 2009 yılında AMPLab’daki mütevazi başlangıcının ardından, Apache firmasının desteği ile bankalar, telekomünikasyon şirketleri, oyun şirketleri, hükümetler, Apple, Facebook, IBM gibi tüm büyük teknoloji devleri tarafından kullanılmaya başlanmıştır.</p><p>Apache Spark büyük veri kümeleri üzerinde paralel olarak işlem yapabilen , hızlı ve in-memory çalışabilen bir veri işleme motorudur. Hızı, esnek yapısı, büyük ölçekli sql desteği, anlık dataları işleyebilme ve makine öğrenmesindeki desteği, Apache Spark’ı geliştirici dostu haline getirmektedir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/779/1*Rfe5_112rI3-pW3Ey133Tg.png" /></figure><p><strong>Spark Streaming : A</strong>nlık veri akışlarını ölçeklenebilir, yüksek verimli, hataya dayanıklı bir şekilde işler.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/588/1*vVY5TZAJ0IHUMSr6G7kvxQ.png" /></figure><p>Spark Streaming, veri akışlarını alır ve verileri paritilere böler.</p><ul><li><strong>Spark SQL : </strong>Spark Jobları üzerinde SQL işlemleri yapmanızı sağlar.</li><li><strong>Spark MLlib:</strong> Spark MLlib, Apache Spark’da makine öğrenmesi için kullanılır. MLlib popüler algoritmalar ve yardımcı programlardan oluşur.</li></ul><blockquote>Basic Statistics, Regression, Classification,Recommendation System,Clustering, Dimensionality Reduction, Feature Extraction, Optimization . . .</blockquote><ul><li><strong>Spark GraphX :</strong> Çeşitli graph işlemleri yapmak için kullanılır. Graph üzerinde paralel işlemler yapar.</li></ul><h4>Apache Spark’ı güçlü kılan bir diğer özellik ise sahip olduğu Ekosistemi:</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*fiOQ9xA61T2NNNRmmaXQ2w.png" /></figure><h4>WORD COUNT UYGULAMASI:</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/200/1*q6OOMIPMJR1-eXd7gRMHaw.jpeg" /></figure><blockquote>Uygulamamıza, <a href="http://www.gutenberg.org/">gutenberg.org</a> sitesinden indirdiğim ve efsanelerden biri olan “War and Peace” e-kitabı üzerinden ilerleyeceğiz.</blockquote><h4>Not: Uygulama kodları Apache Zeppelin üzerinde yazılmıştır.</h4><ol><li>Adım veriyi oku:</li></ol><figure><img alt="" src="https://cdn-images-1.medium.com/max/379/1*pi7OK8FI0ioZnTx1E0gcHg.png" /></figure><p>Hdfs’e import ettiğimiz e-kitabımızı, tek satır kodla okuyup “read” değişkeninde tutuyoruz.</p><p>2. Adım verinin kaç satır olduğunu bul:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/427/1*TnCcdNTdmYWdkOcHiYU8dw.png" /></figure><p>“Read” değişkeni üzerinde, count() fonksiyonunu kullanarak veri setimizin kaç satır olduğunu bulabiliriz. Bizim e-kitabımız 66053 satırdan oluşmaktadır.</p><p>3.Adım veriyi dönüştür:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*lvYiyRh-Vz5A7A5kdRQ2Iw.png" /></figure><p>Veriyi daha kullanışlı hale getirebilmek için, map fonksiyonu üzerinde “ascii” dönüşümü yapılmıştır. Bilindiği üzere veri üzerinde herhangi bir işlem yapacaksanız, map fonksiyonu olmazsa olmazlardandır.</p><p>Dönüşüme uğrayan verimizin ilk 10 satırını, take(10) fonksiyonu ile yazdırdık.</p><p>4.Adım ilk satır’ı yazdır:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/547/1*_z8Xs1PUMu9JgAFdULQW8g.png" /></figure><p>.first() fonksiyonu, verinizin ilk satırını getirir.</p><p>5.Adım kelime sayısını bul:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/540/1*0lfcKIK1DliaEbz-haAz3A.png" /></figure><p>Flatmap fonksiyonu ile, boşluk karakterini referans alarak, kelime kelime bölüp, toplam kelime sayısını buluyoruz. Bulduğumuz sayıyı “counts” değişkeninde tutuyoruz. Ve count() fonksiyonu ile ekrana basıyoruz.</p><p>6.Adım hangi kelimeden, kaç adet olduğunu bul:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*C2JJX8ukU8zEcluVDqBX7A.png" /></figure><p>Flatmap ve map fonksiyonlarının ne iş yaptığını artık öğrendik. Şimdi, bu adım için reduceByKey() fonksiyonunu kullanacağız. reduceByKey her kelime için kendi hafızasında bir yer tutar ve her o kelimeyle karşılaştığında sayacı bir artırır. Son olarak, takeOrdered fonksiyonu ile sıralı bir şekilde görebilmekteyiz.</p><p>7.Adım aramak istediğiniz kelimenin kaç tane geçtiğini bul:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/457/1*D8ZsgdV1OFxgADOrz6ralw.png" /></figure><p>Tüm işlemleri bitirdikten sonra, filter() fonksiyonu ile, aramak istediğiniz kelimeyi girip, e-kitabınız da kaç tane o kelimeden geçtiğini bulabilirsiniz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/proxy/1*fGNxnc0E3HUmyorPspx8oA.png" /></figure><p>Kaynakça:</p><ul><li><a href="https://www.gutenberg.org/">Project Gutenberg</a></li><li><a href="https://www.infoworld.com/article/3236869/analytics/what-is-apache-spark-the-big-data-analytics-platform-explained.html">What is Apache Spark? The big data analytics platform explained</a></li><li><a href="https://cognitiveclass.ai/">Welcome</a></li></ul><blockquote><a href="https://spark.apache.org/">https://spark.apache.org/</a></blockquote><blockquote><a href="https://mapr.com/blog/spark-101-what-it-what-it-does-and-why-it-matters/">https://mapr.com/blog/spark-101-what-it-what-it-does-and-why-it-matters/</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=a024c497fbb3" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Hadoop Ekosistemi-2]]></title>
            <link>https://medium.com/@sengonulserkan/apache-hadoop-ekosistemi-2-7d9522692a42?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/7d9522692a42</guid>
            <category><![CDATA[büyük-veri]]></category>
            <category><![CDATA[teknoloji]]></category>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[hadoop]]></category>
            <category><![CDATA[bilgisayar-mühendisliği]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Fri, 21 Dec 2018 08:36:32 GMT</pubDate>
            <atom:updated>2018-12-21T08:36:32.385Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhaba, bu yazıda bahsedeceğim teknolojiler ve servisler ayrı ayrı uzmanlık isteyen ve çok detaylı konulardır. Bu yazımın amacı ise, servislerin ne için kullanıldığı ile ilgili yüzeysel bir bilgi aktarımı yapmaktır. Kısacası, hadoop mimarisinin sahip olduğu bazı servislerden bahsedeceğiz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/398/1*NYqda4zDoXCPe-eHc2Hzcw.png" /></figure><h4>Hortonworks Data Platform(HDP):</h4><ul><li>Structured ve unstructured vereilerden bilgi edinmeye yardımcı olur.</li><li>HDP, IT altyapınızı modernize eder ve verilerinizi bulutta veya şirket içinde güvende tutarken yeni gelir akışlarını artırmanıza, müşteri deneyimini geliştirmenize ve maliyetleri kontrol etmenize yardımcı olur.</li><li>HDP makine öğrenmesi, derin öğrenme, gerçek zamanlı veri ambarı, güvenlik ve yönetim gibi çözümler sunar.</li></ul><h4>Hortonworks Data Flow(HDF):</h4><ul><li>Ölçeklenebilir ve anlık olarak elde edilen verilerin analiz edebilir. Kısacası gerçek zamanlı bir akış analizi platformudur</li><li>DataFlow, işletmelerin veri hareket halindeyken karşılaştıkları en önemli zorlukları ele almaktadır.</li><li>Kısaca :</li></ul><iframe src="https://cdn.embedly.com/widgets/media.html?src=https%3A%2F%2Fwww.youtube.com%2Fembed%2FgDeiWVwZp58%3Ffeature%3Doembed&amp;url=http%3A%2F%2Fwww.youtube.com%2Fwatch%3Fv%3DgDeiWVwZp58&amp;image=https%3A%2F%2Fi.ytimg.com%2Fvi%2FgDeiWVwZp58%2Fhqdefault.jpg&amp;key=a19fcc184b9711e1b4764040d3dc5c07&amp;type=text%2Fhtml&amp;schema=youtube" width="854" height="480" frameborder="0" scrolling="no"><a href="https://medium.com/media/8dfebc061d98d30ba0e3daba0438b738/href">https://medium.com/media/8dfebc061d98d30ba0e3daba0438b738/href</a></iframe><figure><img alt="" src="https://cdn-images-1.medium.com/max/948/1*Dw9RiE2j0BhH791VqaC-_g.png" /></figure><p><strong>Ambari — (System Deployment-Sistem Dağıtımı):</strong></p><p>Hadoop’un kurulu olduğu sunucuları yönetmek için kullanılan web arayüzüdür.</p><p><strong>Apache Oozie- (Scheduling-Zamanlama):</strong></p><p>Büyük veriler üzerinde geliştirmeler yaparken hadoop,spark,pig,hive gibi çeşitli big data kütüphaneleri kullanabiliriz.Bazı durumlarda yaptığımız bu geliştirmeleri belirli periyotlarda yada belirli bir iş akışına(workflow) göre çalıştırmamız gerekir.</p><p>İşte bu noktada Apache Oozie big data kütüphanelerini belirli periyotlarda ve belirli sıralarda çalıştırmamızı sağlar.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/310/1*6y_AdSDLUm5pKa5PH2-ahg.png" /><figcaption>DAĞITIK PROGRAMLAMA</figcaption></figure><p><strong>Pig</strong></p><p>Dağıtık dosya sistemi üzerindeki verinin işlenmesinden sorumludur. Karmaşık veri dönüşüm işlemlerini sorgu dili ile gerçekleştirmemizi sağlayan Hadoop bileşenidir. Yapısal olan ve yapısal olmayan veriler üzerinde çalışarak veriyi HDFS’de saklayabilir.</p><p><strong>Hive</strong></p><p>Apache Hadoop için veri ambarı sistemidir. Hive veri özetleme, sorgulama ve veri çözümleme sağlar. Hive sorguları SQL’e benzer bir sorgu dili olan HiveQL yazılır.</p><p><strong>Spark</strong></p><p>Büyük veri kümeleri üzerinde paralel olarak işlem yapmamızı sağlayan, hızlı bir veri işleme motorudur.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/186/1*7Jg6Pcq9oLpnlZKlzgDXWg.png" /></figure><p><strong>Sqoop</strong>:</p><ul><li>Hadoop platformunun en büyük özelliklerinden birisi de farklı kaynaklardan farklı formatlarda gelen verilerin saklanması ve analiz edilebilmesini sağlamasıdır.</li><li>İlişkisel veritabanında saklanan verilerin Hadoop üzerinde efektif biçimde işlenebilmesi için bu verilerin HDFS üzerine aktarılması gerekiyor. Sqoop, ilişkisel veritabanları ile Hadoop arasında veri aktarımı için tasarlanmış bir açık kaynaklı bir araç olarak karşımıza çıkıyor.</li></ul><p><strong>Storm</strong></p><p>Veri akışlarını Hadoop ile gerçek zamanlı olarak işlemek için kullanılır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/555/1*dHSo0LnbESSGjvn0tVGTww.png" /></figure><p><strong>MapReduce</strong></p><p>Bir veri kaynağının birden fazla parçaya bölünerek, paralel işlendiği (map) ve ardından da tek bir kaynağa geri indirgendiği (Reduce) sistemlerdir.</p><p>Map işlemi kısaca analiz edilen veri içerisinden almak istediğimiz verileri çeker.</p><p>Reduce işlemi ise çektiğimiz veri üzerinde yapmak istediğimiz işlemi gerçekleştirir.</p><p><strong>Hadoop YARN</strong></p><p>Genel olarak çalışan uygulamalara ne kadar ram,cpu ayrılacağını hesaplar ve yönetir.</p><p><strong>NoSQL</strong></p><p>Herhangi bir şema formatında ve “ilişkisel olmayan” verileri depolayabileceğiniz veritabanı sistemlerine kavramsal olarak verilen isimdir.</p><p><strong>HBASE</strong></p><p>HDFS üzerinde çalışan bir NoSQL veritabanı yönetim sistemidir. SQL desteği sunmaz. Bir HBase sistemi bir grup tablolardan oluşur. Hbase’i diğer nosql veritabanlarından ve ilişkisel veritabanlarından ayıran özelliği hdfs üzerinde çalışmasıdır. Bu sayede inanılmaz hızlı performanslara müsaittir.</p><p><strong>Zookeeper</strong></p><p>Dağıtık yapıda olan servislerin koordine edilmesi için çalışır.</p><blockquote>Kaynak: <a href="http://devveri.com/">http://devveri.com/</a></blockquote><blockquote>Kaynak: <a href="https://hortonworks.com/">https://hortonworks.com/</a></blockquote><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=7d9522692a42" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Hadoop Ekosistemi-1]]></title>
            <link>https://medium.com/@sengonulserkan/apache-hadoop-ekosistemi-1-52b6db5368d6?source=rss-2315324d391f------2</link>
            <guid isPermaLink="false">https://medium.com/p/52b6db5368d6</guid>
            <category><![CDATA[big-data]]></category>
            <category><![CDATA[büyük-veri]]></category>
            <category><![CDATA[computer-science]]></category>
            <category><![CDATA[hadoop]]></category>
            <category><![CDATA[technology]]></category>
            <dc:creator><![CDATA[Serkan Sengonul]]></dc:creator>
            <pubDate>Mon, 17 Dec 2018 13:51:46 GMT</pubDate>
            <atom:updated>2018-12-17T17:06:09.631Z</atom:updated>
            <content:encoded><![CDATA[<p>Herkese merhaba, bu ve bundan sonraki yazılarımda teknolojiler hakkında Türkçe içerikler oluşturup, sizlerle paylaşmayı planlamaktayım. Yazıları okuduktan sonra, eksik veya yanlış olduğunu düşündüğünüz noktaları lütfen benimle paylaşın.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/600/1*OFGLUC--YCXYaqNl0YT57Q.png" /></figure><p>Apache Hadoop, Apache Software Foundation tarafından geliştirilmiş olup, büyük veri kümeleri ile paralel olarak işlem yapmanızı sağlayan, tek bir makineden binlerce bilgisayara kadar ölçeklendirmek için tasarlanmış, Java ile yazılmış açık kaynak kodlu bir projedir.</p><h3><strong>Hadoop’un 4 Modülü<em>:</em></strong></h3><p>Hadoop, her biri büyük veri analitiği için tasarlanmış olan “modüller” den oluşur.</p><h4><em>1)Dağıtık dosya sistemi:(HDFS)</em></h4><p>Son yıllardaki veri boyutlarındaki inanılmaz artışın ardından, verileri tek bir makinede tutmak gün geçtikce zorlaşmış olup, bu soruna çözüm olarak dağıtık dosya sistemi fikri ortaya atılmıştır. Bu noktada Hadoop projesinde de HDFS kütüphanesi geliştirilmiştir. HDFS veriyi aldığında, bilgileri ayrı ayrı bloklarda tutar ve bunları bir kümedeki farklı düğümlere dağıtır. Böylece yüksek verimli bir paralel işlem sağlar. Ayrıca HDFS yüksek ölçüde hataya dayanıklı olacak şekilde tasarlanmış olup <strong>M</strong><a href="http://searchnetworking.techtarget.com/definition/master-slave"><strong>aster / slave</strong></a> mimarisini kullanmaktadır. Düşük maaliyetli oluşu , özel bir donanım gerektirmemesi ve ölçeklenebilir olması hdfs’in çekiciliğini artırmaktadır.</p><blockquote>Hadoop Dağıtılmış Dosya Sistemi, Yahoo’da şirketin reklam sunma ve arama motoru gereksinimlerinin bir parçası olarak ortaya çıktı. Kullanıcı sayılarının artışının ve veri miktarının önüne geçemeyen firmalar dağıtık dosya sistemi kullanmaya başladı. Facebook, eBay, LinkedIn ve Twitter, aynı gereksinimleri karşılamak için HDFS kullanan firmalardan sadece birkaçı.</blockquote><h4>2) <strong>MapReduce:</strong></h4><p>Bu modülü kısaca anlamak istiyorsak şöyle örnekleyebiliriz: <br> Veri tabanından veri okuma, analiz için uygun bir formata yerleştirme (map). Matematiksel işlemleri vb. işlemleri gerçekleştirme, yani bir müşteri veritabanında 30 yaşın üzerindeki erkeklerin sayısını sayma (reduce) işlemidir.</p><blockquote><strong>“Map</strong> aşamasında ana (master) düğüm (node) verileri alıp daha ufak parçalara ayırarak işçi (worker) düğümlere dağıtır. İşçi düğümler bu işleri tamamladıkça sonucunu ana düğüme geri gönderir. <strong>Reduce</strong> aşamasında ise tamamlanan işler işin mantığına göre birleştirilerek sonuç elde edilir. Daha basite indirgersek, Map aşamasında analiz edilen veri içerisinden almak istediğimiz veriler çekilir, Reduce aşamasında ise bu çektiğimiz veri üzerinde istediğimiz analiz gerçekleşir”</blockquote><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*Y97KtNT_LbMURvzkfAzyDQ.png" /></figure><h4>3)Hadoop Common:</h4><p>Bütün Hadoop modüllerini destekleyen ortak bir modüldür.</p><h4>4)Yarn:</h4><p>Verileri depolayan ve analizi çalıştıran sistemlerin kaynaklarını yöneten YARN’dır. Genel olarak çalışan uygulamalara ne kadar ram,cpu ayrılacağını hesaplar ve yönetir. Diğer çeşitli prosedürler, kütüphaneler veya özellikler son yıllarda Hadoop “framework” parçası olarak görülmüştür, ancak Hadoop Dağıtılmış Dosya Sistemi, Hadoop MapReduce, Hadoop Common ve Hadoop YARN en temel modülleridir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/429/1*JXry6of_15rV-c_8n0GQfw.png" /></figure><h4>Hadoop neden önemlidir ?</h4><ul><li><strong>Her türlü veriyi büyük miktarlarda saklamak ve işlemek: </strong>Özellikle sosyal medya ve Nesnelerin İnterneti’nden (IoT) sürekli olarak artan veri hacimleri ve çeşitleri ile bu önemli bir husustur.</li><li><strong>İşlem gücü. </strong>Hadoop’un dağıtılmış hesaplama modeli ile <a href="https://www.sas.com/en_th/insights/big-data.html">büyük verileri</a> hızlı bir şekilde işler.</li><li><strong>Hata toleransı: </strong>Veri ve uygulama işleme, donanım arızasına karşı korunur. Bir düğüm devredeyse, dağıtılan işlemin başarısız olmadığından emin olmak için işler otomatik olarak diğer düğümlere yönlendirilir. Tüm verilerin çoklu kopyaları otomatik olarak saklanır.</li><li><strong>Esneklik: </strong>Geleneksel ilişkisel veritabanlarından farklı olarak, depolamadan önce verileri önceden işlemeniz gerekmez. İstediğiniz kadar veri saklayabilir ve daha sonra nasıl kullanılacağına karar verebilirsiniz.</li><li><strong>Düşük maliyetli: </strong>Açık kaynaklı çerçeve ücretsizdir.</li><li><strong>Ölçeklenebilirlir: </strong>Düğümler ekleyerek daha fazla veri işlemek için sisteminizi kolayca büyütebilirsiniz.</li></ul><p>Yazı dizisi “Apache Hadoop Ekosistemi-2” ile devam edecektir.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=52b6db5368d6" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>