<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by alpay önal on Medium]]></title>
        <description><![CDATA[Stories by alpay önal on Medium]]></description>
        <link>https://medium.com/@alpayonal?source=rss-cdc0d9fc10fc------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/0*ZuC5LiWd7jCMzWqQ.jpg</url>
            <title>Stories by alpay önal on Medium</title>
            <link>https://medium.com/@alpayonal?source=rss-cdc0d9fc10fc------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sun, 22 Nov 2026 19:34:04 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@alpayonal/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[How can I access the reference decorated class in Python?]]></title>
            <link>https://medium.com/@alpayonal/how-can-i-access-the-reference-decorated-class-in-python-41160f562673?source=rss-cdc0d9fc10fc------2</link>
            <guid isPermaLink="false">https://medium.com/p/41160f562673</guid>
            <dc:creator><![CDATA[alpay önal]]></dc:creator>
            <pubDate>Wed, 22 Jan 2020 08:04:17 GMT</pubDate>
            <atom:updated>2020-01-22T08:04:17.861Z</atom:updated>
            <content:encoded><![CDATA[<p>Merhaba,</p><p>Python’da decoratoru kullandığımız referans class’a nasıl erişebileceğimizi küçük bir örnekle açıklamak istedim.</p><p>Decorator kullandığımız class erişmek ve class üzerindeki bazı propertyleri değiştirmek isteyebiliriz. Bu durumda kullandığımız decorator *args[0] parametresi ile referans class’a erişim sağlayabilmekteyiz. Bu class üzerinde yapılan değişikler referans objesini etkilemektedir.</p><p>Class decorator yazdığımızda __init__ magic methodu ilk olarak çalışmaktadır. Buraya referans classtan parametreler gönderebiliriz. Ben method_name adında bir değer gönderdim.</p><p>Burada __init__ methodu class initialise edildiğinde çalışmaktadır. foo=Foo(1,2,3) # __init__</p><p># __call__ methodu ise aşağıdaki gibi intance çağırıldığında çalışmaktadır.</p><pre>f = Foo()<br>f(1, 2, 3) # __call__</pre><p>Decorator olarak class’ı kullandığımız için init ve call methodu çalışmaktadır.</p><p>Decorator’den referans class’a geri dönüldüğünde class üzerinde değişikleri farklı amaçlarda kullanılabilir.</p><p>Örneği aşağıda paylaşıyorum.</p><p>Kolay gelsin.</p><pre>class HandleExceptions(object):<br>    def __init__(self, method_name):<br>        self.method_name = method_name<br>        print(&quot;__init__&quot;)<br><br>    def __call__(self, func):<br>        print(&quot;__call__&quot;)<br>        obj = self<br>        print(&#39;obj -&gt;&#39;, obj)<br>        print(&#39;method_name -&gt;&#39;, self.method_name)<br><br>        def wrapper(*args, **kwargs):<br>            print(&#39;args[0] -&gt;&#39;, args[0])<br>            args[0].sample_property += 1<br>            return func(*args, **kwargs)<br><br>        return wrapper<br><br><br>class SampleClass(object):<br>    sample_property = 100<br><br>    @HandleExceptions(&#39;sample_method&#39;)<br>    def sample_method(self):<br>        print(self.sample_property)<br><br><br>a = SampleClass()<br>a.sample_method()</pre><p>Result:</p><p>__init__<br>__call__<br>obj -&gt; &lt;__main__.HandleExceptions object at 0x101625c50&gt;<br>method_name -&gt; sample_method<br>args[0] -&gt; &lt;__main__.SampleClass object at 0x101625c50&gt;<br>101</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=41160f562673" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Apache Airflow nedir ? Neden ihtiyacımız var?]]></title>
            <link>https://medium.com/@alpayonal/apache-airflow-nedir-neden-ihtiyac%C4%B1m%C4%B1z-var-2747708cfbf0?source=rss-cdc0d9fc10fc------2</link>
            <guid isPermaLink="false">https://medium.com/p/2747708cfbf0</guid>
            <dc:creator><![CDATA[alpay önal]]></dc:creator>
            <pubDate>Wed, 22 Jan 2020 08:02:54 GMT</pubDate>
            <atom:updated>2020-01-22T08:02:54.562Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/345/1*rGAJOeEAba5nO6ge-o2MyQ.png" /></figure><h3>Apache Airflow nedir ? Neden ihtiyacımız var?</h3><p><strong>Apache Airflow Nedir?</strong></p><p>Apache Airflow programlı bir şekilde iş akışlarını ve büyük veri setlerinin hazırlanması , işlenmesi süreçlerini ve loglanmasını sağlar. <a href="https://www.linkedin.com/in/maximebeauchemin">Airbnb Data Engineer Maxime Beauchemin</a> tarafından geliştirilmiştir.</p><p>Süreçleri sunulan grafikler aracılığıyla kolaylıkla anlayabiliriz.</p><p>Benzer şekilde kullanılan birkaç tane farklı araç var. Örneğin Luigi, Oozie, Azkaban. Yaklaşımlar, kullanılabilirlik ve kullandıkları diller farklılaştırıyor.</p><p>Luigi ve Apache Airflow python kullanıyor. Artı ve eksi yönlerinden bahsedelim.</p><p><strong>Airflow</strong></p><ul><li>UI olarak oldukça iyi (+)</li><li>Built-in scheduler var (+)</li><li>DAG’lerin testi kolay(+) DAG(Directed Acyclic Graph): Airflow üzerindeki bir süreç DAG olarak ifade ediliyor.</li><li>Data outputları ve task durumları ayrıştırılabiliyor. (+)</li><li>Güçlü ve aktif bir kominitiye sahip(+)</li></ul><p><strong>Luigi</strong></p><ul><li>Tasklerin oluşturulması ve testi zor (-)</li><li>UI konusunda Airflow kadar başaralı değil (-)</li><li>Ölçekleme noktasında sınırlı sayıda cron çalıştırma durumları var. (-)</li><li>Çalışmayan pipelineları tekrar çalıştırmak mümkün değil.</li></ul><p>Örnek bir case üzerinden inceleyelim. Aşağıda görüldüğü gibi DAG’lerin listesi bu şekilde görünüyor.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dENklP20YYWJsc5hwb6W_w.png" /></figure><p>Benim hazırladığım aws instance başlatma ve bazı taskleri çalıştırma ve instance stop etme sürecinin görsel hali. (airflow_aws_test_tag)</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*SpzLzcg04Gqi4-nt_gysWw.png" /></figure><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*o3-BCyVucpwUEOF7QwiqEQ.png" /></figure><p>Taskler çalışırken aşağıdaki gibi bir liste oluşuyor. Burada sağdaki karelere tıklarak taskin loglarını görebiliyorsunuz.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*FzumIxN4kR0SXqSFy0mssw.png" /></figure><p>Kodlara github üzerinden ulaşabilirsiniz. Docker yardımıyla kolayca test edebilirsiniz.</p><p><a href="https://github.com/alpayOnal/apache-airflow-sample">https://github.com/alpayOnal/apache-airflow-sample</a></p><p>AWS tarafındaki işlemler için boto3 adlı kütüphaneyi kullandım.</p><p>Kolay gelsin.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=2747708cfbf0" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Python Threading — Multiprocessing]]></title>
            <link>https://medium.com/@alpayonal/python-threading-multiprocessing-fb1b46cb1904?source=rss-cdc0d9fc10fc------2</link>
            <guid isPermaLink="false">https://medium.com/p/fb1b46cb1904</guid>
            <category><![CDATA[threads]]></category>
            <category><![CDATA[threading]]></category>
            <category><![CDATA[gil]]></category>
            <category><![CDATA[multiprocessing]]></category>
            <category><![CDATA[python]]></category>
            <dc:creator><![CDATA[alpay önal]]></dc:creator>
            <pubDate>Mon, 07 Jan 2019 09:06:13 GMT</pubDate>
            <atom:updated>2019-01-07T09:06:13.414Z</atom:updated>
            <content:encoded><![CDATA[<h3>Python Threading — Multiprocessing</h3><p>Python’daki Threading ve Multiprocessing hakkında öğrenmiş olduğum kavramları ve detaylarını buradan paylaşmak istedim.</p><p>İşletim sisteminin eş zamanlı çalıştırdığı iş parçacıkları process olarak adlandırılır. Processler de kendi içlerinde eş zamanlı çalışan iş parçacıklarına sahip olabilir ve bunlara da Thread denir.</p><p><strong>Python Threading Örnek Kod:</strong></p><p>Python&#39;da thread kullanımı için threading modülü bulunmaktadır.</p><pre>from threading import Thread<br>import multiprocessing<br>import math</pre><pre>def calc():<br>    for i in range(0, 4000000):<br>        math.sqrt(i)<br>threads = []<br>for i in range(multiprocessing.cpu_count()):<br>    print(&#39;registering thread %d&#39; % i)<br>    threads.append(Thread(target=calc))</pre><pre>for thread in threads:<br>    thread.start()<br>for thread in threads:<br>    thread.join()</pre><pre>registering thread 0<br>registering thread 1<br>registering thread 2<br>registering thread 3<br>registering thread 4<br>registering thread 5<br>registering thread 6<br>registering thread 7<br>[Finished in 10.2s]</pre><p><strong>Python Multiprocess Örnek Kod:</strong></p><p>Python&#39;da process kullanımı için multiprocessing modülü bulunmaktadır.</p><pre>from multiprocessing import Process<br>import multiprocessing<br>import math</pre><pre>def calc():<br>    for i in range(0, 4000000):<br>        math.sqrt(i)</pre><pre>processes = []<br>for i in range(multiprocessing.cpu_count()):<br>    print(&#39;registering process %d&#39; % i)<br>    processes.append(Process(target=calc))</pre><pre>for process in processes:<br>    process.start()<br>for process in processes:<br>    process.join()</pre><pre>registering process 0<br>registering process 1<br>registering process 2<br>registering process 3<br>registering process 4<br>registering process 5<br>registering process 6<br>registering process 7<br>[Finished in 1.2s]</pre><p>Görüldüğü gibi Thread ve Process arasındaki performans farkı calışma süresi olarak görülebiliyor.</p><h4><strong>Threading</strong></h4><p>Yeni bir thread mevcut processin içinde oluşturulur.<br>Yeni bir thread başlatmak, yeni bir process başlatmaktan daha hızlıdır.<br>Process içinde başlatılan tüm threadler aynı memoryi paylaşır.<br>Paylaşılan verilere erişmek için *Mutex kullanılır. <br>*GIL(Global Interpreter Lock) tüm threadler için bir tane kullanılır.</p><h4>Multiprocessing</h4><p>Her yeni başlayan process diğer processlerden bağımsız olarak çalışır.<br>Memory processler arasında paylaşılmaz. Her proccess ayrı bellek adreslerini kullanılır.<br>*Mutexler gerekli değildir. (yeni process içinde thread yoksa)<br>*GIL(Global Interpreter Lock) her process için ayrı bir tane kullanılır.</p><h4>*Mutex:</h4><p>Threadiler görevlerini yerine getirebilmek için işletim sistemi tarafından sağlanan veya process’in kendisinin tuttuğu paylaşılan bir kaynağa erişmek isterler. Farklı threadler üzerinde bu kaynağa erişim olduğunda data üzerindeki tutarlığı sağlamak için threadlerin sıraya sokacak bir yapıya ihtiyaç mekanizmaya ihtiyaç vardır.</p><p>Mutex (MUTual EXclusion)’ler tam da bu mekanizmayı sağlamak için tasarlanmıştır. Mutex’ler uygulamanın yazıldığı dil ve Runtime tarafından sağlanan basit veri yapılarıdır. Farklı Thread’ler tarafından paylaşılan her bir kaynak için kaynağa olan erişimi düzenlemek üzere bir Mutex oluşturulur. Kaynağa erişim isteyen threadler işlemci tarafından beklemeye alınır ve sırası gelen kaynağa erişim sağlar işini bitirir ve sonraki thread tarafında kullanılır.</p><h4>Python Global Interpreter Lock or GIL</h4><p>Basit bir ifadeyle, Python yorumlayıcısının kontrolünü sadece bir thread’in tutmasına izin veren bir muteks (veya bir kilit) ‘dir.</p><p>Bu, herhangi bir noktada yalnızca bir thread’i yürütme durumunda olabileceği anlamına gelir. GIL’nin etkisi, single-threaded programları yürüten geliştiriciler tarafından görülmez, ancak CPU’ya bağlı ve multi-threaded kodda performansta bir darboğaz olabilir.</p><p>GIL, birden fazla işlemci çekirdeği içeren multi-threaded bir mimaride bile tek bir threading yalnızca bir threadin çalışmasına izin verir.</p><p>GIL’nin Python scriptlerinin performansını nasıl etkilediğini bakalim.</p><pre># single_threaded.py<br>import time<br>from threading import Thread</pre><pre>COUNT = 50000000</pre><pre>def countdown(n):<br>    while n&gt;0:<br>        n -= 1</pre><pre>start = time.time()<br>countdown(COUNT)<br>end = time.time()</pre><pre>print(&#39;Time taken in seconds -&#39;, end - start)</pre><pre># multi_threaded.py<br>import time<br>from threading import Thread</pre><pre>COUNT = 50000000</pre><pre>def countdown(n):<br>    while n&gt;0:<br>        n -= 1</pre><pre>t1 = Thread(target=countdown, args=(COUNT//2,))<br>t2 = Thread(target=countdown, args=(COUNT//2,))</pre><pre>start = time.time()<br>t1.start()<br>t2.start()<br>t1.join()<br>t2.join()<br>end = time.time()</pre><pre>print(&#39;Time taken in seconds -&#39;, end - start)</pre><p>single_threaded: <strong>1.9758000373840332</strong></p><p>multi_threaded : <strong>3.3469550609588623</strong></p><p>Görüldüğü gibi, her iki versiyonda da bir thread&#39;in calisma suresi neredeyse ayni, multi_threaded sürümünde paralel olarak çalıştırıldığı halde;</p><p>GIL, CPU-bağlı threadlerın paralel çalışmasını engelledi ve çalışma süresi daha fazla oldu.</p><p>GIL size sorunlara neden oluyorsa, deneyebileceğiniz birkaç ,örnek yaklaşım:</p><pre>from multiprocessing import  Process</pre><pre>import time</pre><pre>COUNT = 50000000<br>def countdown(n):<br>    while n&gt;0:<br>        n -= 1</pre><pre>if __name__ == &#39;__main__&#39;:<br>    start = time.time()<br>    process_list = []<br>    process_list.append(Process(target=countdown, args = (COUNT/2,)))<br>    process_list.append(Process(target=countdown, args = (COUNT/2,)))</pre><pre>for t in process_list:<br>        t.start()</pre><pre>for t in process_list:<br>        t.join()</pre><pre>end = time.time()<br>    print(&#39;Time taken in seconds -&#39;, end - start)</pre><p><strong>(‘Time taken in seconds -’, 1.026932954788208)</strong></p><pre>from multiprocessing import Pool<br>import time</pre><pre>COUNT = 50000000<br>def countdown(n):<br>    while n&gt;0:<br>        n -= 1</pre><pre>if __name__ == &#39;__main__&#39;:<br>    pool = Pool(processes=2)<br>    start = time.time()<br>    r1 = pool.apply_async(countdown, [COUNT//2])<br>    r2 = pool.apply_async(countdown, [COUNT//2])<br>    pool.close()<br>    pool.join()<br>    end = time.time()<br>    print(&#39;Time taken in seconds -&#39;, end - start)</pre><p><strong>(‘Time taken in seconds -’, 1.0168569087982178)</strong></p><p>Referanslar:</p><p><a href="https://www.linuxjournal.com/content/threading-python">https://www.linuxjournal.com/content/threading-python</a></p><p><a href="https://www.youtube.com/watch?v=ecKWiaHCEKs">https://www.youtube.com/watch?v=ecKWiaHCEKs</a></p><p><a href="https://code.i-harness.com/en/q/693190">https://code.i-harness.com/en/q/693190</a></p><p><a href="https://docs.python.org/3/library/threading.html">https://docs.python.org/3/library/threading.html</a></p><p><a href="https://medium.com/@nbosco/multithreading-vs-multiprocessing-in-python-c7dc88b50b5b">https://medium.com/@nbosco/multithreading-vs-multiprocessing-in-python-c7dc88b50b5b</a></p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=fb1b46cb1904" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>