<?xml version="1.0" encoding="UTF-8"?><rss xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:content="http://purl.org/rss/1.0/modules/content/" xmlns:atom="http://www.w3.org/2005/Atom" version="2.0" xmlns:cc="http://cyber.law.harvard.edu/rss/creativeCommonsRssModule.html">
    <channel>
        <title><![CDATA[Stories by guldeniz on Medium]]></title>
        <description><![CDATA[Stories by guldeniz on Medium]]></description>
        <link>https://medium.com/@guldenizcanatan?source=rss-3b7ab0738ec3------2</link>
        <image>
            <url>https://cdn-images-1.medium.com/fit/c/150/150/1*VKaPi-fF-TlfNxJUFWN1zw.jpeg</url>
            <title>Stories by guldeniz on Medium</title>
            <link>https://medium.com/@guldenizcanatan?source=rss-3b7ab0738ec3------2</link>
        </image>
        <generator>Medium</generator>
        <lastBuildDate>Sat, 21 Nov 2026 16:12:56 GMT</lastBuildDate>
        <atom:link href="https://medium.com/@guldenizcanatan/feed" rel="self" type="application/rss+xml"/>
        <webMaster><![CDATA[yourfriends@medium.com]]></webMaster>
        <atom:link href="http://medium.superfeedr.com/" rel="hub"/>
        <item>
            <title><![CDATA[Doğal Dil İşleme Çalışmalarında İstatistik Bilimi]]></title>
            <link>https://guldenizcanatan.medium.com/do%C4%9Fal-dil-i%CC%87%C5%9Fleme-%C3%A7al%C4%B1%C5%9Fmalar%C4%B1nda-i%CC%87statistik-bilimi-9f15966bcbbc?source=rss-3b7ab0738ec3------2</link>
            <guid isPermaLink="false">https://medium.com/p/9f15966bcbbc</guid>
            <category><![CDATA[doğal-dil-işleme]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[nlp]]></category>
            <dc:creator><![CDATA[guldeniz]]></dc:creator>
            <pubDate>Mon, 06 Sep 2021 06:23:27 GMT</pubDate>
            <atom:updated>2021-09-06T06:23:27.733Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="Introducing Natural Language Processing NLP Series -3 (Covering Essentials of NLP Phase-2)" src="https://cdn-images-1.medium.com/proxy/1*t3_emupkbiZ5OV2XVEPE2A.gif" /></figure><p><em>Bu yazıda yüksek lisans seminer dersinde sunduğum İstatistiksel Doğal Dil İşleme ile ilgili derlediğim bilgileri aktarmaya çalışacağım.</em></p><h3>İçerik </h3><p><em>Doğal Dil İşleme Nedir?</em></p><p><em>Doğal Dil İşlemenin Zorlukları</em></p><p><em>İstatistiksel Doğal Dil işleme, Model ve Metotlar</em></p><p><em>İstatistiksel Doğal Dil İşleme</em></p><p><em>İstatistiksel Doğal Dil İşlemenin Ardındaki Motivasyon</em></p><p><em>İstatistiksel Modelleme ve Sınıflandırma</em></p><p><em>İstatistiksel Metotlar Neler Sağlar?</em></p><p><em>Çıkarımlar</em></p><h3><strong>Doğal Dil İşleme Nedir?</strong></h3><p>Bilgisayarların konuştuğumuz dili anlaması, işlemesi, yorum yapması ve hatta cümle üretebilmesi doğal dil işlemedir.</p><p>Sohbet robotu, akıllı asistan gibi uygulamalar, duygu analizi çalışmaları, metin-yazar sınıflandırma, kümeleme, metin özetleme, dil çeviri modelleri gibi birçok çalışma doğal dil işleme çalışmalarıyla ortaya konulmaktadır.Özellikle son zamanlarda popülerliği artan metin madenciliği yığınlar halindeki metinleri işleyip anlam çıkarabilmektedir.Örnek vermem gerekirse Apple’ın kişisel asistanı Siri, son zamanlarda özellikle bankacılık sistemlerinde ve alışveriş sitelerinde yaygın kullanılan sohbet robotları, dil çeviri modeli olarak Google Translate.</p><p>Daha somut bir örnek verecek olursak:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/620/0*ZA2xxPBuQtcC3B_K.jpg" /></figure><p><em>“İstanbul (Türkçe telaffuz: [isˈtanbuɫ]), Türkiye’de Marmara Bölgesi’nde yer alan şehir ve Türkiye Cumhuriyeti Devletinin 81 ilinden biridir. Ülkenin nüfus bakımından en çok göç alan ve en kalabalık ilidir. Ekonomik, tarihi ve sosyokültürel açıdan önde gelen şehirlerden biridir. Şehir, iktisadi büyüklük açısından dünyada 34. sırada yer alır. Nüfuslarına göre şehirler listesinde belediye sınırları göz önüne alınarak yapılan sıralamaya göre Avrupa’da birinci, dünyada ise altıncı sırada yer almaktadır.” (</em><a href="https://tr.wikipedia.org/wiki/%C4%B0stanbul">Vikipedi</a>, İstanbul başlığı)</p><p>Bilgisayarların bu metni okuyup İstanbul’un bir şehir olduğu, Marmara Bölgesinde yer aldığı, Türkiye’nin 81 ili olduğu gibi bilgileri işleyip anlamasını bekleriz. Bunun için bilgisayara dilin temel kurallarını öğretmemiz gerekir.</p><p><strong>Doğal Dil İşlemenin Zorlukları</strong></p><p>Dilin belirsiz doğası, soyut kullanımı, kullanılış şeklinin sürekli değişmesi doğal dil işleme çalışmalarını zorlaştırmaktadır. Bazı kelimeler birden fazla anlam barındırdığı için ya da cümlede kullanım durumuna göre anlamlandığından doğal dil işleme çalışmaları istenilen sonucu vermeyebilir. Ayrıca bilgi temsilinin ve uygun kelime dağarcığı oluşturmanın zor oluşu ve yapılandırılmamış veriler doğal dil işlemedeki en büyük zorluklardır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/962/1*2Gfb7-qm2Bp4aP9Ml4HlQQ.png" /><figcaption>Doğal dil işleme süreci</figcaption></figure><h3><strong>İstatistiksel Doğal Dil işleme</strong></h3><p>İstatistiksel doğal dil işleme, doğal dil işleme için istatistiksel çıkarımlar yapmak anlamına gelir. Bu noktada istatistiksel çıkarım, kelimelerin nasıl bir arada gruplanma eğiliminde bulunduğunu ve kelimeler arasındaki ilişkiyi açıklar.</p><p><strong>İstatistiksel Doğal Dil İşlemenin Ardındaki Motivasyon</strong></p><p>İnsan dil işlemesinin bilişsel modellemesi, dil sinyali ve bilgi içerikleri arasında tam bir haritalama yapabileceğimiz bir aşamaya ulaşmadı. Tam haritalama her zaman gerekli değildir. İstatistiksel yaklaşım, bir dilin modellenmesini daha doğru hale getirmek için gereken esnekliği sağlar. Kelime etiketleme gibi dilsel kuralların oluşturulmasında daha etkilidir. Ayrıca güven aralığı ve hipotez testleri kullanılarak istatistiksel tahminde bulunulabilir.</p><p><strong>Bazı İstatistiksel Modelleme ve Sınıflandırma Teknikleri</strong></p><p>Dil modellemede istatistiksel ve olasılıksal modeller sıklıkla kullanılır. Bunlardan birkaçını inceleyelim:</p><p><strong><em>Temel akustik özellikler</em></strong>, konuşma spektrumunu istatistiksel özelliklerine dayanarak tahmin etmek için kullanılır.</p><p><em></em><strong><em>Nicemleme (Quantization) </em></strong>yoluyla, tipik bir konuşma sinyali bir sembol dizisi olarak temsil edilebilir ve istatistiksel karar kuralları kullanılarak çok boyutlu bir akustik özellik uzayına eşlenebilir, böylece sinyal sınıflandırılabilir.</p><p><strong><em>En çok olabilirlik</em></strong><em>, </em>özellikle<em> </em>sentiment analizinde pozitif negatif ve nötr sınıf olarak etiketlenen değişkenleri tahmin etmek için Bayes kullanabiliriz. Bu yöntemle herhangi bir sınıfın koşullu olasılık yoğunluk fonksiyonu, maksimum değere sahip olan sınıfa vektör atayarak maksimum olabilirlik sınıflandırıcısını verir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/606/1*es-PvwHnEUW2mEFTnQpVTA.png" /></figure><p>Maksimum olabilirlik metodolojisinin bir başka çeşidi de kümelemedir.</p><p><strong><em>Gizli markov modeli</em></strong>ses, görüntü, el yazısı, spam tanıma, ağ güvenliği, genomik sekans hizalama gibi alanlarda kullanılır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/771/1*vk0ZhStGVHl9VqGsBWjqcQ.png" /><figcaption>İsim, fiil, nesne sınıflarına ait geçiş olasılıkları matrisi ve şeması</figcaption></figure><p>Doğal dil işlemede kullanılan Gizli Markov Modeli bir konuşma etiketleme yöntemi olarak da kullanılabilir(Part of Speech Tag).Bu yöntemle bir önceki kelime baz alınarak mevcut kelimenin türü tahmin edilebilir. Kelime türleri gizli durumlar olarak tanımlanır ve geçiş olasılıkları hesaplanır.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/717/1*mXgYwpHm4Z7zHc8_JR16_A.png" /><figcaption>Gramer yapısına göre kelime etiketleme ve emisyon matrisi: Şemada gösterilen going, to, eat kelimelerinin fiil sınıf etiketine sahip olma olasılığı</figcaption></figure><p><strong><em>Sınıf Koşullu Yoğunluk Fonksiyonu, </em></strong>konuşma tanımanın tüm istatistiksel yöntemleri, sınıfın koşullu yoğunluk fonksiyonuna bağlıdır. Bunlar da yeterince büyük, doğru etiketlenmiş bir eğitim setinin ve iyi anlaşılmış istatistiksel tahmin tekniklerinin varlığına bağlıdır. Kısaca belirli bir sınıfa ait olması koşuluyla, bir x özelliğinin oluşma olasılığının olasılığını temsil eder.</p><p><strong>İstatistiksel metotlar neler sağlar?</strong></p><ol><li>İçerikten bağımsız olarak grameri kullanarak belirsizlik giderilir.</li></ol><p>Örnek verecek olursak:</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/152/1*_YZMQk2vzJUUTNOF5KaHVw.png" /></figure><p>‘John Walks’ kelimesini inceleyelim.Burada içerikten bağımsız gramere örnek olarak John Walks kelimesini temsilen gramer kurallarını görüyoruz. Literatürde genelde olasılıksal içerikten bağımsız gramer diye geçen bu yönteme göre her kural ağırlıklandırılır. Yani her kuraldan önce, gerçekleştiği göreli sıklığı yansıtan bir olasılık gelir. Konuşma tanımada, doğru cümleyi tahmin etmek, algılanan bu ağırlıklara dayanır. Özellikle, bazı konuşma tanıma sistemleri, olasılık tahminlerini ve dolayısıyla performanslarını iyileştirmek için bu tekniği kullanır. İçerikten bağımsız gramer ayrıca RNA baz çiftlerini modellemede ustadır.</p><p>2. Dilbilgisellik dereceleri sağlamaya yardımcı olur.(Degress of Grammatically)</p><p>Dildeki gramer hatalarını önleyebilmek için, mümkün olduğu kadar çok hatayı algılayan ve uygun bir düzeltme önerebilen, dilden bağımsız bir istatistiksel dilbilgisi denetleyicisi (LISGrammar) oluşturmamız gerekir. Örneğin şuan yaygın kullanılan Grammarly bu denetleyicilere örnek verilebilir. Benim incelediğim birçok çalışmada istatistiksel tabanlı dil bilgisi denetleyicilerinin kural tabanlı denetleyicilere göre daha makul sonuçlar verdiğini gözlemledim.</p><p>3. Yapısal Tercih</p><p>Böyle bir cümleyi analiz ettiğimizi varsayalım “Acil durum ekiplerinin en nefret ettiği şey aile içi şiddettir.”</p><p>Burada değinilen nokta “acil durumun aile içi şiddet olmasıdır. “</p><p>Amacımız isekonuşma bölümleri tarafından ifade edilen cümle yapılarını keşfetmek.</p><p>Bu şekilde cümlenin yapısını ilgilendiren bir ayrıştırmayı, kelimelerin sıklıklarını baz alan bir istatistik dağılımı olan Zipf yasası ile çözümleyebiliriz.(kelimenin sırasıyla sıklığını ilişkilendiren bir dağılım Zipf)</p><p>4. Yine istatistiksel metotlarla doğal dil işleme çalışmalarında hata tespit edilip düzeltilebilir. İnsan dilini anlamanın dikkate değer bir özelliği hata toleransıdır.</p><h3>Çıkarımlar</h3><p>Artık birçok NLP özelliği sağlayan ücretsiz ve ticari yazılımlar mevcuttur.</p><p>NLP araç ve hizmetleri sayesinde dil işleme süreci daha hızlı ve kolay bir hal almıştır. Yapılandırılmamış ve büyük veri problemi işletmeleri bu yazılımları kullanmaya sevk etmiştir.</p><p>Doğal dil işleme sürecinde istatistiksel modellerin kullanılması yanı sıra bazı yardımcı ve tanımlayıcı istatistiklerle de çeşitli ölçümlemelerin yapılması istatistik biliminin önemini ispatlar niteliktedir.</p><h3>Referanslar</h3><p>On Statistical Methods in Natural Language Processing — Joakim NIVRE</p><p>Adli Bilişim Açısından Ses İncelemeleri — Yunus Korkmaz, Aytuğ Boyacı</p><p>Natural Language Processing with Probabilistic Models, DeepLearning.AI Coursera Online Course</p><p>Speech and Language Processing Book — Dan Jurafsky, James H. Martin</p><p>Foundations of Statistical Natural Language Processing — Christopher D. Manning, Hinrich Schiitze</p><p>İstatistiksel Dilbilim (Probabilistic Linguistic) — Şadi Evren Şeker</p><p>Statistical Methods for the Recognition and Understanding of Speech — Lawrence R. Rabiner, B.H. Juang</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=9f15966bcbbc" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Which product would you buy? Product Rating and User Review Sorting on Amazon Data]]></title>
            <link>https://guldenizcanatan.medium.com/which-product-would-you-buy-product-rating-and-user-review-sorting-on-amazon-data-6787a24300cb?source=rss-3b7ab0738ec3------2</link>
            <guid isPermaLink="false">https://medium.com/p/6787a24300cb</guid>
            <dc:creator><![CDATA[guldeniz]]></dc:creator>
            <pubDate>Mon, 05 Jul 2021 06:32:43 GMT</pubDate>
            <atom:updated>2021-07-05T06:32:43.783Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*2bOtLcjvssHBKbf9JikaEQ.jpeg" /></figure><p>Amazon, Netflix, Ebay, IMDB and many more websites use many metrics for product rating, scoring and user reviews rankings. Usually ranking by average rating may not be correct. It can cause loss of customers and misdirection.Weighting various metrics and using statistical methods will be more consistent for rating and scoring. While doing these sorting, Elastic Search’s scripting module can be used for big data.</p><p>In this article, we will show how to determine the rating of a product according to the Wilson Lower Bound, calculate the rating of the best selling product in the electronics category of Amazon at Python and sort the best costumer reviews in various ways.</p><h4>Bayesian Rating</h4><p>Would you rather buy something with 4.7 stars and 200 reviews, or 5.0 stars and 2 reviews? Bu iki üründe gözlem ve derecelendirmeler arasında büyük fark olduğu için ikisini kıyaslamamız doğru değildir. We need Lower bound of Wilson score confidence interval for a Bernoulli parameter as a solution to this problem.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*oMKDhUY0NIb96wAgf5-R5w.png" /><figcaption>Lower bound of Wilson score confidence interval for a Bernoulli parameter</figcaption></figure><p>More information see <a href="https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval">here</a>.</p><p>If we apply this formula to the business problem, we need to use a function like the following:</p><pre>def bayesian_rating_products(n, confidence=0.95):<br>    <em>&quot;&quot;&quot;<br>    </em>Function used to calculate the wilson lower bound score in the N-star rating system.<em><br>    Parameters<br>    ----------<br>    n: list or df<br>        frequency of scores<br>        example: [2, 40, 56, 12, 90] 2 units 1 point, 40 units 2 points, ... , 90 units 5 points.<br>    confidence: float<br>        confidence interval<br><br>    Returns<br>    -------<br>    BRP score: float<br>        BRP or WLB score<br><br>    &quot;&quot;&quot;<br>    </em>if sum(n) == 0:<br>        return 0<br>    K = len(n)<br>    z = st.norm.ppf(1 - (1 - confidence) / 2)<br>    N = sum(n)<br>    first_part = 0.0<br>    second_part = 0.0<br>    for k, n_k in enumerate(n):<br>        first_part += (k + 1) * (n[k] + 1) / (N + K)<br>        second_part += (k + 1) * (k + 1) * (n[k] + 1) / (N + K)<br>    score = first_part - z * math.sqrt((second_part - first_part * first_part) / (N + K + 1))<br>    return score</pre><p>With this function, using the distribution of each score, with 95% confidence interval a score is generated based on lower bound. As a result, the frequency of product scores is balanced, consistent results obtained.</p><h4>Weighted Average Rating by Time</h4><p>When determining the rating of a product, instead of scoring the points given by each user equally, some are prioritized according to certain characteristics.</p><p>According to the data we got from <a href="http://snap.stanford.edu/data/amazon/productGraph/categoryFiles/reviews_Electronics.json.gz">here</a>, we focused on the electronics category in Amazon.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/996/1*d-ltqmRkHjayGxJRAhyYYg.png" /></figure><p>Top-selling product: ‘<em>B007WTAJTO’, </em>we reduce the dataset according to the product with the most reviews</p><pre>df_sub = df[df[&#39;asin&#39;]==&#39;B007WTAJTO&#39;]</pre><p>The arithmetic mean of this product is <strong>4.58</strong> , So is this average really accurate? According to recency of reviews if we do a weighting, the result will be a little more consistent. In other words, the ratings given according to the last purchasing are more valuable than the first ones.</p><pre># Weighted average score by date</pre><pre>#To calculate the day_diff(how many days have passed since the comment)<br>#we wrote it in date format review time<br>df_sub[&#39;reviewTime&#39;] = pd.to_datetime(df_sub[&#39;reviewTime&#39;], dayfirst=True)</pre><pre>#first and last review date<br>df_sub[&#39;reviewTime&#39;].max(), df_sub[&#39;reviewTime&#39;].min() # (&#39;2014-12-07 00:00:00&#39;), (&#39;2012-01-09 00:00:00&#39;)</pre><pre>#we set today&#39;s date by adding 1 day to the last review date<br>current_date = pd.to_datetime(&#39;2014-12-08 0:0:0&#39;)<br>#we added time difference to dataframe(day_diff)<br>df_sub[&quot;day_diff&quot;] = (current_date - df_sub[&#39;reviewTime&#39;]).dt.days<br># splitting the time by quartiles<br>a = df_sub[&quot;day_diff&quot;].quantile(0.25)    #281<br>b = df_sub[&quot;day_diff&quot;].quantile(0.50)    #431<br>c = df_sub[&quot;day_diff&quot;].quantile(0.75)    #601</pre><pre># a b c weighting by time quartiles<br># more weighted to recent review<br>df_sub[&#39;time_weighted&#39;] = df_sub.loc[(df_sub[&#39;day_diff&#39;] &lt;= a), &#39;overall&#39;].mean() * 30 /100 + \<br>    df_sub.loc[(df_sub[&#39;day_diff&#39;] &gt; a) &amp; (df_sub[&#39;day_diff&#39;] &lt;= b), &#39;overall&#39;].mean() * 27 /100 + \<br>    df_sub.loc[(df_sub[&#39;day_diff&#39;] &gt; b) &amp; (df_sub[&#39;day_diff&#39;] &lt;= c), &#39;overall&#39;].mean() * 23 /100 + \<br>    df_sub.loc[(df_sub[&#39;day_diff&#39;] &gt; c), &#39;overall&#39;].mean() * 20 /100</pre><pre>df_sub[&#39;time_weighted&#39;]<br>#4.60</pre><p>As you can see, the arithmetic mean is <strong>4.58</strong>, while the time-weighted average is <strong>4.60 </strong>It’s clear that the rating is up ! Instead of the <em>time</em>, can be use other metrics for weighting.</p><h4>Review Sorting</h4><figure><img alt="" src="https://cdn-images-1.medium.com/max/828/1*ISHgxR4EbDLTiu4QQ_Y2ng.jpeg" /></figure><p>The helpful yes or no buttons, which are usually under the product comments on e-commerce sites, determine the rating and sorting of that product reviews. We can also see these buttons on sites such as Youtube, Facebook. Sometimes we even see that only the helpful button is used. All of these aim to raise or lower that comment. All of these aim to raise or lower that comment.</p><p><em>Let’s determine the 20 comments that will be on the product promotion page !</em></p><p><strong>Sort by positive-negative score difference:</strong></p><pre>def score_pos_neg_diff(pos, neg):<br>    return pos - neg</pre><pre>df_sub[&quot;score_pos_neg_diff&quot;] = df_sub.apply(lambda x: score_pos_neg_diff(x[&quot;helpful_yes&quot;], x[&quot;helpful_no&quot;]), axis=1)<br></pre><p><strong>Sort by average rating score:</strong></p><pre>def score_average_rating(pos, neg):<br>    if pos + neg == 0:<br>        return 0<br>    return pos / (pos + neg)</pre><pre>df_sub[&quot;score_average_rating&quot;] = df_sub.apply(lambda x: score_average_rating(x[&quot;helpful_yes&quot;], x[&quot;helpful_no&quot;]), axis=1)</pre><p><strong>Sort by Wilson Lower Bound</strong></p><pre>def wilson_lower_bound(pos, neg, confidence=0.95):<br>    n = pos + neg<br>    if n == 0:<br>        return 0<br>    z = st.norm.ppf(1 - (1 - confidence) / 2)<br>    phat = 1.0 * pos / n<br>    return (phat + z * z / (2 * n) - z * math.sqrt((phat * (1 - phat) + z * z / (4 * n)) / n)) / (1 + z * z / n)<br><br>df_sub[&quot;wilson_lower_bound&quot;] = df_sub.apply(lambda x: wilson_lower_bound(x[&quot;helpful_yes&quot;], x[&quot;helpful_no&quot;]), axis=1)</pre><p><strong>If we combine these 3 methods by weighting:</strong></p><pre>df[&quot;TotalScore&quot;] = ((df[&quot;score_pos_neg_diff&quot;] * 27 / 100) + (df[&quot;score_average_rating&quot;] * 20 / 100) + (df[&quot;wilson_lower_bound&quot;] * 28 / 100))</pre><pre>df.sort_values(&quot;TotalScore&quot;, ascending=False).head(20)</pre><p>We sort the first 20 comments.</p><p>Conclusion</p><p>See my github repository for more info.</p><p><strong>References:</strong></p><p><a href="https://link.springer.com/chapter/10.1007/978-3-642-23318-0_22">https://link.springer.com/chapter/10.1007/978-3-642-23318-0_22</a></p><p><a href="https://www.evanmiller.org/how-not-to-sort-by-average-rating.html">https://www.evanmiller.org/how-not-to-sort-by-average-rating.html</a></p><ul><li><a href="http://snap.stanford.edu/data/amazon/">Index of /data/amazon</a></li><li><a href="http://wordpress.mrreid.org/2014/05/20/ranking-ratings/">Ranking Ratings</a></li></ul><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=6787a24300cb" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[A/B Testing]]></title>
            <link>https://guldenizcanatan.medium.com/a-b-testing-e6ca814fdbc5?source=rss-3b7ab0738ec3------2</link>
            <guid isPermaLink="false">https://medium.com/p/e6ca814fdbc5</guid>
            <category><![CDATA[python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[conversion-rate]]></category>
            <category><![CDATA[a-b-testing]]></category>
            <dc:creator><![CDATA[guldeniz]]></dc:creator>
            <pubDate>Mon, 07 Jun 2021 04:31:36 GMT</pubDate>
            <atom:updated>2021-06-07T05:51:08.012Z</atom:updated>
            <content:encoded><![CDATA[<p>“If you’re not A/B testing, you’re already losing money.”</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/512/1*cxoRotcDdsRVavcef3wO3g.jpeg" /></figure><p>Have you ever thought about the impact of website design on conversion rate? Or the color and shape of the ad images, the update in an application and many more…</p><p>The role of A / B testing to learn about your service or product and increase conversion rate is undeniable!</p><p>Why, how and in what cases A / B testing is done, let’s examine !</p><h3><strong>An Overview of A/B Testing</strong></h3><p>A/B testing is a way to compare two versions of something to figure out which performs better. Usually used in advertising, banner, buy button, versions, marketing campaign, etc. Two options are offered to users and which is determined to have a greater conversion rate than the other. The A/ B test proves which variant provides more conversions with statistical significance test.</p><p><strong>How to Use A / B Testing?</strong></p><p>The A/B test proves which variant provides more conversions with statistical significance test.</p><p>A/B testing can be applied for deploying something on a website or application, bringing a new feature or updating, and many more. In this way, A/B test allows us to determine the conversion rate between two variants with statistical confidence.</p><p><strong>Let’s look at the how it’s done through a case!</strong></p><p>A website that started using “average bidding” developed by Facebook as an alternative to the current bidding type “maximum bidding”, wants to do an A/B test to see if this method yields more conversions.</p><p>This website randomly divides its target audience into two equally sized groups as Control and Test groups. A Facebook ad campaign with “maximum bidding” is served to the “Control Group” and another campaign with “average bidding” is served to the “Test Group”.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/604/1*xvAmY0ZXOSgI4CoSLXDzbQ.png" /></figure><p>The problem we focus on is whether the difference between the means of purchase in the control and test groups is statistically significant.</p><p>For this analysis, we should use the independent sample t-test, which we are familiar with from the statistical literature.</p><p>The hypothesis being tested is:</p><ul><li><strong>Null hypothesis (H0)</strong>: 𝜇1=𝜇2, There is no statistically significant difference between the means.</li><li><strong>Alternative hypothesis (HA)</strong>: 𝜇1≠𝜇2, There is a statistically significant difference between the means.</li></ul><p>If the p-value is less than 0.05, it can be said that there is a significant difference between the means.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/605/1*mPlsqQ7-B9Y0Pg3SS75BYQ.png" /></figure><h4>Independent Sample T-Test Assumptions</h4><ol><li>The distribution of the two groups should follow the normal distribution.</li></ol><p>2. The variances between the two groups are equal.</p><p>If normal distribution assumption are violated then nonparametric tests should be used. If the assumption of the normal distribution is provided and the homogeneity of the variances is not provided, the argument should be entered in the test.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/df2fc6fe7e77b3dc25a2304988e811ca/href">https://medium.com/media/df2fc6fe7e77b3dc25a2304988e811ca/href</a></iframe><p><strong>Shapiro and Wilks’ W test for normality</strong></p><p>H₀: Data follow a normal distribution</p><p>HA: Data do not follow a normal distribution</p><p>p-value is greater than 0.05, H0 cannot be rejected.</p><p>The assumption of normality is provided for two groups</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/1fed793d8f6644208491e13eb8c1f79a/href">https://medium.com/media/1fed793d8f6644208491e13eb8c1f79a/href</a></iframe><p><strong>Levene Test for Homogeneity of Variances</strong></p><p>H₀: The variances of the two groups are homogeneous</p><p>HA: The variances of the two groups are not homogeneous</p><p>p-value is greater than 0.05 H0 cannot be rejected. So variances are homogeneous.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*dq6SXFOGY7v2xNFNpkc0ig.gif" /></figure><p><strong>Statistical significance</strong></p><ul><li><strong>Null hypothesis (H0)</strong>: 𝜇1=𝜇2, There is no statistically significant difference between the means of purchase in the control and test groups.</li><li><strong>Alternative hypothesis (HA)</strong>: 𝜇1≠𝜇2, There is a statistically significant difference between the means of purchase in the control and test groups.</li></ul><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/71027f6d40644a08a632e999512bfbb7/href">https://medium.com/media/71027f6d40644a08a632e999512bfbb7/href</a></iframe><p>According to this hypothesis, H0 cannot be rejected because the p-value is greater than 0.05, that is, there is no statistically significant difference between the two groups with 95% confidence. From this point of view, it is seen that there is no significant difference between “average bidding” and “maximum bidding” purchases.</p><p><strong>Other Statistical Tests</strong><br>In A/B tests, the mean of the two groups can be compared and the conversion rate can be determined by comparing both proportions. For example, it is desired to decide the color of any button of a website. The statistical significance of the difference can be tested by comparing the conversion rates of each button. <em>Two sample z test for difference in proportions</em> are used for this.</p><h4><strong>Conclusion</strong></h4><p>A/B testing can determine which variation works better by using it in many areas such as website and mobile application ads , it shapes our decision-making process.</p><p>A/B tests, which directly concern optimization and conversion rate, are an important experiment that allows us to obtain information with statistical confidence.</p><p>It will meet your needs if you are looking to outshine your competitors and make the biggest gains in performance early on.</p><p>You can access analysis details on my <a href="https://github.com/guldenizcanatan/A-B-TEST/blob/df88cb7d3e4f172d2f2f072b775765d047f55476/a_b_test.ipynb">github</a>.</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e6ca814fdbc5" width="1" height="1" alt="">]]></content:encoded>
        </item>
        <item>
            <title><![CDATA[Residual Analysis(Artık-Kalıntı Analizi)]]></title>
            <link>https://guldenizcanatan.medium.com/do%C4%9Frusal-regresyonda-art%C4%B1k-analizi-python-uygulamalar%C4%B1-residuals-analysis-e06494af98db?source=rss-3b7ab0738ec3------2</link>
            <guid isPermaLink="false">https://medium.com/p/e06494af98db</guid>
            <category><![CDATA[residual]]></category>
            <category><![CDATA[linear-regression-python]]></category>
            <category><![CDATA[data-science]]></category>
            <category><![CDATA[statistics]]></category>
            <category><![CDATA[regression-analysis]]></category>
            <dc:creator><![CDATA[guldeniz]]></dc:creator>
            <pubDate>Sun, 16 May 2021 01:15:18 GMT</pubDate>
            <atom:updated>2021-06-02T13:02:00.679Z</atom:updated>
            <content:encoded><![CDATA[<figure><img alt="" src="https://cdn-images-1.medium.com/max/1024/1*EzATfS10tO5kQkpzLHVWZA.jpeg" /></figure><p>Regresyon analizinde artıklar, en genel tabirle veri ile uyum arasındaki sapmayı ifade eder. Aynı zamanda regresyon modeli ile yanıt değişkenindeki açıklanamayan değişkenliğin de bir ölçüsüdür.</p><p>Peki artıklar doğrusal bir regresyon modelinde neden bu kadar önemli olabilir?</p><p>Hadi Python’da detaylı bir artık analizi yapalım !</p><h4>İçerik</h4><ul><li>Artık Analizine Genel Bir Bakış</li><li>Regresyon Modelinin Kurulması</li><li>Artık Çizimleri</li><li>Ölçeklendirilmiş Artıklar</li><li>Kısmi Regresyon ve Kısmi Artık Grafikleri</li><li>Artıklar için İstatistiksel Test</li></ul><p><strong>Artık Analizine Genel Bir Bakış</strong></p><blockquote><em>Regresyon analizinin temel varsayımları dikkate alındığında modelin başarısı için artık analizi önemli bir yere sahiptir. Bir regresyon modeli kurduk, analizlerimize başladık ve her şey yolunda görünüyor varsayalım. F istatistiğine baktık, p-value değeri mükemmel, R2 değeri muhteşem !!! Her zamanki yaptığımız gibi bu tarz metrikleri inceledik ve modelimizin çok iyi olduğuna karar verdik. Oysa kaçırdığımız o kadar çok şey olabilir ki… Regresyonun temel varsayımlarına ne oldu? Hatalar acaba ilişkisiz miydi, varyansı sabit miydi, normal dağılıma uyuyor muydu? Şimdi detaylı bir artık analizi şart gibi görünmeye başladı…</em></blockquote><h4>1. Regresyon Modelinin Kurulması</h4><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/f6fd33a877cf84e119c7ef47bf4d8991/href">https://medium.com/media/f6fd33a877cf84e119c7ef47bf4d8991/href</a></iframe><p>Modelleme ve makine öğrenmesi için hepimiz scikit-learn kütüphanesinden faydalanıyoruz. Fakat detaylı istatistiksel analizler için malesef yeterli olmuyor, bu sebeple istatistik literatüründeki bir çok şeyin karşılığını rahat bulabileceğimiz statsmodels ile model kurup analizlerimizi yapacağız.</p><h4>2. Artık Çizimleri</h4><p>Artıkların grafiksel analizi regresyon modeli uyumunun yeterliliğini araştırmak ve temel varsayımları kontrol etmek için çok etkili bir yoldur.</p><p>Pythonda artıklara ait bazı grafikler:</p><p><strong>QQ-Plot:</strong> Bu grafikler veri setinin normal dağılımdan gelip gelmediği hakkında bilgi verir. Artıklar için bu grafiği çizdirip yorumlayacak olursak, artıkların normal dağıldığını söyleyebilmek için artık değerlerinin line denilen hattı izlemesi beklenir. Bu veri seti için gözlem değerleri kuyruklarda bir miktar sapma göstermiş ve doğrudan uzaklaşmıştır. Artık gözlemlerinin dağılımı konusunda emin olamıyorsak student türü artıklarla aynı grafiği çizdirip daha net gözlemleyebiliriz.</p><p><strong>Artıklara karşı tahmin değerlerinin grafiği:</strong> Model yetersizliklerinin çeşitli yaygın türlerini saptamak için yararlıdır. Değişen varyanslılık ve normallik hakkında bilgi verir.</p><figure><img alt="" src="https://cdn-images-1.medium.com/max/400/1*K7kFHGZ8OXw37VW3CsT6Zg.png" /></figure><p><em>Öncelikle bu grafiğin iyi bir model için şekil a’daki gibi olmasını bekleriz. Yani artıklar sıfır etrafında rasgele dağılmış ve iki paralel doğru arasında çok büyük sapmalar göstermeden salınım göstermişse ideal bir modeldir. Şekil b huni görünümüyle artan varyansa işaret etmekte. İşte bu sık duyduğumuz Heteroscedasticity’ye işaret !</em></p><p><em>Şekil c’de de değişen varyans problemi mevcut olup, varyans önce artmış sonra azalmıştır.</em></p><p><em>Varyans eşitsizlikleriyle ilgilenmek için genelde tercih edilen yöntem açıklayıcı değişkenlere veya yanıt değişkenine uygun bir dönüşüm uygulamak ya da ağırlıklı en küçük kareler yöntemini kullanmaktır. Ama çoğu zaman yanıt değişkenine uygulanan dönüşüm varyansı dengelemek için yeterli olmaktadır. Son olarak d grafiğinde ise bariz bir lineer olmama durumu mevcuttur. Böyle bir durumda model dönüşümlerle lineerleştirilmeli ya da alternatif bir model kurulmalıdır.</em></p><p>Analizimizdeki artıklara karşı tahmin edilen değerler grafiğinde artan varyans probleminin olduğunu görüyoruz.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/6dd9117c4807535a1849c200b562b8f6/href">https://medium.com/media/6dd9117c4807535a1849c200b562b8f6/href</a></iframe><p><strong>Artık Histogramı:</strong> Yine artıkların dağılımıyla ilgili bilgi verir. Grafikten anlaşılacağı üzere artıklar normallikten bir miktar uzak ve sağa çarpıktır.</p><p><strong>Artıkların Zaman Sırasına Karşı Grafiği:</strong> Advertising verimize uygun olmadığı halde zaman serisinden toplanan verilerde kullanmak üzere artıkların zaman sırasına karşı çizilen grafiğinin neler gösterdiğini inceleyelim:</p><p>Artıkların zaman serisi grafiği, bir zaman dönemindeki artıkların diğer zaman dönemindekiler ile ilişkili olduğunu gösterebilir. Farklı zaman döneminde model hataları arasındaki ilişki otokorelasyon olarak adlandırılır. Otokorelasyonun varlığı potansiyel ciddi bir temel regresyon varsayımlarının bozulumudur.</p><p>Otokorelasyon Durbin-Watson testiyle de tespit edilebilir. Grafik yöntemle otokorelasyona bakıldığında ise gözlemlerin grup halinde artıp azaldığı görülürse pozitif, gözlemler tek tek artıp azalıyorsa negatif otokorelasyondan söz edilebilir. Analizimizdeki grafikte ise gözlemler tek tek azalıp arttığı için negatif otokorelasyon mevcuttur diyebilirdik -eğer verimiz bir zaman serisi verisi olsaydı-</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/d900b533be53b248ca5985d468a728b8/href">https://medium.com/media/d900b533be53b248ca5985d468a728b8/href</a></iframe><p><strong>3. Ölçeklendirilmiş Artıklar</strong></p><p>Ölçeklenmiş artıklarla çalışmak model yeterliliğinin kontrolü için bazı durumlarda daha etkilidir. Ölçeklendirmede 4 popüler yöntemi ve bunların neden kullanılması gerektiğine birlikte bakalım :</p><p><strong>Standartlaştırılmış artıklar:</strong> Değişen varyansı(heteroscedasticity) sabitlediği için bu tür artıkları değerlendirmek önemlidir. Standartlaştırılmış artıkların ortalaması sıfır, standart sapması 1’e eşittir. 3&#39;ten büyük olan değerler potansiyel bir aykırı gözleme işaret eder.</p><p><strong>Student türü artıklar:</strong> Veri kümesinde yüksek etkili değer veya kaldıraç noktaları varsa bu noktaların tespiti student türü artıklarla daha kolay keşfedilir. Ayrıca çoğu durumda varyans sabitken standartlaştırılmış ve student türü artıklar arasında fark yoktur.(Büyük Verilerde)</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/35c9ef45cf386139912c713ae4044947/href">https://medium.com/media/35c9ef45cf386139912c713ae4044947/href</a></iframe><p><strong>R-Student artıklar:</strong> Genellikle student türü artıkla yakın sonuçlar verir, etkili gözlemlere karşı hassastır.</p><p><strong>PRESS artıklar:</strong> Standartlaştırılmış ve student türü artıklar genelde aykırı değerlerin saptanmasında etkilidir. PRESS artıklar ise modelin veriye iyi uyduğu yüksek etkili gözlemlerin tespit edilmesinde faydalıdır.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/aa59849c7249b4855e9ad710e5b8f2dc/href">https://medium.com/media/aa59849c7249b4855e9ad710e5b8f2dc/href</a></iframe><p>Bu şekilde farklı ölçeklendirilmiş artıkları kullanarak verideki etkili, aykırı gözlem ve uç değerler hakkında bilgi edinebilir, model iyileştirmeleri yapabiliriz.</p><p><strong>4. Kısmi Regresyon ve Kısmi Artık Grafikleri</strong></p><p>Artıkların açıklayıcı bir değişkene karşı grafiği, bu değişken için modelde herhangi bir sapmaya veya lineerlikten uzaklaşmaya neden olup olmadığını tespit etmemizi sağlar. Kısmi regresyon grafikleri diğer açıklayıcı değişkenler zaten modeldeyken, seçtiğimiz değişkenin modele marjinal rolünü göz önüne alır. Daha açık bir tabirle her açıklayıcı değişkenin modele marjinal etkisini gözlemlememizi sağlar.</p><p>Analizimizi TV değişkeni üzerinden yapalım:</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/53b0c29311580dc60dba372b026efc64/href">https://medium.com/media/53b0c29311580dc60dba372b026efc64/href</a></iframe><p>İlk grafik her bir gözleme ilişkin gerçek y değerleri ve tahmin edilen değerlerin X’e karşı grafiğini göstermektedir. Tahmin için güven aralıkları içerir.</p><p>İkinci grafik seçtiğimiz açıklayıcı değişken olan TV’ye karşı artıkların grafiğidir.</p><p>Üçüncü grafik kısmi regresyon grafiğidir. Diğer değişkenler modeldeyken ilgili değişkenin marjinal etkisini gösterir. Bu grafiğin eğimi, ilgili değişkenin regresyon modelindeki katsayısıdır.</p><p>Çok güçlü bağlantının varlığı kısmi regresyon ve artık grafiklerinin açıklayıcı ve yanıt değişkenleri arasındaki ilişki hakkında yanlış bir bilgiye neden olabilir. Component and component plus residual (CCPR) grafiği kısmi artık grafiklerinin bir nevi iyileştirilmesidir. İlgili değişkenle kurulan modele karşı aynı açıklayıcı değişkenin grafiğidir.</p><p><strong>5. Artıklar için İstatistiksel Test</strong></p><p>Artıkların normal dağılıp dağılmadığını anlamak için bir diğer yöntem de normallik testidir. Bu analizde Shapiro-Wilk testini kullanacağız.</p><iframe src="" width="0" height="0" frameborder="0" scrolling="no"><a href="https://medium.com/media/696f1eef349c404eda40efe5e0c6d838/href">https://medium.com/media/696f1eef349c404eda40efe5e0c6d838/href</a></iframe><p>Bu teste göre artıklar normal dağılım varsayımına uyar.</p><p><strong>Özet</strong></p><p>Bu yazımda Python üzerinden model kalitesi ve yeterliliğini değerlendirmek için artıkların önemine değindik. Aynı zamanda bir çok artık analizi, artık türleri, çeşitli grafikler ve yorumlar yaparak bir Veri Bilimci için İstatistik gözlüğünden doğrusal regresyon modelini inceledik. Umarım okuyan, inceleyen herkes için faydalı olur…</p><p><a href="https://www.linkedin.com/in/guldenizcanatan/">https://www.linkedin.com/in/guldenizcanatan/</a></p><p><strong>Referanslar</strong></p><p>Introduction to Linear Regression Analysis Author:<a href="https://www.worldcat.org/search?q=au%3AMontgomery%2C+Douglas+C.%2C&amp;qt=hot_author">Douglas C Montgomery</a>; <a href="https://www.worldcat.org/search?q=au%3APeck%2C+Elizabeth+A.%2C&amp;qt=hot_author">Elizabeth A Peck</a>; <a href="https://www.worldcat.org/search?q=au%3AVining%2C+G.+Geoffrey%2C&amp;qt=hot_author">G Geoffrey Vining</a></p><p><a href="https://www.statsmodels.org/stable/index.html">statsmodels 0.14.4</a></p><p>Regression Analysis and Linear Models Concepts, Applications, and Implementation Richard B. Darlington and Andrew F. Hayes</p><p>Applied Linear Statistical Models 5th Editionby Michael Kutner (Author), Christopher Nachtsheim (Author), John Neter (Author), William Li (Author)</p><img src="https://medium.com/_/stat?event=post.clientViewed&referrerSource=full_rss&postId=e06494af98db" width="1" height="1" alt="">]]></content:encoded>
        </item>
    </channel>
</rss>